图像生成方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本公开提供了一种图像生成方法、装置、电子设备及计算机可读存储介质，涉及图像处理技术领域。包括：获取目标图像的风格控制内容；根据第一神经网络从风格控制内容中提取n对第一形状编码和第一外观编码；获取n对第二形状编码和第二外观编码；根据n对第一形状编码和第一外观编码，以及n对第二形状编码和第二外观编码，生成n对第三形状编码和第三外观编码；获取与目标图像对应的空间点的位置编码；根据位置编码以及n对第三形状编码和第三外观编码，生成n个第一特征域；根据第二神经网络对n个第一特征域进行处理，得到目标图像。此种方式，使得用户可以通过输入风格控制内容实现对目标图像的风格的控制，并可以生成实际不存在的虚拟图像。拟图像。拟图像。

【技术实现步骤摘要】
图像生成方法、装置、电子设备及计算机可读存储介质


[0001]本公开涉及图像处理
，尤其涉及一种图像生成方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]在图像处理
中，通过三维重建和新视角图像渲染的图像生成一直属于研究重点。随着数字孪生以及元宇宙等新概念的提出，工业界对图像生成的需求逐渐增加。
[0003]相关技术中，通过经典的三维神经渲染模型来生成图像，经典的三维神经渲染模型具备在输入少量物体的图片时，重建出该物体的三维隐式表示的能力，并且经过体积渲染的技术生成该物体各个角度的图像。
[0004]然而，通过经典的三维神经渲染模型来生成图像需要输入物体的图像，也就需要该物体是实际存在的，从而导致通过经典的三维神经渲染模型生成的图像属于实际可获取的图像，无法生成的虚拟的图像。此外，经典的三维神经渲染模型将各个物体和背景作为一个整体来生成图像，导致生成的图像是静态的，无法根据用户的需求生成相应风格的图像。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本公开提供一种图像生成方法、装置、电子设备及计算机可读存储介质，至少在一定程度上克服相关技术无法生成的虚拟的图像，以及无法根据用户的需求生成相应风格的图像的问题。
[0007]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0008]根据本公开的一个方面，提供一种图像生成方法，包括：获取目标图像的风格控制内容；
[0009]根据第一神经网络从所述风格控制内容中提取n对第一形状编码和第一外观编码，n为大于或者等于1的整数；
[0010]获取n对第二形状编码和第二外观编码，所述n对第二形状编码和第二外观编码从拟合样本数据分布的正态分布中随机采样n次得到；
[0011]根据所述n对第一形状编码和第一外观编码，以及所述n对第二形状编码和第二外观编码，生成n对第三形状编码和第三外观编码；
[0012]获取与所述目标图像对应的空间点的位置编码；
[0013]根据所述位置编码以及所述n对第三形状编码和第三外观编码，生成 n个第一特征域，一个第一特征域对应一个第三形状编码及相应的一个第三外观编码；
[0014]根据第二神经网络对所述n个第一特征域进行处理，得到所述目标图像。
[0015]在本公开的一个实施例中，所述第一神经网络包括特征提取模型、形状映射器和
外观映射器，所述根据第一神经网络从所述风格控制内容中提取n对第一形状编码和第一外观编码，包括：根据所述特征提取模型提取所述风格控制内容的风格特征，得到风格编码向量；根据所述形状映射器从所述风格编码向量中提取n个第一形状编码；根据所述外观映射器从所述风格编码向量中提取n个第一外观编码。
[0016]在本公开的一个实施例中，所述风格控制内容包括文本内容，或者图像内容，或者语音内容；所述根据所述特征提取模型提取所述风格控制内容的风格特征，得到风格编码向量，包括：在所述风格控制内容包括所述文本内容的情况下，根据所述特征提取模型包括的文本编码器从所述文本内容中提取出所述风格编码向量；在所述风格控制内容包括所述图像内容的情况下，根据所述特征提取模型包括的图像编码器从所述图像内容中提取出所述风格编码向量；在所述风格控制内容包括所述语音内容的情况下，根据所述特征提取模型包括的语音转化器将所述语音内容转换为相应的文本内容；根据所述文本编码器从所述语音内容对应的文本内容中提取出所述风格编码向量。
[0017]在本公开的一个实施例中，所述特征提取模型为经过预训练的神经网络模型。
[0018]在本公开的一个实施例中，所述获取与所述目标图像对应的空间点的位置编码，包括：在三维空间中以相机原点为中心，获取H*W条射线， H*W对应所述目标图像的大小，H和W均为大于0的整数；确定所述 H*W条射线中每一条射线的第一坐标和第二坐标；在每一条射线的第一坐标和第二坐标之间的线段中采样S个空间点，得到H*W*S个空间点， S为大于0的整数；根据所述H*W*S个空间点中的每一个空间点的坐标，对所述H*W*S个空间点分别进行编码，得到所述位置编码。
[0019]在本公开的一个实施例中，所述根据所述位置编码以及所述n对第三形状编码和第三外观编码，生成n个第一特征域，包括：将所述位置编码以及所述n对第三形状编码和第三外观编码输入第三神经网络，由所述第三神经网络根据每一对第三形状编码和第三外观编码以及所述位置编码生成对应的第一特征域，得到n个第一特征域。
[0020]在本公开的一个实施例中，所述第二神经网络包括组合算子、三维体积渲染神经网络和预测神经网络；所述根据第二神经网络对所述n个第一特征域进行处理，得到所述目标图像，包括：根据所述组合算子对所述n 个第一特征域进行处理，得到第二特征域；根据所述三维体积渲染神经网络对所述第二特征域进行渲染，得到特征图；根据所述预测神经网络对所述特征图进行预测，得到所述目标图像。
[0021]在本公开的一个实施例中，所述n个第一特征域中的每一个第一特征域对应的空间点均具有相应的空间密度和目标特征；所述根据所述组合算子对所述n个第一特征域进行处理，得到第二特征域，包括：将所述n 个第一特征域输入所述组合算子，由所述组合算子根据如下公式计算出所述n个第一特征域在各个空间点处的平均空间密度和平均目标特征；
[0022][0023]其中，C(x,d)为空间点，x为空间点的位置，d为空间点的方向，μ
i
为第i个第一特征域在C(x,d)处的空间密度，f
i
为第i个第一特征域在C(x,d)处的目标特征；根据各个空间点处的平均空间密度和平均目标特征，得到所述第二特征域。
[0024]根据本公开的另一个方面，提供一种图像生成装置，包括：获取模块，用于获取目标图像的风格控制内容；
[0025]提取模块，用于根据第一神经网络从所述风格控制内容中提取n对第一形状编码和第一外观编码，n为大于或者等于1的整数；
[0026]所述获取模块，还用于获取n对第二形状编码和第二外观编码，所述 n对第二形状编码和第二外观编码从拟合样本数据分布的正态分布中随机采样n次得到；
[0027]生成模块，用于根据所述n对第一形状编码和第一外观编码，以及所述n对第二形状编码和第二外观编码，生成n对第三形状编码和第三外观编码；
[0028]所述获取模块，还用于获取与所述目标图像对应的空间点的位置编码；
[0029]所述生成模块，还用于根据所述位置编码以及所述n对第三形状编码和第三外观编码，生成n个第一特征域，一个第一特征域对应一个第三形状编码及相应的一个第三外观编码；
[0030]处理模块，用于根据第二神经网络对所述n个第一特征域进行处理，得到所述目标图像。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：获取目标图像的风格控制内容；根据第一神经网络从所述风格控制内容中提取n对第一形状编码和第一外观编码，n为大于或者等于1的整数；获取n对第二形状编码和第二外观编码，所述n对第二形状编码和第二外观编码从拟合样本数据分布的正态分布中随机采样n次得到；根据所述n对第一形状编码和第一外观编码，以及所述n对第二形状编码和第二外观编码，生成n对第三形状编码和第三外观编码；获取与所述目标图像对应的空间点的位置编码；根据所述位置编码以及所述n对第三形状编码和第三外观编码，生成n个第一特征域，一个第一特征域对应一个第三形状编码及相应的一个第三外观编码；根据第二神经网络对所述n个第一特征域进行处理，得到所述目标图像。2.根据权利要求1所述的方法，其特征在于，所述第一神经网络包括特征提取模型、形状映射器和外观映射器，所述根据第一神经网络从所述风格控制内容中提取n对第一形状编码和第一外观编码，包括：根据所述特征提取模型提取所述风格控制内容的风格特征，得到风格编码向量；根据所述形状映射器从所述风格编码向量中提取n个第一形状编码；根据所述外观映射器从所述风格编码向量中提取n个第一外观编码。3.根据权利要求2所述的方法，其特征在于，所述风格控制内容包括文本内容，或者图像内容，或者语音内容；所述根据所述特征提取模型提取所述风格控制内容的风格特征，得到风格编码向量，包括：在所述风格控制内容包括所述文本内容的情况下，根据所述特征提取模型包括的文本编码器从所述文本内容中提取出所述风格编码向量；在所述风格控制内容包括所述图像内容的情况下，根据所述特征提取模型包括的图像编码器从所述图像内容中提取出所述风格编码向量；在所述风格控制内容包括所述语音内容的情况下，根据所述特征提取模型包括的语音转化器将所述语音内容转换为相应的文本内容；根据所述文本编码器从所述语音内容对应的文本内容中提取出所述风格编码向量。4.根据权利要求3所述的方法，其特征在于，所述特征提取模型为经过预训练的神经网络模型。5.根据权利要求1所述的方法，其特征在于，所述获取与所述目标图像对应的空间点的位置编码，包括：在三维空间中以相机原点为中心，获取H*W条射线，H*W对应所述目标图像的大小，H和W均为大于0的整数；确定所述H*W条射线中每一条射线的第一坐标和第二坐标；在每一条射线的第一坐标和第二坐标之间的线段中采样S个空间点，得到H*W*S个空间点，S为大于0的整数；根据所述H*W*S个空间点中的每一个空间点的坐标，对所述H*W*S个空间点分别进行编码，得到所述位置编码。
6.根据权利要求1所述的方法，其特征在于，所述根据所述位置编码以及所述n对第三形状编码和第三外观编码，生成n个...

【专利技术属性】
技术研发人员：张琦，刘巧俏，邹航，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：