图像生成方法、训练方法、装置、电子设备以及存储介质制造方法及图纸

本公开提供了图像生成方法、训练方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙等场景。具体实现方案为：根据预设视角射线中的采样点，以及与预设视角射线对应的预设视角方向，确定与目标对象相关的对象表面特征，预设视角射线为基于预设位置沿着预设视角方向辐射的射线，预设视角方向为从预设位置朝向目标对象的方向；根据与目标对象相关的描述文本，以及对象表面特征，生成表征目标对象的目标图像。像。像。

【技术实现步骤摘要】
图像生成方法、训练方法、装置、电子设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于元宇宙等场景。

技术介绍

[0002]随着人工智能技术的快速发展，在游戏制作、动画制作、元宇宙构建等场景中，可以基于深度学习算法、计算机视觉技术等图像生成方法来实现快速地生成满足场景需求或者艺术创作需求的二维图像或三维图像，以提升构建得到的游戏、动画、元宇宙等场景的真实度与生动程度。

技术实现思路

[0003]本公开提供了一种图像生成方法、训练方法、装置、电子设备、存储介质以及计算机程序产品。
[0004]根据本公开的一方面，提供了一种图像生成方法，包括：根据预设视角射线中的采样点，以及与预设视角射线对应的预设视角方向，确定与目标对象相关的对象表面特征，预设视角射线为基于预设位置沿着预设视角方向辐射的射线，预设视角方向为从预设位置朝向目标对象的方向；根据与目标对象相关的描述文本，以及对象表面特征，生成表征目标对象的目标图像。
[0005]根据本公开的另一方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，包括：根据预设视角射线中的采样点，以及与所述预设视角射线对应的预设视角方向，确定与目标对象相关的对象表面特征，所述预设视角射线为基于预设位置沿着所述预设视角方向辐射的射线，所述预设视角方向为从所述预设位置朝向所述目标对象的方向；根据与所述目标对象相关的描述文本，以及所述对象表面特征，生成表征所述目标对象的目标图像。2.根据权利要求1所述的方法，其中，所述对象表面特征包括对象颜色特征；其中，所述根据预设视角射线中的采样点，以及与所述预设视角射线对应的预设视角方向确定与目标对象相关的对象表面特征包括：基于神经辐射场算法处理所述采样点和所述预设视角方向，得到与所述目标对象相关的所述对象颜色特征。3.根据权利要求2所述的方法，其中，所述对象表面特征还包括对象反射属性特征；其中，所述根据预设视角射线中的采样点，以及与所述预设视角射线对应的预设视角方向确定与目标对象相关的对象表面特征还包括：根据反射分布函数模型处理所述采样点和所述预设视角方向，得到与所述目标对象相关的所述对象反射属性特征。4.根据权利要求1所述的方法，其中，所述根据与所述目标对象相关的描述文本，以及所述对象表面特征，生成表征所述目标对象的目标图像包括：对所述描述文本进行编码，得到描述文本特征；融合所述描述文本特征和所述对象表面特征，得到目标融合特征；以及根据所述目标融合特征，生成所述目标图像。5.根据权利要求4所述的方法，其中，所述融合所述描述文本特征和所述对象表面特征，得到目标融合特征包括：对第n
‑
1级融合特征进行至少一次卷积，得到第n
‑
1级中间融合特征，其中，N≥n＞1，n为整数；基于注意力网络算法融合第n
‑
1级所述中间融合特征和所述描述文本特征，得到第n级所述融合特征；以及在n等于N的情况下，将第N级所述融合特征确定为所述目标融合特征；其中，第1级所述融合特征是基于所述注意力网络算法，融合所述描述文本特征和所述对象表面特征后得到的。6.根据权利要求1所述的方法，其中，每个所述预设视角射线中包含有多个采样点，且每个所述预设视角射线中相邻的所述采样点之间的采样点相邻距离相等。7.一种深度学习模型的训练方法，包括：获取训练样本，所述训练样本包括样本数据和样本标签，所述样本数据包括样本预设视角射线中的样本采样点、与所述样本预设视角射线对应的样本预设视角方向和与样本目标对象相关的样本描述文本，所述样本预设视角射线为基于样本预设位置沿着所述样本预设视角方向辐射的射线，所述样本预设视角方向为从所述样本预设位置朝向所述样本目标对象的方向，所述样本标签包括与所述样本预设视角方向对应的标签图像，所述标签图像与所述样本目标对象相关；
将所述样本采样点和所述样本预设视角方向输入至深度学习模型的对象表面特征检测网络，输出与所述样本目标对象相关的样本初始对象表面特征；将所述样本描述文本和所述初始对象表面特征输入至所述深度学习模型的图像生成网络，输出样本图像；以及根据所述样本图像和所述标签图像训练所述深度学习模型，得到训练后的深度学习模型。8.根据权利要求7所述的方法，其中，所述深度学习模型还包括三维图像生成网络，所述样本标签还包括与所述样本目标对象相关的标签三维图像；所述训练方法还包括：将所述样本初始对象表面特征输入至所述三维图像生成网络，输出样本三维图像。9.根据权利要求8所述的方法，其中，所述根据所述样本图像和所述标签图像训练所述深度学习模型，得到训练后的深度学习模型包括：根据所述样本图像和所述标签图像，得到第一损失值；根据所述样本三维图像和所述标签三维图像，得到第二损失值；以及根据所述第一损失值和所述第二损失值，训练所述深度学习模型，得到所述训练后的深度学习模型。10.根据权利要求7所述的方法，其中，所述样本初始对象表面特征包括样本对象颜色特征；其中，所述将所述样本采样点和所述样本预设视角方向输入至深度学习模型的对象表面特征检测网络，输出与所述样本目标对象相关的样本初始对象表面特征包括：将所述样本采样点和所述样本预设视角方向输入至所述对象表面特征检测网络的第一检测层，输出所述样本对象颜色特征，其中，所述第一检测层基于神经辐射场算法构建得到。11.根据权利要求10所述的方法，其中，所述样本初始对象表面特征还包括样本对象反射属性特征；其中，所述将所述样本采样点和所述样本预设视角方向输入至深度学习模型的对象表面特征检测网络，输出与所述样本目标对象相关的样本初始对象表面特征还包括：将所述样本采样点和所述样本预设视角方向输入至所述对象表面特征检测网络的第二检测层，输出所述样本对象反射属性特征，其中，所述第二检测层基于反射分布函数模型构建得到。12.根据权利要求7所述的方法，其中，所述图像生成网络包括文本特征编码层、编码网络层和解码网络层；其中，所述将所述样本描述文本和所述初始对象表面特征输入至所述深度学习模型的图像生成网络，输出样本图像包括：将所述样本描述文本输入至所述文本特征编码层，得到样本描述文本特征；将所述样本初始对象表面特征、噪音信息和所述样本描述文本特征输入至所述编码网络层，输出潜变量特征；以及将所述潜变量特征输入至所述解码网络层，输出所述样本图像。13.根据权利要求12所述的方法，其中，所述编码网络层包括N级基于卷积神经网络算
法构建的第一特征融合子层，以及N级基于注意力网络算法构建的第二特征融合子层，N为大于1的整数；其中，所述将所述样本初始对象表面特征、噪音信息和所述样本描述文本特征输入至所述编码网络层，输出潜变量特征包括：将第n
‑
1级融合特征输入至第n级所述第一特征融合子层，输出第n级中间融合特征；将第n级所述中间融合特征和所述样本描述文本特征输入至第n级所述第二特征融合子层，输出第n级所述融合特征；以及在n等于N的情况下，将第N级所述融合特征确定为所述潜变量特征，其中，N≥n＞1，n为整数；其中，所述第1级中间融合特征是通过将所述样本初始对象表面特征和所述噪音信息输入至第1级所述第一特征融合子层得到的，第1级融合特征是通过将所述第1级中间融合特征和所述样本描述文本特征输入至第1级所述第二特征融合子层得到的。14.根据权利要求7所述的方法，其中，每个所述样本预设视角射线中包含有多个样本采样点，且每个所述样本预设视角射线中相邻的所述样本采样点之间的样本采样点相邻距离相等。15.一种图像生成装置，包括：对象表面特征确定模块，用于根据预设视角射线中的采样点，以及与所述预设视角射线对应的预设视角方向，确定与目标对象相关的对象表面特征，所述预设视角射线为基于预设位置沿着所述预设视角方向辐射的射线，所述预设视角方向为从所述预设位置朝向所...

【专利技术属性】
技术研发人员：杨黔生，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：