图像生成、模型的训练、信息重建方法、装置及电子设备制造方法及图纸

本公开提供了一种图像生成方法、模型的训练方法、信息重建方法、装置及电子设备，涉及人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。具体实现方案为：获取待处理图像的第一回归参数，待处理图像包括目标样本对象，第一回归参数包括目标样本对象几何信息；根据目标样本对象几何信息，确定与目标样本对象相对应的几何模型；对几何模型进行加扰，得到加扰贴图；根据加扰贴图的加扰回归参数，确定加扰贴图的标签信息；以及根据标签信息和加扰贴图，确定样本图像。确定样本图像。确定样本图像。

【技术实现步骤摘要】
图像生成、模型的训练、信息重建方法、装置及电子设备


[0001]本公开涉及人工智能
，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于元宇宙、虚拟数字人等场景，具体地，涉及一种图像生成方法、一种模型的训练方法、一种信息重建方法、装置及电子设备。

技术介绍

[0002]虚拟数字人是创建元宇宙虚拟世界的关键元素之一。根据数字人的业务需求不同，数字人可分为2维、3维、卡通、写实、超写实等。在实际场景中，需要针对虚拟数字人构建适配业务需求的基本虚拟形象。

技术实现思路

[0003]本公开提供了一种图像生成方法、一种模型的训练方法、一种信息重建方法、装置及电子设备。
[0004]根据本公开的一方面，提供了一种样本图像生成方法，包括：获取待处理图像的第一回归参数，所述待处理图像包括目标样本对象，所述第一回归参数包括目标样本对象几何信息；根据所述目标样本对象几何信息，确定与所述目标样本对象相对应的几何模型；对所述几何模型进行加扰，得到加扰贴图；根据所述加扰贴图的加扰回归参数，确定所述加扰贴图的标签信息；以及根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种样本图像生成方法，包括：获取待处理图像的第一回归参数，所述待处理图像包括目标样本对象，所述第一回归参数包括目标样本对象几何信息；根据所述目标样本对象几何信息，确定与所述目标样本对象相对应的几何模型；对所述几何模型进行加扰，得到加扰贴图；根据所述加扰贴图的加扰回归参数，确定所述加扰贴图的标签信息；以及根据所述标签信息和所述加扰贴图，确定样本图像。2.根据权利要求1所述的方法，其中，所述对所述几何模型进行加扰，得到加扰贴图包括：确定与所述几何模型中的点相对应的点法向信息，所述点法向信息表征所述几何模型中的点在三维空间的法线信息；以及根据所述点法向信息，对所述几何模型中的点在所述点对应的法线方向上进行加扰，得到所述加扰贴图。3.根据权利要求1所述的方法，其中，所述对所述几何模型进行加扰，得到加扰贴图包括：获取加扰参数；以及根据所述加扰参数对所述几何模型进行加扰，得到所述加扰贴图。4.根据权利要求3所述的方法，其中，所述第一回归参数还包括目标样本对象纹理贴图、目标样本对象材质贴图、第一球谐光照系数和第一相机参数；所述加扰参数包括如下中的至少之一：目标样本对象几何加扰参数、目标样本对象纹理加扰参数、目标样本对象材质加扰参数、球谐光照加扰参数和相机加扰参数；所述根据所述加扰参数对所述几何模型进行加扰，得到所述加扰贴图包括如下中的至少之一：根据所述目标样本对象几何加扰参数，对所述几何模型进行加扰；根据所述目标样本对象纹理加扰参数和所述目标样本对象纹理贴图，对所述几何模型进行纹理填充；根据所述目标样本对象材质加扰参数和所述目标样本对象材质贴图，对所述几何模型进行颜色渲染；根据所述球谐光照加扰参数和所述第一球谐光照系数，对所述几何模型进行光照渲染；以及根据所述相机加扰参数和所述第一相机参数，将所述几何模型投影到图像空间。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述加扰回归参数包括如下中的至少之一：加扰点法向信息、目标样本对象加扰几何信息、目标样本对象加扰材质贴图、目标样本对象加扰纹理贴图、加扰球谐光照系数和加扰相机参数。6.根据权利要求1所述的方法，其中，所述根据所述标签信息和所述加扰贴图，确定样本图像包括：对所述加扰贴图进行纹理边界填充，得到加扰渲染图像；以及将所述标签信息和所述加扰渲染图像进行关联，得到包括标签信息的加扰渲染图像，作为所述样本图像。
7.一种深度学习模型的训练方法，包括：将样本待处理图像输入深度学习模型的第一神经网络，得到所述样本待处理图像的第二回归参数，所述样本待处理图像包括待处理对象，所述第二回归参数包括待处理对象几何信息；将所述样本待处理图像和所述第二回归参数输入所述深度学习模型的第二神经网络，得到与所述样本待处理图像相对应的样本渲染图像；利用所述样本渲染图像和所述样本待处理图像训练所述深度学习模型，得到训练结果；以及响应于确定所述训练结果满足预定条件，利用样本图像和待处理图像微调所述深度学习模型的参数，得到经训练的深度学习模型；其中，所述样本图像是根据权利要求1
‑
6中任一项所述的方法处理所述待处理图像生成的。8.根据权利要求7所述的方法，其中，所述利用所述样本渲染图像和所述样本待处理图像训练所述深度学习模型包括：根据所述样本渲染图像和所述样本待处理图像之间的相似度，确定第一距离损失；根据所述样本渲染图像的特征表示和所述样本待处理图像的特征表示，确定第一感知损失；确定所述样本渲染图像和所述样本待处理图像之间的第一范数损失；以及根据所述第一距离损失、所述第一感知损失和所述第一范数损失，对所述深度学习模型进行训练。9.根据权利要求8所述的方法，其中，所述预定条件包括所述第一距离损失、所述第一感知损失和所述第一范数损失均收敛。10.根据权利要求7
‑
9中任一项所述的方法，其中，所述利用样本图像和待处理图像微调所述深度学习模型的参数包括：根据所述样本图像和所述待处理图像之间的相似度，确定第二距离损失；根据所述样本图像的特征表示和所述待处理图像的特征表示，确定第二感知损失；确定所述样本图像和所述待处理图像之间的第二范数损失；以及根...

【专利技术属性】
技术研发人员：李杰，
申请(专利权)人：百度时代网络技术北京有限公司，
类型：发明
国别省市：