【技术实现步骤摘要】
渲染贴图生成方法及装置、模型训练方法及装置
[0001]本公开涉及人工智能
，具体为计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于元宇宙、数字人等场景，具体涉及一种渲染贴图生成方法及装置、模型训练方法及装置、电子设备、计算机可读存储介质。
技术介绍
[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]虚拟数字人是创建元宇宙虚拟世界的关键元素之一。根据数字人的业务需求不同，数字人可分为二维、三维、卡通、写实、超写实等几类。目前常见高质量虚拟数字人（虚拟形象）的设计需要专业的动画师对虚拟形象进行几何建模、纹理贴图、光照贴图等进行专业优化设计以达到适配业务需求的基本虚拟形象构建。<...
【技术保护点】
【技术特征摘要】
1.一种渲染贴图生成方法，其特征在于，所述方法包括：对目标对象的身份识别信息进行第一特征提取，以获得第一特征图，其中，所述身份识别信息包含所述目标对象的原始纹理特征信息；对所述目标对象的表面法线信息和虚拟场景的场景信息进行第二特征提取，以获得第二特征图，所述场景信息包括光照信息；以及基于所述第一特征图和所述第二特征图，生成所述虚拟场景中的所述目标对象的渲染贴图。2.根据权利要求1所述的方法，其中，所述对所述目标对象的表面法线信息和虚拟场景的场景信息进行第二特征提取，以获得第二特征图包括：对所述表面法线信息进行第一子特征提取，以获得第一子特征图；对所述场景信息进行第二子特征提取，以获得第二子特征图；以及基于所述第一子特征图和所述第二子特征图，融合获得所述第二特征图。3.根据权利要求2所述的方法，还包括：对所述表面法线信息进行第三子特征提取，以获得至少一个第三子特征图，所述第一子特征图和所述至少一个第三子特征图中的每个第三子特征图分别对应不同的分辨率；并且，所述基于所述第一子特征图和所述第二子特征图，融合获得所述第二特征图包括：基于所述第一子特征图和所述第二子特征图，获取第一融合特征；以及对所述第一融合特征和所述至少一个第三子特征图进行特征融合，以获得所述第二特征图。4.根据权利要求1至3中任一项所述的方法，其中，所述虚拟场景中包括用于观测所述目标对象的虚拟相机，所述场景信息还包括下述信息中的至少一者：所述虚拟相机相对于所述目标对象的视角信息、所述目标对象相对于所述虚拟相机的位置信息和姿态信息。5.根据权利要求1至3中任一项所述的方法，其中，所述光照信息包括光照强度信息、光源颜色信息和光源位置信息中的至少一者。6.根据权利要求1至3中任一项所述的方法，其中，所述虚拟场景中包括多个光源，所述多个光源中的每个光源包括相应的第一光照信息，所述方法还包括：基于所述多个光源中每个光源的第一位置信息，对所述多个光源进行聚类，以获得至少一个中心光源；以及基于所述多个光源中每个光源相应的第一光照信息，确定所述至少一个中心光源相应的至少一个第二光照信息，以作为所述光照信息。7.根据权利要求1至3中任一项所述的方法，其中，所述对目标对象的身份识别信息进行第一特征提取，以获得第一特征图包括：对所述身份识别信息进行第四子特征提取，以获得多个第四子特征图，所述多个第四子特征图分别对应不同的多个分辨率；以及基于所述多个第四子特征图进行特征融合，以获得所述第一特征图。8.根据权利要求1至3中任一项所述的方法，还包括：对所述身份识别信息进行第三特征提取，以获得第三特征图，其中，所述第三特征图的分辨率大于所述第一特征图的分辨率；并且，
所述基于所述第一特征图和所述第二特征图，生成所述虚拟场景中的所述目标对象的渲染贴图包括：基于所述第一特征图、所述第二特征图和所述第三特征图，生成所述渲染贴图。9.根据权利要求1至3中任一项所述的方法，其中，所述身份识别信息通过对所述目标对象的原始纹理贴图进行特征编码获得。10.一种模型训练方法，其特征在于，所述模型包括第一特征提取网络、第二特征提取网络以及生成网络，所述方法包括：获取样本数据，所述样本数据包括样本对象的身份识别信息、表面法线信息、样本场景的场景信息以及所述样本对象在所述样本场景中的样本渲染贴图，所述身份识别信息包含所述样本对象的原始纹理特征信息，所述场景信息包括光照信息；将所述身份识别信息输入所述第一特征提取网络，以获得所述第一特征提取网络输出的第一特征图；将所述表面法线信息和所述场景信息输入所述第二特征提取网络，以获得所述第二特征提取网络输出的第二特征图；至少将所述第一特征图和所述第二特征图输入所述生成网络，以获得所述生成网络输出的所述样本场景中的所述样本对象的渲染贴图预测结果；以及基于所述渲染贴图预测结果和所述样本渲染贴图，调整所述模型的参数。11.根据权利要求10所述的方法，其中，所述第二特征提取网络包括第一子特征提取网络、第二子特征提取网络以及第一特征融合网络，所述将所述表面法线信息和所述场景信息输入所述第二特征提取网络，以获得所述第二特征提取网络输出的第二特征图包括：将所述表面法线信息输入所述第一子特征提取网络，以获得所述第一子特征提取网络输出的第一子特征图；将所述场景信息输入所述第二子特征提取网络，以获得所述第二子特征提取网络输出的第二子特征图；以及至少将所述第一子特征图和所述第二子特征图输入所述第一特征融合网络，以获得所述第一特征融合网络输出的所述第二特征图。12.根据权利要求11所述的方法，所述第二特征提取网络还包括第三子特征提取网络，所述第一特征融合网络包括第一融合子网络和第二融合子网络，所述方法还包括：将所述表面法线信息输入所述第三子特征提取网络，以获得所述第三子特征提取网络输出的至少一个第三子特征图，所述第一子特征图和所述至少一个第三子特征图中的每个第三子特征图分别对应不同的分辨率；并且，所述至少将所述第一子特征图和所述第二子特征图输入所述第一特征融合网络，以获得所述第一特征融合网络输出的所述第二特征图包括：将所述第一子特征图和所述第二子特征图输入所述第一融合子网络，以获得所述第一融合子网络输出的第一融合特征；以及将所述第一融合特征和所述至少一个第三子特征图输入所述第二融合子网络，以获得所述第二融合子网络输出的所述第二特征图。13.根据权利要求10至12中任一项所述的方法，其中，所述样本场景中包括用于观测所述样本对象的虚拟相机，所述场景信息还包括下述信息中的至少一者：所述虚拟相机相对
于所述样本对象的视角信息、所述样本对象相对于所述虚拟相机的位置信息和姿态信息。14.根据权利要求10至12中任一项所述的方法，其中，所述光照信息包括光照强度信息、光源颜色信息和光源位置信息中的至少一者。15.根据权利要求10至12中任一项所述的方法，其中，所述样本场景中包括多个光源，所述多个光源中的每个光源包括相应的第一光照信息，所述方法还包括：基于所述多个光源中每个光源的第一位置信息，对所述多个光源进行聚类，以获得至少一个中心光源；以及基于所述多个光源中每个光源相应的第一光照信息，确定所述至少一个中心光源相应的至少一个第二光照信息，以作为所述光照信息。16.根据权利要求10至12中任一项所述的方法，其中，所述第一特征提取网络包括第四子特征提取网络和第二特征融合网络，所述将所述身份识别信息输入所述第一特征提取网络，以获得所述第一特征提取网络输出的第一特征图包括：将所述身份识别信息输入所述第四子特征提取网络，以获得所述第四子特征提取网络输出的多个第四子特征图，所述多个第四子特征图分别对应不同的多个分辨率；以及将所述多个第四子特征图输入所述第二特征融合网络，以获得所述第二特征融合网络输出的所述第一特征图。17.根据权利要求10至12中任一项所述的方法，所述模型还包括第三特征提取网络，所述方法还包括：将所述身份识别信息输入所述第三特征提取网络，以获得所述第三特征提取网络输出的第三特征图，其中，所述第三特征图的分辨率大于所述第一特征图的分辨率；并且，所述至少将所述第一特征图和所述第二特征图输入所述生成网络，以获得所述生成网络输出的所述样本场景中的所述样本对象的渲染贴图预测结果包括：将所述第一特征图、所述第二特征图和所述第三特征图输入所述生成网络，以获得所述生成网络输出的所述渲染贴图预测结果。18.根据权利要求10至12中任一项所述的方法，其中，所述身份识别信息通过对所述样本对象的原始纹理贴图进行特征编码获得。19.一种渲染贴图生成装置，其特征在于，所述装置包括：第一获取单元，被配置为对目标对象的身份识别信息进行第一特征提取，以获得第一特征图，其中，所述身份识别信息包含所述目标对象的原始纹理特征信息；第二获取单元，被配置为对所述目标对象的表面法线信息和虚拟场景的场景信息进...
【专利技术属性】
技术研发人员：李杰，陈睿智，张岩，赵晨，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。