模型渲染方法、装置以及设备制造方法及图纸

本公开提供了一种模型渲染方法、装置以及设备，涉及人工智能技术领域，具体为增强现实、深度学习和计算机视觉技术领域，可应用于渲染超写实数字人的场景。该方法的一具体实施方式包括：学习第一引擎中的第一精度的白模模型；学习第二引擎中的第二精度的多角度贴图数据，其中，第二精度高于第一精度，将多角度贴图数据映射到白模模型中，得到渲染模型。该实施方式降低了渲染对硬件算力的要求，能够实现实时端侧渲染。端侧渲染。端侧渲染。

【技术实现步骤摘要】
模型渲染方法、装置以及设备


[0001]本公开涉及人工智能
，具体为增强现实、深度学习和计算机视觉
，可应用于渲染超写实数字人的场景。

技术介绍

[0002]随着人工智能和增强现实技术的日益迭代，数字人也在蓬勃发展。但是超写实数字人受限于目前硬件的算力限制，无法做到实时端侧渲染。而卡通数字人又无法展现出超写实数字人的丰富性。因此，目前渲染超写实数字人的方式通常是通过高速率、低延迟的宽带，将视频流传送到服务端进行渲染。

技术实现思路

[0003]本公开实施例提出了一种模型渲染方法、装置、设备、存储介质以及程序产品。
[0004]第一方面，本公开实施例提出了一种模型渲染方法，包括：学习第一引擎中的第一精度的白模模型；学习第二引擎中的第二精度的多角度贴图数据，其中，第二精度高于第一精度，将多角度贴图数据映射到白模模型中，得到渲染模型。
[0005]第二方面，本公开实施例提出了一种模型渲染装置，包括：第一学习模块，被配置成学习第一引擎中的第一精度的白模模型；第二学习模块，被配置成学习第二引擎中的第二精度的多角本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型渲染方法，包括：学习第一引擎中的第一精度的白模模型；学习第二引擎中的第二精度的多角度贴图数据，其中，所述第二精度高于所述第一精度，将所述多角度贴图数据映射到所述白模模型中，得到渲染模型。2.根据权利要求1所述的方法，其中，所述学习第二引擎中的第二精度的多角度贴图数据，包括：对所述第二引擎中的参考渲染模型进行不同角度的提取，得到参考多角度贴图数据；将所述参考多角度贴图数据和所述白模模型进行融合训练，得到所述多角度贴图数据。3.根据权利要求2所述的方法，其中，所述将所述参考多角度贴图数据和所述白模模型进行融合训练，得到所述多角度贴图数据，包括：确定所述白模模型的目标光照、目标视角和目标姿态纹理空间中的至少一项；将所述参考多角度贴图数据设置为与所述目标光照、目标视角和目标姿态纹理空间中的至少一项相同，生成所述多角度贴图数据。4.根据权利要求1所述的方法，其中，所述将所述多角度贴图数据映射到所述白模模型中，得到渲染模型，包括：将所述白模模型和所述多角度贴图数据进行拟合，生成在所述第一引擎中贴图与白模耦合的渲染数据；将所述渲染数据输入到所述第一引擎中，对所述白模模型进行渲染，得到所述渲染模型。5.根据权利要求4所述的方法，其中，所述将所述渲染数据输入到所述第一引擎中，对所述白模模型进行渲染，得到所述渲染模型，包括：将所述渲染数据输入到面部无线网格网络，依次对所述白模模型的面部进行面部表情驱动、骨骼驱动和展开着色，得到面部渲染模型；将所述面部渲染模型输入到整体无线网格网络，依次对所述面部渲染模型进行面部表情驱动、骨骼驱动和基于物理的着色与无光照着色，得到所述渲染模型。6.一种模型渲染装置，包括：第一学习模块，被配置成学习第一引擎中的第一精度的白模模型；第二学习模块，被配置成学习第二引擎中的第二精度的多角度贴图数据，其中，所述第二精度高于所述第一精度，渲染模块，被配置成将所述多角度贴图数据映射到所述白模模型中，得到渲染模型。7.根据...

【专利技术属性】
技术研发人员：季浩宇，张岩，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：