一种人体网格模型换脸方法及装置制造方法及图纸

本申请提供一种人体网格模型换脸方法及装置，该方法包括：获取人物正脸图片和预先配置的人体网格模型；根据人物正脸图片构建重建人脸网格模型；将人体网格模型的脸部区域替换为预设的标准人脸网格模型，得到初始人体网格模型；根据预设ICP算法将重建人脸网格对齐到初始人体网格模型的脸部所在区域，得到对齐重建人脸网格模型；再对初始人体网格模型和对齐重建人脸网格模型进行迭代优化处理，得到优化好的目标人体模型。可见，该方法及装置能够快速进行人体网格模型换脸，不需要人工交互操作，能够自动化运行，降低了运行时间，从而提升了人体网格模型处理效率。了人体网格模型处理效率。了人体网格模型处理效率。

【技术实现步骤摘要】
一种人体网格模型换脸方法及装置


[0001]本申请涉及计算机
，具体而言，涉及一种人体网格模型换脸方法及装置。

技术介绍

[0002]目前，随着虚拟技术的普及，数字人模型被应用至不同的场景。一些智能场景需要快速生成与输入人脸图像相似的可驱动的人体模型，使得动画师可以使用可驱动的人体模型进行动画制作，或者通过采集真人的人体动作数据，实时驱动人体模型。现有方法中，通常通过Metahuman软件生成方法通过将图片输入软件，得到带骨骼绑定与纹理贴图的人体模型。然而，在实践中发现，现有方法需要人工交互操作，无法实现自动化运行，且运行时间较长，从而降低了人体网格模型处理效率。

技术实现思路

[0003]本申请实施例的目的在于提供一种人体网格模型换脸方法及装置，能够快速进行人体网格模型换脸，不需要人工交互操作，能够自动化运行，降低了运行时间，从而提升了人体网格模型处理效率。
[0004]本申请实施例第一方面提供了一种人体网格模型换脸方法，包括：
[0005]获取人物正脸图片和预先配置的人体网格模型；
[0006]根据所述人物正脸图片构建重建人脸网格模型；
[0007]将所述人体网格模型的脸部区域替换为预设的标准人脸网格模型，得到初始人体网格模型；
[0008]根据预设ICP算法将所述重建人脸网格模型对齐到所述初始人体网格模型的脸部所在区域，得到对齐重建人脸网格模型；
[0009]对所述初始人体网格模型和所述对齐重建人脸网格模型进行迭代优化处理，得到优化好的目标人体模型。
[0010]在上述实现过程中，该方法可以优先获取人物正脸图片和预先配置的人体网格模型；然后，根据人物正脸图片构建重建人脸网格模型；再将人体网格模型的脸部区域替换为预设的标准人脸网格模型，得到初始人体网格模型；再后，根据预设ICP算法将重建人脸网格对齐到初始人体网格模型的脸部所在区域，得到对齐重建人脸网格模型；最后，再对初始人体网格模型和对齐重建人脸网格模型进行迭代优化处理，得到优化好的目标人体模型。可见，该方法能够快速进行人体网格模型换脸，不需要人工交互操作，能够自动化运行，降低了运行时间，从而提升了人体网格模型处理效率。
[0011]进一步地，所述根据所述人物正脸图片构建重建人脸网格模型，包括：
[0012]通过预设的深度网络模型对所述人物正脸图片进行处理，得到包括顶点颜色的初始重建人脸网格模型；
[0013]使用预设的LSCM算法，对所述初始重建人脸网格模型进行二维展开，得到所述初始重建人脸网格模型对应的映射二维坐标；其中，所述映射二维坐标为所述初始重建人脸
网格模型的三维顶点坐标映射到二维平面后对应的二维坐标；
[0014]根据所述顶点颜色和所述映射二维坐标，生成纹理贴图；
[0015]根据所述顶点颜色和所述纹理贴图对所述初始重建人脸网格模型进行纹理贴图插值处理，得到插值后的重建人脸网格模型。
[0016]进一步地，所述将所述人体网格模型的脸部区域替换为预设的标准人脸网格模型，得到初始人体网格模型，包括：
[0017]根据用户输入的边界点选择指令确定所述人体网格模型和所述重建人脸网格模型的边界点数据；
[0018]根据所述边界点数据删除所述人体网格模型的脸部区域；
[0019]获取拓扑结构与所述重建人脸网格模型相同的标准人脸网格模型；
[0020]将所述标准人脸网格模型放置在所述人体网格模型的脸部区域；
[0021]将所述标准人脸网格模型合并至所述人体网格模型的头部网格模型中，得到单个人体网格模型；
[0022]重新绑定所述单个人体网格模型的全身骨骼，得到初始人体网格模型。
[0023]进一步地，所述根据预设ICP算法将所述重建人脸网格对齐到所述初始人体网格模型的脸部所在区域，得到对齐重建人脸网格模型，包括：
[0024]将所述初始人体网格模型确定为预设ICP算法目标网格，以及将所述重建人脸网格模型作为预设ICP算法的变换网格；
[0025]通过所述预设ICP算法、所述目标网格和所述变换网格，获取将所述重建人脸网格模型变换至所述初始人体网格模型的脸部区域时的变换矩阵；
[0026]根据所述变换矩阵和所述重建人脸网格模型，生成对齐重建人脸网格模型。
[0027]进一步地，所述对所述初始人体网格模型和所述对齐重建人脸网格模型进行迭代优化处理，得到优化好的目标人体模型，包括：
[0028]获取所述对齐重建人脸网格模型与所述初始人体网格模型的顶点索引映射关系、所述对齐重建人脸网格模型的人脸网格顶点集合以及所述初始人体网格模型的人体网格顶点集合；
[0029]根据预设的迭代形变算法和所述对齐重建人脸网格模型对所述初始人体网格模型进行形变处理，得到形变人体网格模型，以最小化所述对齐重建人脸网格模型和所述初始人体网格模型的对应点之间的距离；
[0030]获取所述形变人体网格模型的形变顶点信息以及所述对齐重建人脸网格模型的对齐顶点信息；其中，所述形变顶点信息包括形变顶点坐标、形变顶点纹理坐标和形变顶点法向；所述对齐顶点信息包括顶点坐标和纹理坐标；
[0031]根据所述形变顶点信息和所述对齐顶点信息对所述初始人体网格模型的顶点信息进行替换，得到优化好的目标人体模型。
[0032]本申请实施例第二方面提供了一种人体网格模型换脸装置，所述人体网格模型换脸装置包括：
[0033]获取单元，用于获取人物正脸图片和预先配置的人体网格模型；
[0034]构建单元，用于根据所述人物正脸图片构建重建人脸网格模型；
[0035]替换单元，用于将所述人体网格模型的脸部区域替换为预设的标准人脸网格模
型，得到初始人体网格模型；
[0036]对齐单元，用于根据预设ICP算法将所述重建人脸网格模型对齐到所述初始人体网格模型的脸部所在区域，得到对齐重建人脸网格模型；
[0037]优化单元，用于对所述初始人体网格模型和所述对齐重建人脸网格模型进行迭代优化处理，得到优化好的目标人体模型。
[0038]在上述实现过程中，该装置可以通过获取单元获取人物正脸图片和预先配置的人体网格模型；通过构建单元来根据人物正脸图片构建重建人脸网格模型；通过替换单元将人体网格模型的脸部区域替换为预设的标准人脸网格模型，得到初始人体网格模型；通过对齐单元来根据预设ICP算法将重建人脸网格模型对齐到初始人体网格模型的脸部所在区域，得到对齐重建人脸网格模型；再通过优化单元对初始人体网格模型和对齐重建人脸网格模型进行迭代优化处理，得到优化好的目标人体模型。可见，该装置能够快速进行人体网格模型换脸，不需要人工交互操作，能够自动化运行，降低了运行时间，从而提升了人体网格模型处理效率。
[0039]进一步地，所述构建单元包括：
[0040]第一处理子单元，用于通过预设的深度网络模型对所述人物正脸图片进行处理，得到包括顶点颜色的初始重建人脸网格模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体网格模型换脸方法，其特征在于，包括：获取人物正脸图片和预先配置的人体网格模型；根据所述人物正脸图片构建重建人脸网格模型；将所述人体网格模型的脸部区域替换为预设的标准人脸网格模型，得到初始人体网格模型；根据预设ICP算法将所述重建人脸网格模型对齐到所述初始人体网格模型的脸部所在区域，得到对齐重建人脸网格模型；对所述初始人体网格模型和所述对齐重建人脸网格模型进行迭代优化处理，得到优化好的目标人体模型。2.根据权利要求1所述的人体网格模型换脸方法，其特征在于，所述根据所述人物正脸图片构建重建人脸网格模型，包括：通过预设的深度网络模型对所述人物正脸图片进行处理，得到包括顶点颜色的初始重建人脸网格模型；使用预设的LSCM算法，对所述初始重建人脸网格模型进行二维展开，得到所述初始重建人脸网格模型对应的映射二维坐标；其中，所述映射二维坐标为所述初始重建人脸网格模型的三维顶点坐标映射到二维平面后对应的二维坐标；根据所述顶点颜色和所述映射二维坐标，生成纹理贴图；根据所述顶点颜色和所述纹理贴图对所述初始重建人脸网格模型进行纹理贴图插值处理，得到插值后的重建人脸网格模型。3.根据权利要求1所述的人体网格模型换脸方法，其特征在于，所述将所述人体网格模型的脸部区域替换为预设的标准人脸网格模型，得到初始人体网格模型，包括：根据用户输入的边界点选择指令确定所述人体网格模型和所述重建人脸网格模型的边界点数据；根据所述边界点数据删除所述人体网格模型的脸部区域；获取拓扑结构与所述重建人脸网格模型相同的标准人脸网格模型；将所述标准人脸网格模型放置在所述人体网格模型的脸部区域；将所述标准人脸网格模型合并至所述人体网格模型的头部网格模型中，得到单个人体网格模型；重新绑定所述单个人体网格模型的全身骨骼，得到初始人体网格模型。4.根据权利要求1所述的人体网格模型换脸方法，其特征在于，所述根据预设ICP算法将所述重建人脸网格对齐到所述初始人体网格模型的脸部所在区域，得到对齐重建人脸网格模型，包括：将所述初始人体网格模型确定为预设ICP算法目标网格，以及将所述重建人脸网格模型作为预设ICP算法的变换网格；通过所述预设ICP算法、所述目标网格和所述变换网格，获取将所述重建人脸网格模型变换至所述初始人体网格模型的脸部区域时的变换矩阵；根据所述变换矩阵和所述重建人脸网格模型，生成对齐重建人脸网格模型。5.根据权利要求4所述的人体网格模型换脸方法，其特征在于，所述对所述初始人体网格模型和所述对齐重建人脸网格模型进行迭代优化处理，得到优化好的目标人体模型，包
括：获取所述对齐重建人脸网格模型与所述初始人体网格模型的顶点索引映射关系、所述对齐重建人脸网格模型的人脸网格顶点集合以及所述初始人体网格模型的人体网格顶点集合；根据预设的迭代形变算法和所述对齐重建人脸网格模型对所述初始人体网格模型进行形变处理，得到形变人体网格模型...

【专利技术属性】
技术研发人员：蒿杰，刘欣，刘嘉瑞，梁俊，陈霄，
申请(专利权)人：广东人工智能与先进计算研究院，
类型：发明
国别省市：