一种三维人脸模型自动贴图生成系统及方法技术方案

本发明专利技术属于三维人脸模型技术领域，具体为一种三维人脸模型自动贴图生成系统及方法，该三维人脸模型自动贴图生成方法的具体步骤为：获得第一人脸图像、第二人脸图像和第二人脸法向量图像；获取第一人脸图像和第二人脸图像中的关键点；将符合条件的几个关键点分为一组作为一个子区域，依次划分所有关键点；获取第一人脸图像目标区域，作为第二人脸图像中需要替换的区域；将第一人脸图像目标区域中关键点划分子区域变换到对应的第二人脸图像关键点划分子区域，得到第三人脸图像；将所述第二人脸图像与所述第三人脸图像的目标部位融合，得到第四人脸图像。本发明专利技术可以对任意三维模型进行人脸贴图生成；效率高，执行速度快；硬件性能要求低。求低。求低。

【技术实现步骤摘要】
一种三维人脸模型自动贴图生成系统及方法


[0001]本专利技术涉及三维人脸模型
，具体为一种三维人脸模型自动贴图生成系统及方法。

技术介绍

[0002]换脸技术是近几年兴起的一种应用，主要用在2D图像上进行换脸。比如一些网络流行的短视频中的换脸技术。将某个人脸换到视频中其他人物的脸部，可以应用在影视领域中，例如某个演员由于某些原因无法完成后期拍摄，可以用其他演员的人脸进行替换，但是在三维领域的换脸还比较少见。随着最近数字人元宇宙领域的兴起，三维领域的换脸需求渐渐显现。现有多数是三维模型上的换脸，没有同步人脸贴图换脸。
[0003]例如中国专利申请号为CN202110882708.4提供基于三维人脸分解的换脸与重演方法及装置，具有同一套流程可同时实现任意人换脸和表情重演的特点。例如中国专利申请号为CN201910996426.X公开了一种基于图形处理器的三维人脸融合方法及系统，通过控制各尺度下用户人脸和特定形象的概貌分量和轮廓细节的混合比例，从而获得效果自然且样式丰富的融合结果人像。
[0004]现有换脸专利技术较少，方法复杂。有些需要需要通过训练模型来实现，准备训练数据耗时费力。

技术实现思路

[0005]本专利技术的目的在于提供一种三维人脸模型自动贴图生成系统及方法，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种三维人脸模型自动贴图生成方法，该三维人脸模型自动贴图生成方法的具体步骤为：
[0007]获得第一人脸图像、第二人脸图像和第二人脸法向量图像；
[0008]获取第一人脸图像和第二人脸图像中的关键点；
[0009]将符合条件的几个关键点分为一组作为一个子区域，依次划分所有关键点；
[0010]获取第一人脸图像目标区域，作为第二人脸图像中需要替换的区域；
[0011]将第一人脸图像目标区域中关键点划分子区域变换到对应的第二人脸图像关键点划分子区域，得到第三人脸图像；
[0012]将所述第二人脸图像与所述第三人脸图像的目标部位融合，得到第四人脸图像；
[0013]获取第一人脸图像细节特征法向量图像；
[0014]将所述第一人脸图像细节特征法向量图像中在所述目标区域范围内的关键点子区域变换到第二人脸法向量图像中，得到第四人脸图像对应的细节法向量图像。
[0015]进一步地，所述的获取第一人脸图像和第二人脸图像中的关键点，包括通过人脸识别检测的关键点。
[0016]进一步地，所述的获取第一人脸图像和第二人脸图像中的关键点，包括通过三维
模型顶点和第一人脸图像、第二人脸图像坐标对应获得关键点，第一人脸图像关键点和第二人脸图像关键点之间的映射关系。
[0017]进一步地，所述关键点划分，利用人脸识别检测到的关键点进行三角剖分得到。
[0018]进一步地，所述关键点划分，利用三维模型面片信息得到，组成一个面片的三维顶点对应第二人脸图像上的一组图像坐标。
[0019]进一步地，所述目标区域提取过程，包括：
[0020]去除第一人脸图像中头发遮挡；
[0021]去除第一人脸图像中非正向可以见遮挡。
[0022]进一步地，所述关键点划分子区域变换过程包括：
[0023]获取目标区域内第一人脸图像和第二人脸图像的关键点子区域；
[0024]计算第一人脸图像关键点子区域到第二人脸图像关键点子区域的变换；
[0025]将第一人脸图像关键点子区域按照所述变换变换到对应的第二人脸图像关键点子区域，得到第三人脸图像。
[0026]进一步地，所述目标区域融合，包括对第二人脸图像目标区域和第四人脸图像目标区域进行图像处理。
[0027]进一步地，所述细节特征法向量图像关键点子区域变换过程，包括：
[0028]获取目标区域内第一人脸细节法向量图像和第二人脸法向量图像的关键点子区域；
[0029]计算第一人脸细节法向量图像关键点子区域到第二人脸法向量图像关键点子区域的变换；
[0030]将第一人脸细节法向量图像关键点子区域按照所述变换变换到对应的第二人脸法向量图像关键点子区域，得到第四人脸细节法向量脸图像。
[0031]一种三维人脸模型自动贴图生成系统，所述系统包括：
[0032]图像获取模块，用于获取第一人脸图像、第二人脸图像以及第二人脸法向量图像；
[0033]关键点获取模块，用于获取第一人脸图像和第二人脸图像中的关键点；
[0034]关键点划分模块，用于将符合条件的几个关键点分为一组作为一个子区域；
[0035]目标区域获取模块，用计算第一人脸图像中的目标区域；
[0036]关键点子区域变换模块，用于将第一人脸图像目标区域中关键点子区域变换到第二人脸图像中的关键点子区域；
[0037]图像处理模块，用于将第二人脸图像与所述第三人脸图像的目标部位融合，得到第四人脸图像；
[0038]细节特征提取模块，用于获得第一人脸图像中的细节特征法向量图像；
[0039]法向量图像变换模块，用于将第一人脸细节特征法向量图像中目标区域的关键点子区域变换到第二人脸法向量图像中，得到第四人脸法向量图像；
[0040]处理器以及存储有计算机程序指令的存储器；
[0041]所述处理器执行所述计算机程序指令时实现如权利要求1
‑
14任意一项所述的三维人脸模型自动贴图生成方法；
[0042]一种计算机存储介质，存储有计算机及程序指令，所述计算机程序指令被处理所述的三维人脸模型自动贴图生成方法。
[0043]与现有技术相比，本专利技术的有益效果是：
[0044]本专利技术提出三维人脸模型自动贴图生成，可以实现三维人脸贴图的换脸，适用于任意拓扑结构模型。可以对任意三维模型进行人脸贴图生成；效率高，执行速度快；硬件性能要求低。
附图说明
[0045]图1为本专利技术三维人脸模型自动贴图生成系统框架图。
具体实施方式
[0046]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0047]实施例：
[0048]请参阅图1，本专利技术提供一种技术方案：具体包括：
[0049]图像获取模块11，获取第一人脸图像12、第二人脸图像16和第二法向量图像25。
[0050]关键点获取模块15，提取第一人脸图像和第二人脸图像关键点17，关键点可以是人脸图像中的关键点，指的是能够表征人脸特征的部分的特征点；也可以是通过三维模型顶点和第一人脸图像12之间的映射关系获得的所有人脸顶点在第一人脸图像12上对应的图像坐标。第一人脸图像和第二人脸图像关键点之间的对应关系29可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维人脸模型自动贴图生成方法，其特征在于，包括以下步骤：获得第一人脸图像、第二人脸图像和第二人脸法向量图像；获取第一人脸图像和第二人脸图像中的关键点；将符合条件的几个关键点分为一组作为一个子区域，依次划分所有关键点；获取第一人脸图像目标区域，作为第二人脸图像中需要替换的区域；将第一人脸图像目标区域中关键点划分子区域变换到对应的第二人脸图像关键点划分子区域，得到第三人脸图像；将所述第二人脸图像与所述第三人脸图像的目标部位融合，得到第四人脸图像；获取第一人脸图像细节特征法向量图像；将所述第一人脸图像细节特征法向量图像中在所述目标区域范围内的关键点子区域变换到第二人脸法向量图像中，得到第四人脸图像对应的细节法向量图像。2.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述的获取第一人脸图像和第二人脸图像中的关键点，包括通过人脸识别检测的关键点。3.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述的获取第一人脸图像和第二人脸图像中的关键点，包括通过三维模型顶点和第一人脸图像、第二人脸图像坐标对应获得关键点，第一人脸图像关键点和第二人脸图像关键点之间的映射关系。4.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述关键点划分，利用人脸识别检测到的关键点进行三角剖分得到。5.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述关键点划分，利用三维模型面片信息得到，组成一个面片的三维顶点对应第二人脸图像上的一组图像坐标。6.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述目标区域提取过程，包括：去除第一人脸图像中头发遮挡；去除第一人脸图像中非正向可以见遮挡。7.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述关键点划分子区域变换过程包括：获取目标区域内第一人脸图像和第二人脸图像的关键点子区域；计算第一人脸图像关键点子区域到第二人脸图像关键点...

【专利技术属性】
技术研发人员：杜华，王语堂，岳宗，赵朋飞，
申请(专利权)人：兰州未来新影文化科技集团有限责任公司，
类型：发明
国别省市：