一种三维人脸模型贴图融合方法和计算机处理设备技术

本发明专利技术公开了一种三维人脸模型贴图融合方法，包括以下步骤：获取公模贴图与用户图片；整体调整所述公模贴图的颜色，使所述公模贴图的颜色与所述用户人脸区域的颜色一致；将所述用户人脸区域融合至所述公模人脸区域，消除明显的拼接缝隙；使用多频段混合方法，进一步消除所述用户人脸区域融合至所述公模人脸区域之后存在的微弱缝隙；获取融合之后新的贴图。该方法从预处理到最终三维人脸贴图融合，全过程无需手工交互，做到了完全自动化运行。该方法在实际效果上，处理了三维人脸模型贴图融合可能存在的细节缺陷。

A 3D Face Model Mapping Fusion Method and Computer Processing Equipment

【技术实现步骤摘要】
一种三维人脸模型贴图融合方法和计算机处理设备
本专利技术涉及三维
，尤其涉及一种三维人脸模型贴图融合方法和计算机处理设备。
技术介绍
两幅或多幅图像之间的融合是一项非常关键和重要的图像编辑技术。从一幅或多幅图中直接复制其中一部分图像区域到另外一幅图像进行简单合成将使得合成图像合成不自然，过渡不平滑。特别是在合成图像的边缘区域，通常需要经过较为仔细的处理。图像之间的融合有三种主要方法：基于梯度域的泊松方程求解方法，基于特征的合成法以及莱文贝格-马夸特方法(Levenberg-Marquardt)。基于梯度域的泊松方程求解方法，其主要过程为，在合并区域内部的图像，其保持原来图像之间的梯度信息，在合并的边缘处满足一定的边界条件，比如被合并的图像像素梯度。使得原始图和被合并的图的像素值在边缘处满足梯度层面相同的泊松方程。自从提出该方法来解决图像融合之后，有许多研究者提出了一系列的改进方法，但其相应的瓶颈仍然没有得到很好地解决，比如求解方程非常耗时，并且内存消耗较大。基于特征的合成法，其在图像融合过程中，也是在梯度域进行像素求解，但该方法同时考虑了图像中的特征点信息，例如角点，直线等信息。把特征约束信息放入方程求解中，在边缘处融合效果得到一定改善，但图像本身差别较大时，边缘处仍然较为模糊，其计算也比较耗时。基于莱文贝格-马夸特方法，该方法同时直接求解方程，而是通过迭代的方式，逐步的改善合成的边缘像素，进而改善图像融合效果。然而该方法与初始值相关，其结果不够稳定。在现有的人脸贴图融合过程中，经常出现边缘过度不自然、边缘存在缝隙等图像融合问题，导致合成之后的人脸图像不够逼真。此外现有方法中融合过程计算时间长，内存资源消耗较多，使得使用场景受到限制，特别是在手机移动端等方面的应用。因此，如何提供一种三维人脸模型贴图融合方法，能够使融合后的图像更加逼真，并提高计算效率，成为亟需解决的问题。
技术实现思路
本专利技术的目的是提供一种三维人脸模型贴图融合方法，以解决在单张照片重建三维人脸模型时，人脸贴图融合颜色整体过度不自然、边缘缝隙明显等问题。为了实现本专利技术的目，本专利技术提供了以下技术方案来：一种三维人脸模型贴图融合方法，该方法包括以下步骤：S101、获取公模贴图与用户图片，所述公模贴图包括待融合的公模人脸区域，所述用户图片包括待融合的用户人脸区域，并将所述公模人脸区域与用户人脸区域的位置进行对应；S102、整体调整所述公模贴图的颜色，使所述公模贴图的颜色与所述用户人脸区域的颜色一致；S103、将所述用户人脸区域融合至所述公模人脸区域，消除明显的拼接缝隙；S104、使用多频段混合方法，进一步消除所述用户人脸区域融合至所述公模人脸区域之后可能存在的微弱缝隙；S105、获取融合之后新的贴图。优选的，步骤S101具体包括：S1011、检测获得所述用户图片中的用户人脸区域，并在所述用户人脸区域中标记出人脸关键点；S1012、在三维人脸公模模型上，确定人脸区域所包括的三角面；并标记出属于人脸区域的连续三角面片，以及三维网格顶点，所述三维网格顶点与所述人脸关键点对应；S1013、单张用户照片重建三维人脸模型的三维形状：使用所述用户图片重建三维人脸模型，重建后的三维人脸模型拓扑结构和所述三维人脸公模模型一致，重建后的三维人脸模型反应出用户的人脸形状；S1014、确定公模贴图中公模人脸区域：获取所述三维人脸公模模型中人脸区域中连续三角面片中的贴图坐标，根据所述贴图坐标在所述公模贴图上获取公模人脸区域，并记为S_f；S1015、用户图片像素转移：使用相机矩阵和投影矩阵，把重建后的三维人脸模型重投影到所述用户人脸区域中，并根据图片上的对应位置转移像素。优选的，步骤S1015具体包括：对步骤S1014中的脸部区域中的每个像素p，根据其贴图坐标，找到它在S1013所述重建后的三维人脸模型上的三维坐标，进而找到所述用户人脸区域中对应的像素坐标，并把所述像素坐标的颜色像素值取出，在公模人脸区域对应的新的像素值记为F。优选的，步骤S102具体包括：S1021、对公模贴图和用户图片进行LAB分解：将整个公模贴图记为S，进行LAB分解，分解后的通道分别记为SL、SA、SB，对从用户图片上采集像素F进行LAB分解，分解后的通道分别记为FL、FA、FB；设公模贴图肤色L通道SL经过线性变换后，均值和标准差均等于用户人脸区域肤色L通道FL的均值和方差，线性变换如公式(1)所示：SLnew＝αSL+β(1)其中SLnew为公模贴图变换后L通道值，α、β为线性变换参数。S1022、求解线性变换参数：根据线性变换公式(1)，对公模贴图像素统计量有如下关系：求解得：其中，SDSL为公模贴图L通道标准差，为变换后公模贴图L通道标准差，MeanSL为公模贴图L通道的均值，为变换后公模贴图L通道均值。S1023、计算公模贴图L通道新的均值和方差：取SL和FL选取亮度值前80％数值，记为SL0.8和FL0.8，公模贴图L通道目标均值和目标方差表达成如下：其中：为公模贴图均值权重，为公模贴图方差权重，和分别是用户人脸像素L通道前80％亮度均值和标准差。S1024、转移均值和方差：根据公式(1)，使用预设函数，对SL进行线性变换，参数为S1022计算出的α和β。S1025、根据亮度加权转移A、B通道：根据步骤S1023，分别计算公模贴图A、B通道线性变换参数，根据线性变换公式得到公模贴图A通道和B通道变换后的值SAnew和SBnew，使用预设函数，将变化后的L、A、B通道值转化为RGB通道的到新的公模贴图Smatch。优选的，步骤S103中：经过以上步骤的运算，得到新的公模贴图；在公模人脸区域的部分，经过像素之间的查找对应，找到了用户人脸区域的部分新的像素值F；对所述公模人脸区域与所述用户人脸区域进行融合，把公模贴图S中的公模人脸区域S_f中的像素用新的像素值F中值来取代。优选的，步骤S103具体包括：S1031、对公模贴图S中的的公模人脸区域整体优化，求解出贴图中新像素值，优化目标函数为公式(8),其中n为F区域中的像素个数，目标函数分为两个求和部分，其中第一部分为反应像素空间之间的相似度，P(i)为像素i待求解的像素值，PF(i)为像素i在F区用户脸部区域对应的像素值，而wi则为该像素所对应的权重值，第二部分中，则约束贴图像素在梯度空间中过渡平滑，使得所述公模人脸区域与所述用户人脸区域进行融合在梯度空间中相似；其中表示在Snew中第i个像素的梯度；在公式(8)中，左边的为最终求解得到的像素值，求解完成之后，把公模贴图中的脸部区域中的像素值用新求解出来的值进行替换，本阶段贴图融合之后，公模贴图中的公模人脸区域用新的像素所取代，此时得模型贴图记为Sstitch；S1032、像素值约束的权重构造：像素i对应的权重公式为(9),其中d为像素i到贴图融合的边缘的距离；优选的，步骤S104具体包括：S1041、计算混合参数：运用预设函数，对公模人脸区域S_f计算权重图，取权重图中20％分位数记为sigma，分位数大小决定混合边界的宽度；S1042、定义下采样：将输入图片进行高斯平滑，平滑参数为所述sigma，将平滑后图片长和宽同时缩放到原来1/2；S1043、定义上采样：将输入图片本文档来自技高网...

【技术保护点】
1.一种三维人脸模型贴图融合方法，其特征在于，该方法包括以下步骤：S101、获取公模贴图与用户图片，所述公模贴图包括待融合的公模人脸区域，所述用户图片包括待融合的用户人脸区域，并将所述公模人脸区域与用户人脸区域的位置进行对应；S102、整体调整所述公模贴图的颜色，使所述公模贴图的颜色与所述用户人脸区域的颜色一致；S103、将所述用户人脸区域融合至所述公模人脸区域，消除明显的拼接缝隙；S104、使用多频段混合方法，进一步消除所述用户人脸区域融合至所述公模人脸区域之后存在的微弱缝隙；S105、获取融合之后新的贴图。

【技术特征摘要】
1.一种三维人脸模型贴图融合方法，其特征在于，该方法包括以下步骤：S101、获取公模贴图与用户图片，所述公模贴图包括待融合的公模人脸区域，所述用户图片包括待融合的用户人脸区域，并将所述公模人脸区域与用户人脸区域的位置进行对应；S102、整体调整所述公模贴图的颜色，使所述公模贴图的颜色与所述用户人脸区域的颜色一致；S103、将所述用户人脸区域融合至所述公模人脸区域，消除明显的拼接缝隙；S104、使用多频段混合方法，进一步消除所述用户人脸区域融合至所述公模人脸区域之后存在的微弱缝隙；S105、获取融合之后新的贴图。2.根据权利要求1所述的三维人脸模型贴图融合方法，其特征在于，步骤S101具体包括：S1011、检测获得所述用户图片中的用户人脸区域，并在所述用户人脸区域中标记出人脸关键点；S1012、在三维人脸公模模型上，确定人脸区域所包括的三角面；并标记出属于人脸区域的连续三角面片，以及三维网格顶点，所述三维网格顶点与所述人脸关键点对应；S1013、单张用户照片重建三维人脸模型的三维形状：使用所述用户图片重建三维人脸模型，重建后的三维人脸模型拓扑结构和所述三维人脸公模模型一致，重建后的三维人脸模型反应出用户的人脸形状；S1014、确定公模贴图中公模人脸区域：获取所述三维人脸公模模型中人脸区域中连续三角面片中的贴图坐标，根据所述贴图坐标在所述公模贴图上获取公模人脸区域，并记为S_f；S1015、用户图片像素转移：使用相机矩阵和投影矩阵，把重建后的三维人脸模型重投影到所述用户人脸区域中，并根据图片上的对应位置转移像素。3.根据权利要求2所述的三维人脸模型贴图融合方法，其特征在于，步骤S1015具体包括：对步骤S1014中的脸部区域中的每个像素p，根据其贴图坐标，找到它在S1013所述重建后的三维人脸模型上的三维坐标，进而找到所述用户人脸区域中对应的像素坐标，并把所述像素坐标的颜色像素值取出，在公模人脸区域对应的新的像素值记为F。4.根据权利要求3所述的三维人脸模型贴图融合方法，其特征在于，步骤S102具体包括：S1021、对公模贴图和用户图片进行LAB分解：将整个公模贴图记为S，进行LAB分解，分解后的通道分别记为SL、SA、SB，对从用户图片上采集像素F进行LAB分解，分解后的通道分别记为FL、FA、FB；设公模贴图肤色L通道SL经过线性变换后，均值和标准差均等于用户人脸区域肤色L通道FL的均值和方差，线性变换如公式(1)所示：SLnew＝αSL+β(1)其中SLnew为公模贴图变换后L通道值，α、β为线性变换参数。S1022、求解线性变换参数：根据线性变换公式(1)，对公模贴图像素统计量有如下关系：求解得：其中，SDSL为公模贴图L通道标准差，为变换后公模贴图L通道标准差，MeanSL为公模贴图L通道的均值，为变换后公模贴图L通道均值。S1023、计算公模贴图L通道新的均值和方差：取SL和FL选取亮度值前80％数值，记为SL0.8和FL0.8，公模贴图L通道目标均值和目标方差表达成如下：其中：为公模贴图均值权重，为公模贴图方差权重，和分别是用户人脸像素L通道前80％亮度均值和标准差。S1024、转移均值和方差：根据公式(1)，使用预设函数，对SL进行线性变换，参数为S1022计算出的α和β。S1025、根据亮度加权转移A、B通道：根据步骤S1023，分别计算公模贴图A、B通道线性变换参数，根据线性变换公式得到公模贴图A通道和B通道变换后的值SAnew和SBnew，使用预设函数，将变化后的L、A、B通道值转...

【专利技术属性】
技术研发人员：王志全，
申请(专利权)人：深圳市三维人工智能科技有限公司，
类型：发明
国别省市：广东,44