基于多张RGB图像的人脸重建方法技术

本发明专利技术公开了一种基于多张RGB图像的人脸重建方法，能够重建出高质量人脸模型。针对传统算法的高光去除过度和颜色失真问题，本发明专利技术采用像素分类和补偿函数来提升基于联合双边滤波算法的效果，消除了黑斑现象。本发明专利技术使用粗细双粒度的人脸几何重建，首先使用基于三维形变模型的方法恢复人脸整体形状，然后使用从明暗恢复形状的方法恢复面部细节，从而重建出高质量人脸几何模型。针对多张图像间的不对齐现象，本发明专利技术采用基于块的纹理映射技术，解决了纹理模糊的问题。同时针对块匹配运算效率低下的问题，本发明专利技术采用KDTree优化搜索空间，实现了至少5倍的加速效果。

Face Reconstruction Based on Multiple RGB Images

【技术实现步骤摘要】
基于多张RGB图像的人脸重建方法
本专利技术涉及计算机图形学中的一种人脸重建技术，尤其是涉及了一种基于多张RGB图像的人脸重建方法。
技术介绍
人脸重建一直是计算机图形学领域的重要研究方向，其目的是重建出和图像中人脸最相似的人脸模型，在游戏，影视和社交娱乐等领域人脸重建技术都起着关键的作用。基于联合双边滤波的高光去除算法能够有效去除物体图像的高光，但是对于纹理复杂的人脸图像，由于最大漫反射色度估计不准确而产生黑斑现象。基于三维形变模型的人脸几何重建，能够简单鲁棒地重建人脸整体几何，但是不能重建出原始数据中不包含的人脸形状，并且缺乏几何细节。基于从明暗恢复形状的人脸几何重建，能够有效重建出人脸细节，但是本身不适定性会导致结果不稳定。传统方法通过投影融合生成人脸纹理贴图，存在纹理模糊问题。本专利技术通过像素分类和补偿函数提升最大漫反射色度估计准确性，有效去除人脸图像高光，采用粗细双粒度人脸几何重建同时恢复人脸整体形状和几何细节，通过基于块的纹理映射技术解决纹理模糊问题，采用KDTree加速块匹配过程，最终生成高质量人脸模型。基于联合双边滤波的高光去除算法可以参考文献“YangQ,WangS,AhujaN.Real-timespecularhighlightremovalusingbilateralfiltering[C]//Europeanconferenceoncomputervision.Springer,Berlin,Heidelberg,2010:87-100.”，像素分类和补偿函数可以参考文献“GaoRX,LiXY.Specularhighlightremovalusingimprovedbilateralfiltering[J].JournalofImageandGraphics,2018,23(1):0009-0017.”，三维形变模型可以参考文献“BlanzV,VetterT.Amorphablemodelforthesynthesisof3Dfaces[C]//Proceedingsofthe26thannualconferenceonComputergraphicsandinteractivetechniques.ACMPress/Addison-WesleyPublishingCo.,1999:187-194.”，从明暗恢复形状技术可以参考文献“ZhangR,TsaiPS,CryerJE,etal.Shape-from-shading:asurvey[J].IEEEtransactionsonpatternanalysisandmachineintelligence,1999,21(8):690-706.”，基于块的纹理映射技术可以参考文献“BiS,KalantariNK,RamamoorthiR.Patch-basedoptimizationforimage-basedtexturemapping[J].ACMTransactionsonGraphics(ProceedingsofSIGGRAPH2017),2017,36(4).”，基于KDTree的块匹配加速可以参考文献“HeK,SunJ.Computingnearest-neighborfieldsviapropagation-assistedkd-trees[C]//ComputerVisionandPatternRecognition(CVPR),2012IEEEConferenceon.IEEE,2012:111-118.”。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供了一种基于多张RGB图像的人脸重建方法，本专利技术实现了通过多张RGB图像重建高质量人脸模型。本专利技术的目的是通过以下技术方案来实现的：一种基于多张RGB图像的人脸重建方法，包括以下步骤：(1)最大漫反射色度估计：计算图像中像素的平均最小强度值，最小强度值小于等于平均最小强度值和经验阈值乘积的像素，称其为漫反射像素，其余像素称其为镜面反射像素。漫反射像素通过最大色度来估计最大漫反射色度，镜面反射像素通过补偿函数来估计最大漫反射色度。(2)高光去除：采用估计的最大漫反射色度作为引导，迭代地对最大色度图进行联合双边滤波，取滤波后最大色度和原始最大色度的较大值作为最大漫反射色度，计算去除高光的图像。(3)粗粒度人脸几何重建：采用人脸对齐算法DDE检测图像上的二维人脸特征点，通过特征点投影误差和多张图像人脸身份系数相同的约束优化三维形变模型Facewarehouse的系数，插值出粗粒度人脸网格。(4)细粒度人脸几何重建：采用二阶谐波近似的朗伯表面辐照度方程，在表面法向量可积性的约束下迭代地优化光照、表面颜色和表面法向量参数。通过表面法向量优化出深度图，并组织成细粒度人脸网格。(5)基于块的纹理映射：根据双向相似度和多视角图像的连续性，构建基于块的能量方程，优化出对齐后的图像，通过投影融合生成完整高质量的人脸纹理贴图。(6)基于KDTree的块匹配加速：通过沃尔什-阿达玛变换将块表示为24维向量，通过迭代地对候选块中数值差距最大的维度进行中值分割构建候选块向量的KDTree，使用传播辅助的搜索策略加速块匹配和提高匹配准确性。本专利技术的有益效果是：本专利技术利用像素分类和补偿函数提高最大漫反射色度估计的准确性，通过联合双边滤波鲁棒有效地去除人脸图像高光。本专利技术结合三维形变模型和从明暗恢复形状技术，保证了人脸几何在整体形状和局部细节上都和图像高度相似，重建出高质量人脸网格。本专利技术利用基于块的能量对齐图像，解决了纹理模糊问题，采用KDTree优化搜索空间，大幅度加速块匹配算法。本专利技术所提出的人脸重建技术运算效率高，鲁棒性强，容易实施，成本较低，可以有效重建出高质量人脸模型。附图说明图1是本专利技术进行人脸重建的处理流程图；图2是面部轮廓特征点更新示意图，图中，(a)为面部轮廓的特征线，(b)为每条轮廓线上顶点法向量和视线方向点积最小的顶点，(c)为新的轮廓特征点；图3是基于块的能量方程示意图；图4是沃尔什-阿达玛变换的前16个基；图5是传播辅助的KDTree搜索策略示意图。具体实施方式下面结合附图以及具体实施方式对本专利技术作进一步说明。如图1所示，本专利技术基于多张RGB图像的人脸重建技术，包括以下步骤：1、最大漫反射色度估计。计算图像中像素的平均最小强度值，最小强度值小于等于平均最小强度值和经验阈值乘积的像素，称其为漫反射像素，其余像素称其为镜面反射像素。漫反射像素通过最大色度来估计最大漫反射色度，镜面反射像素通过公式(1)来估计最大漫反射色度。其中为补偿函数，k为漫反射像素数目，为估计的最大漫反射色度，Jc为通道c的强度值，Jmin和Jmax分别为最小强度值和最大强度值。2、高光去除。迭代进行以下操作：采用估计的最大漫反射色度作为引导对最大色度图进行联合双边滤波，每个像素取滤波后最大色度和原始最大色度的较大者去进行下一次迭代，当两次迭代后每个像素的最大色度差异均小于一个阈值时迭代结束。取最终滤波后的最大色度作为最大漫反射色度，代入公式(2)计算去除高光后的图像。其中Λmax为最大漫反射色度，JD为去除高光后图像。3、粗粒度人脸几何重建。首先使用人脸对齐算法DDE检测人脸二维特本文档来自技高网...

【技术保护点】
1.一种基于多张RGB图像的人脸重建方法，其特征在于，包括以下步骤：(1)最大漫反射色度估计：计算图像中像素的平均最小强度值，最小强度值小于等于平均最小强度值和经验阈值乘积的像素，称其为漫反射像素，其余像素称其为镜面反射像素。漫反射像素通过最大色度来估计最大漫反射色度，镜面反射像素通过补偿函数来估计最大漫反射色度。(2)高光去除：采用估计的最大漫反射色度作为引导，迭代地对最大色度图进行联合双边滤波，取滤波后最大色度和原始最大色度的较大值作为最大漫反射色度来对图像进行高光去除。(3)粗粒度人脸几何重建：采用人脸对齐算法检测图像上的二维人脸特征点，通过特征点投影误差和多张图像人脸身份系数相同的约束优化三维形变模型的系数，插值出粗粒度人脸网格。(4)细粒度人脸几何重建：采用二阶谐波近似的朗伯表面辐照度方程，在表面法向量可积性的约束下迭代地优化光照、表面颜色和表面法向量参数。通过表面法向量优化出深度图，并组织成细粒度人脸网格。(5)基于块的纹理映射：根据双向相似度和多视角图像的连续性，构建基于块的能量方程，优化出对齐后的图像，通过投影融合生成完整高质量的人脸纹理贴图。(6)基于KDTree的块匹配加速：通过沃尔什‑阿达玛变换将块表示为低维向量，采用KDTree组织候选块向量，使用传播辅助的搜索策略加速块匹配和提高匹配准确性。...

【技术特征摘要】
1.一种基于多张RGB图像的人脸重建方法，其特征在于，包括以下步骤：(1)最大漫反射色度估计：计算图像中像素的平均最小强度值，最小强度值小于等于平均最小强度值和经验阈值乘积的像素，称其为漫反射像素，其余像素称其为镜面反射像素。漫反射像素通过最大色度来估计最大漫反射色度，镜面反射像素通过补偿函数来估计最大漫反射色度。(2)高光去除：采用估计的最大漫反射色度作为引导，迭代地对最大色度图进行联合双边滤波，取滤波后最大色度和原始最大色度的较大值作为最大漫反射色度来对图像进行高光去除。(3)粗粒度人脸几何重建：采用人脸对齐算法检测图像上的二维人脸特征点，通过特征点投影误...

【专利技术属性】
技术研发人员：任重，张诗禹，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33