一种基于3DMM的人脸纹理修复方法技术

本发明专利技术公开了一种基于3DMM的人脸纹理修复方法，属于计算机图形学、图像/信号处理等领域。在基于单张正脸照片对人脸进行三维重建的时候，由于人脸结构的复杂性，会不可避免的存在由于自遮挡造成的纹理信息缺失。基于3DMM人脸重建技术，本发明专利技术提出了一种对于存在由于自遮挡造成人脸纹理缺失的纹理修复方法，相较于广泛使用的插值修复等纹理修复方法，本方法在考虑到人脸的对称结构下，可以尽可能多的保留纹理图像的细节，使得纹理图像更加逼真，达到尽可能多的恢复人脸信息的效果。

A Face Texture Repair Method Based on 3D MM

The invention discloses a face texture restoration method based on 3D MM, which belongs to the fields of computer graphics, image/signal processing, etc. When facial reconstruction is based on a single frontal photograph, due to the complexity of the face structure, there will inevitably be a lack of texture information due to self-occlusion. Based on the technology of 3D MM face reconstruction, the present invention proposes a texture restoration method for the absence of face texture due to self-occlusion, which can retain as many details of texture image as possible, making texture image more realistic and restoring as much as possible, compared with widely used texture restoration methods such as interpolation and so on, considering the symmetrical structure of face. The effect of face information.

【技术实现步骤摘要】
一种基于3DMM的人脸纹理修复方法
本专利技术属于计算机图形学、图像与信号处理领域，特别是图像处理领域，具体涉及图像修复。
技术介绍
随着科学技术的发展，基于单张正面的人脸进行人脸建模的方法已经变得越来越普遍，与普通建模的方法相比，基于照片建模所需要的成本相对较小，因此在游戏制作，影视制作、场景重现中占有的地位越来越重。目前已有很多较为成熟的基于照片的人脸建模方法，如基于形变模型的3DMM等。在基于照片的人脸建模过程中，包含人脸特征的高频信息常常由纹理进行体现，但是由于人脸结构的特殊性，建模所使用的照片即使处于完全正面的情况下，也会由于人脸自遮挡导致部分纹理信息的缺失，如何对这些信息进行填补、修复自然成为了三维人脸建模中较为重要的一步。在图像修复技术中，现有的方法主要是利用待修补部分的区域边缘信息，对被待修补部分进行图像信息的推断。具体包括以下两种方法：一种是利用待修补区域的边缘信息，这种方法先从待修补的区域边界开始向待修补区域推进，先填充区域边界的像素，要选取待修补区域周围的一个小邻域，使用这个区域的归一化加权来更新待修补区域的图像信息。在修复的时候，需要给靠近存在边界的像素点以及本文档来自技高网...

【技术保护点】
1.一种基于3DMM的人脸纹理修复方法，其特征在于，包括以下步骤：步骤A、根据输入的人脸照片，进行人脸特征点的提取，得到人脸中的68个特征点的二维坐标，并且与三维平均脸部模型中的68个特征点一一对应；步骤B、通过对步骤A中获得的68个对应点之间的关系，对三维平均脸部模型进行调整，使模型的形状、姿态与照片中脸部相同，并保存此时所用到的转换矩阵；步骤C、根据步骤B中得到配准好的人脸模型，判断该人脸模型中的每个顶点在屏幕坐标系下是否可见，得到在屏幕坐标系下不可见的三维顶点集合V；步骤D、根据步骤B中得到的转换矩阵，以及步骤C中得到的不可见三维顶点集合V，提取出人脸纹理图像；步骤E、由步骤C中得到脸部...

【技术特征摘要】
1.一种基于3DMM的人脸纹理修复方法，其特征在于，包括以下步骤：步骤A、根据输入的人脸照片，进行人脸特征点的提取，得到人脸中的68个特征点的二维坐标，并且与三维平均脸部模型中的68个特征点一一对应；步骤B、通过对步骤A中获得的68个对应点之间的关系，对三维平均脸部模型进行调整，使模型的形状、姿态与照片中脸部相同，并保存此时所用到的转换矩阵；步骤C、根据步骤B中得到配准好的人脸模型，判断该人脸模型中的每个顶点在屏幕坐标系下是否可见，得到在屏幕坐标系下不可见的三维顶点集合V；步骤D、根据步骤B中得到的转换矩阵，以及步骤C中得到的不可见三维顶点集合V，提取出人脸纹理图像；步骤E、由步骤C中得到脸部模型在屏幕坐标系下不可见的三维顶点集合V，以及步骤D中得到的人脸纹理图像，对纹理图像中不可见的区域进行迭代纹理修复。2.根据权利要求1所述的基于3DMM的人脸纹理修复方法，其特征在于：所述步骤E中，进行迭代纹理修复过程如下：根据公式(1)，求得利用邻域信息的插值算法得到的颜色值，其中C1(x，y)表示根据插值算法得到像素点(x,y)的颜色值，...

【专利技术属性】
技术研发人员：齐越，程利刚，孙涛，
申请(专利权)人：北京航空航天大学青岛研究院，
类型：发明
国别省市：山东,37