本发明专利技术公开了一种基于单幅人脸图像实现三维人脸重建的方法及其装置，包括利用人脸结构先验知识对人脸图像进行姿态识别，结合人脸面貌测量与射影几何，估计出人脸平面的旋转方向及角度，从而设置三维人脸的旋转角度；采用人工神经网络对人脸图像上的二维特征点的深度进行估计，取得各特征点的三维坐标；采用Ｄｉｒｉｃｈｌｅｔ自由变形算法实现对通用三维人脸模型向特定模型转变；采用二维图像提取的特征点进行对三维人脸模型映射；从而实现了由单幅人脸图像来构造出真实三维模型，有效地提高了三维建模精度，缩短了三维建模时间和降低了三维建模成本。
【技术实现步骤摘要】
本专利技术涉及数字图像处理、机器视觉及人工智能等
，特别是涉及一种基 于单幅人脸图像实现三维人脸重建的方法及其装置。
技术介绍
目前的基于图像的人脸建模的方法主要分成两种一种是基于多张图片或正交图 片的形状的重建方法，另一种就是基于单幅图像的三维人脸建模的方法。传统的基于多张相片的形状重建方法一般采用硬件(如三维扫描仪等专用设备) 来进行获取人脸的三维信息，虽然理论基础比较成熟，但是其实现成本及实施方法都比较 困难；而采用正交图片进行重建的方法，由于正面图像与侧面图像正交，可以从图像中取出 相应特征点的三维坐标，然后进行三维人脸模型拟合，再加上纹理就可以重建一个三维人 脸模型，但这种方法一般需要手工交互来确定人脸特征点的位置，而且其两个图像一定是 要正交才行，这在实际操作中，同样也是比较困难的。基于单幅图像的三维人脸建模方法，简化了人工操作并实现建模的自动化。如果 没有其它条件下，只凭单张图像来进行三维重建是不可能的。Blanz等人提出三维变形模型 克服了这个问题，采用三维人脸库作为先验知识对人脸模型进行约束条件，成功地实现基 于单张图像的三维人脸自动建模。但是，该方法用了 200个扫描获得的三维人脸模型，通过 线性组合，结合旋转角度、光照等22个参数，经过迭代优化算法，才能获得目标模型，其所 花费的时间太长。而且，这些从单张图像进行三维人脸建模的方法并没有考虑如何从一张图像上进 行获取人脸的角度及特征点的深度，只是利用二维图像的特征点坐标，从而影响了三维建 模的精度。
技术实现思路
本专利技术的目的在于克服现有技术之不足，提供一种基于单幅人脸图像实现三维人 脸重建的方法及其装置，是根据人脸姿态的四个特征点来实现姿态角度估计，以已有的大 量人脸特征点距离及纹理信息训练出其神经网络，然后用此神经网络来估计出其现在人脸 图像的特征点深度值，并进而构造出真实三维模型，从而达到了有效提高三维建模精度，缩 短三维建模时间和降低三维建模成本的目的。本专利技术解决其技术问题所采用的技术方案是一种基于单幅人脸图像实现三维人 脸重建的方法，包括输入单幅人脸图像的步骤；进行姿态估计处理的步骤；该步骤是以人脸姿态中两个内眼角与两个鼻翼点的坐 标为四个特征点来实现姿态角度估计；采用双灭点估计出人脸在X、Y、Z轴上的旋转角度；进行特征点深度估计处理的步骤；该步骤是根据已有的大量人脸特征点距离及纹 理信息训练出其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值，并将已知的二维坐标与其深度估计值组合得到估计三维坐标值；进行三维建模处理的步骤；该步骤是将得到的三维人脸Χ、γ、ζ轴上的旋转角度与 人脸特征点的估计三维坐标值采用Dirichlet自由变形(DFFD)算法对三维人脸模型进行 变形；进行纹理映射处理的步骤；该步骤是将单幅正向人脸图像进行投影到三维模型 上；对于正面信息不够的地方及侧面信息，采用双线性插值方式进行插值估计；构造真实三维模型的步骤。所述的进行姿态估计处理的步骤，包括面部姿态特征点抽取的步骤；该步骤是将输入的正向人脸图像采用主动形状模型 (ASM)来定位人脸特征；所定位的人脸特征包括人脸姿态中的两个内眼角与两个鼻翼点的 坐标共四个特征点；计算四边形双灭点的步骤；该步骤是根据四个人脸特征点来计算其双灭点；计算X、Y、Z轴的旋转角度的步骤。所述的进行特征点深度估计处理的步骤，包括面部图像特征点抽取的步骤；该步骤是采用主动形状模型(ASM)来定位人脸特 征；光照纹理信息抽取的步骤；训练神经网络的步骤；估算各特征点深度(Z)并获取各点三维坐标的步骤。所述的进行三维建模处理的步骤，包括创建中性人脸模型的步骤；中性人脸姿态调整的步骤；人脸变形算法的步骤；生成人脸特定模型的步骤。所述的进行纹理映射处理的步骤，包括纹理映射的步骤；该步骤是将得到的人脸模型与正向人脸图像进行粘贴处理；双线性插值处理的步骤；构造出三维模型的步骤。一种基于单幅人脸图像实现三维人脸重建的装置，包括一输入装置，用来输入人脸图像；一姿态估计处理装置，用来以人脸姿态中两个内眼角与两个鼻翼点的坐标为四个 特征点来实现姿态角度估计，并采用双灭点估计出人脸在X、Y、Z轴上的旋转角度；一特征点深度估计处理装置，用来根据已有的大量人脸特征点距离及纹理信息训 练出其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值，并将已知 的二维坐标与其深度估计值组合得到估计三维坐标值；一三维建模处理装置，用来将得到的三维人脸X、Y、Z轴上的旋转角度与人脸特征 点的估计三维坐标值采用Dirichlet自由变形(DFFD)算法对三维人脸模型进行变形；一纹理映射处理装置，用来将单幅正向人脸图像进行投影到三维模型上，对于正 面信息不够的地方及侧面信息，采用双线性插值方式进行插值估计；一构造真实三维模型装置，用来构造出真实三维模型；输入装置的输出接至姿态估计处理装置的输入；姿态估计处理装置的输出接至特 征点深度估计处理装置的输入；特征点深度估计处理装置的输出接至三维建模处理装置的 输入；三维建模处理装置的输出接至纹理映射装置的输入；纹理映射装置的输出接至构造 真实三维模型装置。本专利技术的有益效果是，由于采用了人脸结构先验知识对人脸图像进行姿态识别， 结合人脸面貌测量与射影几何，估计出人脸平面的旋转方向及角度，从而设置三维人脸的 旋转角度；采用人工神经网络对人脸图像上的二维特征点的深度进行估计，取得各特征点 的三维坐标；采用Dirichlet自由变形算法实现对通用三维人脸模型向特定模型转变；采 用二维图像提取的特征点进行对三维人脸模型映射；从而实现了由单幅人脸图像来构造出 真实三维模型，有效地提高了三维建模精度，缩短了三维建模时间和降低了三维建模成本。以下结合附图及实施例对本专利技术作进一步详细说明；但本专利技术的一种基于单幅人 脸图像实现三维人脸重建的方法及其装置不局限于实施例。附图说明图1是本专利技术方法的主流程图；图2是本专利技术方法的姿态估计处理的流程图；图3是本专利技术方法的特征点深度估计处理的流程图；图4是本专利技术方法的三维建模处理的流程图；图5是本专利技术方法的纹理映射处理的流程图；图6是本专利技术方法的人脸姿态特征点的示意图；图7是本专利技术方法的空间坐标系与人脸姿态特征点的示意图；图8是本专利技术方法的像平面中眼角点直线的斜率的示意图；图9是本专利技术装置的结构框图。具体实施例方式参见图1所示，本专利技术的一种基于单幅人脸图像实现三维人脸重建的方法，包括输入单幅人脸图像的步骤；如图1中的框101所示；进行姿态估计处理的步骤；该步骤是以人脸姿态中两个内眼角与两个鼻翼点的坐 标为四个特征点来实现姿态角度估计；采用双灭点估计出人脸在X、Y、Z轴上的旋转角度； 如图1中的框102所示；进行特征点深度估计处理的步骤；该步骤是根据已有的大量人脸特征点距离及纹 理信息训练出其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值， 并将已知的二维坐标与其深度估计值组合得到估计三维坐标值；如图1中的框103所示；进行三维建模处理的步骤；该步骤是将得到的三维人脸X、Y、Z轴上的旋转角度与 人脸特征点的估计三维坐标值采用Dirichlet自由变形(DFFD)算法对三维人脸模型进行 变形；如图1中的框104所本文档来自技高网...
【技术保护点】
一种基于单幅人脸图像实现三维人脸重建的方法，其特征在于：包括：输入单幅人脸图像的步骤；进行姿态估计处理的步骤；该步骤是以人脸姿态中两个内眼角与两个鼻翼点的坐标为四个特征点来实现姿态角度估计；采用双灭点估计出人脸在Ｘ、Ｙ、Ｚ轴上的旋转角度；进行特征点深度估计处理的步骤；该步骤是根据已有的大量人脸特征点距离及纹理信息训练出其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值，并将已知的二维坐标与其深度估计值组合得到估计三维坐标值；进行三维建模处理的步骤；该步骤是将得到的三维人脸Ｘ、Ｙ、Ｚ轴上的旋转角度与人脸特征点的估计三维坐标值采用Ｄｉｒｉｃｈｌｅｔ自由变形（ＤＦＦＤ）算法对三维人脸模型进行变形；进行纹理映射处理的步骤；该步骤是将单幅正向人脸图像进行投影到三维模型上；对于正面信息不够的地方及侧面信息，采用双线性插值方式进行插值估计；构造真实三维模型的步骤。
【技术特征摘要】
【专利技术属性】
技术研发人员：林志扬，刘祥南，吴鸿伟，赵庸，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：92[中国|厦门]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。