一种人脸姿态校正方法及装置制造方法及图纸

本发明专利技术公开了一种人脸姿态校正方法及装置。该方法中，在获取到人脸图像和人脸图像对应的3D人脸数据后，确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；根据所述掩膜图像确定所述人脸图像中人脸的对称权重；根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。由于法线方向可以反映人脸是否被遮挡的情况，因此，在对人脸图像进行校正时考虑了图像中的人脸是否被遮挡的情况，使得校正后的效果更加准确，且在进行校正时考虑了人脸的对称信息，使得校正后的效果更加准确、具有个性化。

Method and device for correcting human face posture

The invention discloses a method and a device for correcting human face posture. In this method, access to the 3D face data corresponding to face image and face image, and determine the corresponding pixels of the face images in the 3D face data points in the normal direction; according to the 3D data and face the corresponding pixel of the image in the mask the normal direction of the face image of the image; according to the mask image and determining the weights of symmetrical face image; according to the symmetry of the weight, face pose of face image correction. Because the normal direction can reflect whether the human face is blocked, therefore, in the face images are corrected when considering whether the face image is blocked, the corrected effect is more accurate, and the corrected considering the symmetry information of face, make the correction effect after the more accurate and personalized.

【技术实现步骤摘要】
一种人脸姿态校正方法及装置
本专利技术涉及图像处理领域，尤其涉及一种人脸姿态校正方法及装置。
技术介绍
人脸识别是模式识别研究领域的重要课题，也是一个目前非常活跃的研究方向。它在安全、商贸和经济领域都有广阔的应用前景，例如刑侦破案、证件验证、视频监控、媒体娱乐等诸多领域。利用三维人脸数据对人脸图像进行校正，能够获得较好的校正效果，目前存在以下几种方法：1、基于双目摄像头或深度摄像头获取的图像来进行人脸校正，或者对多幅多视角人脸图像、甚至正交人脸图像来进行人脸校正，但该方法成本较高，很难推广。2、一种基于自适应形变模型的任意视角人脸三维重构方法，利用人脸特征点定位结果粗略估计人脸角度；建立人脸三维形变模型，并将人脸特征点通过平移、缩放操作调整到与人脸三维形变模型在同一尺度上，并抽取出与人脸特征点对应点的坐标信息形成人脸特征点三维形变模型；根据人脸角度粗略估计值和人脸特征点三维形变模型，进行微粒群算法迭代人脸三维重构，得到人脸三维几何模型；得到人脸三维几何模型后，采用纹理张贴的方法将输入二维图像中的人脸纹理信息映射到人脸三维几何模型，得到完整的人脸三维模型。然而，该方法估计投影矩阵的精度不高，且没有对多姿态人脸是否遮挡的判断以及相应地处理。3、一种三维人脸重建方法：确定人脸图像上的特征点；依据特征点确定人脸的姿态参数，并按照姿态参数调整通用三维人脸模型的姿态；确定特征点在通用三维人脸模型上的对应点，并对处于遮挡状态下的对应点进行调整，以得到初步三维人脸模型；对初步三维人脸模型进行变形调整，并对变形后的三维人脸模型进行纹理映射，得到最终的三维人脸。然而，在该方法中，特征点包含外部人脸轮廓，但是外部人脸轮廓在侧脸的是情况下会发生遮挡，导致姿态估计的错误。4、一种基于先验模型的正面人脸图像合成方法：对三维原型样本库进行样本规范化得到三维人脸样本库，标定测试人脸图像的特征点；求取平均三维人脸模型，通过其上的特征点投影后与测试人脸图像标定的特征点建立对应关系求得测试人脸图像的姿态角度；从三维人脸样本库中筛选出与测试人脸图像相似性较大的图像构建原型样本库；合成正面人脸图像。然而，在该方法中，建立三维人脸模型的时候将形状模型和纹理模型分开建模，在合成正面人脸时，利用先验模型，用三维人脸原型样本库中人脸估计，样本会趋于平均，尤其是纹理方面忽略了光照阴影等因素。因此，对人脸进行校正的效果还有待提高。
技术实现思路
本专利技术实施例提供了一种人脸姿态校正方法及装置，用以实现对人脸图像进行校正。本专利技术实施例提供的人脸姿态校正方法，包括：获取人脸图像，以及所述人脸图像对应的3D人脸数据；确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；根据所述掩膜图像确定所述人脸图像中人脸的对称权重；根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。可选地，所述根据所述掩膜图像确定所述人脸图像中人脸的对称权重，包括：对所述掩膜图像进行二值化；将所述二值化后的图像沿中心线对称地分为第一子图像和第二子图像，分别计算所述第一子图像和所述第二子图像的像素值之和；根据所述第一子图像和所述第二子图像的像素值之和的差值，确定所述人脸图像的第一子图像的第一权重和第二子图像的第二权重。可选地，所述根据所述对称权重，对所述人脸图像进行校正，包括：对所述掩膜图像进行高斯核模糊处理，获得高斯图像；根据所述对称权重、所述掩膜图像、所述高斯图像确定第一系数，根据所述对称权重、所述掩膜图像、所述高斯图像经过左右翻转后的图像确定第二系数；将所述人脸图像的像素矩阵与所述高斯图像的像素矩阵进行点乘，得到第一像素矩阵；将所述人脸图像的像素矩阵与所述第一系数进行点乘，得到第二像素矩阵；将所述人脸图像进行左右翻转，将翻转后的图像的像素矩阵与所述第二系数进行点乘，得到第三像素矩阵；将所述第一像素矩阵、第二像素矩阵、第三像素矩阵相加，得到校正后的人脸图像的像素矩阵。可选地，所述根据所述对称权重、所述掩膜图像、所述高斯图像确定第一系数，根据所述对称权重、所述掩膜图像、所述高斯图像经过左右翻转后的图像确定第二系数，包括：根据下述公式确定第一系数、第二系数：a＝Worg·*Wlr(1)b＝Wsym·*Wlr(2)Worg＝Wgauss·*W0orgWsym＝Wgauss′·*W0orgW0org＝1/exp(0.5+Imask)W0sym＝1-W0org其中，a表示第一系数，b表示第二系数，Wlr(1)和Wlr(2)分别表示第一权重和第二权重，Wgauss表示高斯图像的像素矩阵，Imask表示掩膜图像的像素矩阵，Wgauss′表示经过左右翻转后的高斯图像的像素矩阵。可选地，在获取人脸图像，以及所述人脸图像对应的3D人脸数据之后，还包括：确定所述人脸图像中的特征点；在所述特征点之间进行插值，得到预设数量的特征点；根据所述特征点在所述图像中的二维坐标，对所述预设数量的特征点进行2D到3D的映射，确定在3D人脸数据中与所述具有预设数量的特征点对应的点；对所述3D人脸数据中的所述对应点进行N次三角剖分，N为大于等于1的整数；所述确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点，包括：确定在建立所述人脸图像中的点与所述经过三角剖分后的3D人脸数据中的点的对应关系。可选地，所述确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点，包括：确定所述人脸图像中的特征点；根据所述特征点在所述图像中的二维坐标，对所述特征点进行2D到3D的映射，得到3D人脸特征点；根据所述3D人脸特征点和3D人脸特征点模型估计投影矩阵；所述3D人脸特征点模型是预先根据多个人脸图像的3D人脸特征点得到的；根据所述投影矩阵，确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点。本专利技术实施例提供的人脸姿态校正装置，包括：获取模块，用于获取人脸图像，以及所述人脸图像对应的3D人脸数据；第一确定模块，用于确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；获得掩膜图像模块，用于根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；第二确定模块，用于根据所述掩膜图像确定所述人脸图像中人脸的对称权重；校正模块，用于根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。可选地，所述第二确定模块，具体用于：对所述掩膜图像进行二值化；将所述二值化后的图像沿中心线对称地分为第一子图像和第二子图像，分别计算所述第一子图像和所述第二子图像的像素值之和；根据所述第一子图像和所述第二子图像的像素值之和的差值，确定所述人脸图像的第一子图像的第一权重和第二子图像的第二权重。可选地，所述校正模块，具体用于：对所述掩膜图像进行高斯核模糊处理，获得高斯图像；根据所述对称权重、所述掩膜图像、所述高斯图像确定第一系数，根据所述对称权重、所述掩膜图像、所述高斯图像经过左右翻转后的图像确定第二系数；将所述人脸图像的像素矩阵与所述高斯图像的像素矩阵进行点乘，得到第一像素矩阵；将所述人脸图像的像素矩阵与所述第一系数进行点乘，得到第二像素矩阵；将所述人脸图像进行左右翻转，将翻转后的图像的像素矩阵与所述第二系数本文档来自技高网...

【技术保护点】
一种人脸姿态校正方法，其特征在于，包括：获取人脸图像，以及所述人脸图像对应的3D人脸数据；确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；根据所述掩膜图像确定所述人脸图像中人脸的对称权重；根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。

【技术特征摘要】
1.一种人脸姿态校正方法，其特征在于，包括：获取人脸图像，以及所述人脸图像对应的3D人脸数据；确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；根据所述掩膜图像确定所述人脸图像中人脸的对称权重；根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。2.如权利要求1所述的方法，其特征在于，所述根据所述掩膜图像确定所述人脸图像中人脸的对称权重，包括：对所述掩膜图像进行二值化；将所述二值化后的图像沿中心线对称地分为第一子图像和第二子图像，分别计算所述第一子图像和所述第二子图像的像素值之和；根据所述第一子图像和所述第二子图像的像素值之和的差值，确定所述人脸图像的第一子图像的第一权重和第二子图像的第二权重。3.如权利要求1或2所述的方法，其特征在于，所述根据所述对称权重，对所述人脸图像进行校正，包括：对所述掩膜图像进行高斯核模糊处理，获得高斯图像；根据所述对称权重、所述掩膜图像、所述高斯图像确定第一系数，根据所述对称权重、所述掩膜图像、所述高斯图像经过左右翻转后的图像确定第二系数；将所述人脸图像的像素矩阵与所述高斯图像的像素矩阵进行点乘，得到第一像素矩阵；将所述人脸图像的像素矩阵与所述第一系数进行点乘，得到第二像素矩阵；将所述人脸图像进行左右翻转，将翻转后的图像的像素矩阵与所述第二系数进行点乘，得到第三像素矩阵；将所述第一像素矩阵、第二像素矩阵、第三像素矩阵相加，得到校正后的人脸图像的像素矩阵。4.如权利要求3所述的方法，其特征在于，所述根据所述对称权重、所述掩膜图像、所述高斯图像确定第一系数，根据所述对称权重、所述掩膜图像、所述高斯图像经过左右翻转后的图像确定第二系数，包括：根据下述公式确定第一系数、第二系数：a＝Worg·*Wlr(1)b＝Wsym·*Wlr(2)Worg＝Wgauss·*W0orgWsym＝Wgauss′·*W0orgW0org＝1/exp(0.5+Imask)W0sym＝1-W0org其中，a表示第一系数，b表示第二系数，Wlr(1)和Wlr(2)分别表示第一权重和第二权重，Wgauss表示高斯图像的像素矩阵，Imask表示掩膜图像的像素矩阵，Wgauss′表示经过左右翻转后的高斯图像的像素矩阵。5.如权利要求1所述的方法，其特征在于，在获取人脸图像，以及所述人脸图像对应的3D人脸数据之后，还包括：确定所述人脸图像中的特征点；在所述特征点之间进行插值，得到预设数量的特征点；根据所述特征点在所述图像中的二维坐标，对所述预设数量的特征点进行2D到3D的映射，确定在3D人脸数据中与所述具有预设数量的特征点对应的点；对所述3D人脸数据中的所述对应点进行N次三角剖分，N为大于等于1的整数；所述确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点，包括：确定在建立所述人脸图像中的点与所述经过三角剖分后的3D人脸数据中的点的对应关系。6.如权利要求1所述的方法，其特征在于，所述确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点，包括：确定所述人脸图像中的特征点；根据所述特征点在所述图像中的二维坐标，对所述特征点进行2D到3D的映射，得到3D人脸特征点；根据所述3D人脸特征点和3D人脸特征点模型估计投影矩阵；所述3D人脸特征点模型是预先根据多个人...

【专利技术属性】
技术研发人员：郭思郁，汪海洋，王刚，郝敬松，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江,33