【技术实现步骤摘要】
基于非受限采集场景的人脸矫正方法
本专利技术涉及一种基于非受限采集场景的人脸矫正方法。
技术介绍
如今，计算机视觉人脸技术已经在安防、金融、互联网等多个领域发挥重要的作用。人脸矫正作为计算机视觉中的一项关键技术也得到长足发展，一般来说，人脸矫正技术，是基于一张有一定姿态角度的人脸原始图像，在经过人脸检测的预处理之后，得到了画面中人的人脸检测框作为输入，经过矫正处理后，输出一张经过矫正后的人脸图像，在尽量保留原始人脸特点信息，并且避免失真的前提下，将人脸矫正为正脸。现有的人脸矫正技术有三种方式，最简单的是通过人脸关键点和一张标准正脸进行匹配，然后通过相似变换，缩放并旋转到标准正脸上，这样的做法可以解决人脸面内旋转的矫正问题，但无法解决面外旋转问题(包括X方向的低抬头和Y方向的左右侧脸)。第二种是基于人脸模板库匹配的做法，即通过收集多个人的正脸和各个角度的侧脸，并标注关键点信息，建立人脸模板库，在进行矫正的时候将输入人脸匹配到最接近的一张侧脸，然后将模板库中相同人的正脸作为矫正目标，通过三角面片变化进行矫正，这种做法理论上是可以解决面外旋转问题，但解决的效果依赖于模板...
【技术保护点】
1.一种基于非受限采集场景的人脸矫正方法，其特征在于，包括：人脸姿态估计，将人脸姿态分为N类，采用带有姿态标注的人脸来训练姿态估计模型，接收人脸图像并将所述人脸图像输入所述姿态估计模型中，得到人脸的姿态信息；二维人脸关键点定位，按照人脸姿态的分类，采用标注有多个关键点的人脸来分别训练N个二维关键点定位模型，所述N个二维关键点定位模型分别与N类姿态相对应；利用所述姿态信息从所述N个二维关键点定位模型中选择与所述人脸图像中的人脸姿态一致的模型，将人脸图像输入所述二维关键点定位模型，得到所述多个关键点在所述人脸图像上的位置信息；三维人脸关键点定位，训练三维关键点定位模型，将所述姿...
【技术特征摘要】
1.一种基于非受限采集场景的人脸矫正方法，其特征在于，包括：人脸姿态估计，将人脸姿态分为N类，采用带有姿态标注的人脸来训练姿态估计模型，接收人脸图像并将所述人脸图像输入所述姿态估计模型中，得到人脸的姿态信息；二维人脸关键点定位，按照人脸姿态的分类，采用标注有多个关键点的人脸来分别训练N个二维关键点定位模型，所述N个二维关键点定位模型分别与N类姿态相对应；利用所述姿态信息从所述N个二维关键点定位模型中选择与所述人脸图像中的人脸姿态一致的模型，将人脸图像输入所述二维关键点定位模型，得到所述多个关键点在所述人脸图像上的位置信息；三维人脸关键点定位，训练三维关键点定位模型，将所述姿态信息和所述多个关键点在人脸图像上的位置信息输入所述三维关键点定位模型，得到所述多个关键点在三维空间中的位置信息，通过线性变换，对三维坐标进行矫正使得所述人脸处于三维空间中的预设位置并具有固定的大小和角度；以及三维矫正，根据所述多个关键点在人脸图像上的位置信息和所述关键点在三维空间中的位置信息，通过三角面片匹配的方式，建立所述人脸的三维面片模型，并将所述人脸的三维面片模型在正脸视角进行渲染，得到二维矫正图像。2.根据权利要求1所述的方法，其特征在于，将所述人脸姿态分为N类时，按照人脸侧向的左、中、右和低抬头方向的上、中、下，将人脸姿态分为9类。3.根据权利要求1所述的方法，其特征在于，所述关键点在所述人脸图像上的位置信息包括二维坐标和遮挡信息，所述二维坐标是所述关键点在人脸图像上的坐标，所述遮挡信息是表示所述关键点是否被遮挡的信息。4.根据权利要求3所述的方法，其特征在于，在进行所述三维人脸关键点定位时，减小在所述人脸图像上被遮挡的关键点的权重。5.一种基于非受限采集场景的人脸矫正方法装置，其特征在于，包括：人脸姿态估计单元，被配置为将人脸姿态分为N类，采用带有姿态标注的人脸来训练姿态估计模型，接收人脸图像并将所述人脸图像...
【专利技术属性】
技术研发人员：张志先，陈远浩，孔屹平，曹汉卿，
申请(专利权)人：上海依图网络科技有限公司，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。