人脸定位方法、人脸模型训练与检测方法及装置制造方法及图纸

本发明专利技术公开了一种人脸定位方法、人脸模型训练与检测方法及装置，其包括以下步骤：对图像或视频进行人脸检测，得到人脸区域；对所述人脸区域添加人脸框，且所述人脸框带有旋转信息；根据所述旋转信息进行人脸定位：本发明专利技术采用具备旋转信息的人脸标注方案，不仅在训练匹配时提升了匹配的精度和训练效率，同时大大提升了现实场景中人脸多角度拍摄的性能；并且，本发明专利技术还通过有偏的人脸尺度采样方案，使得训练过程中人脸的尺度和锚点的密度相匹配，能够有效提升人脸检测装置的性能特别是对小人脸的性能；以及本发明专利技术的卷积神经网络模型采用深度分离卷积，大大降低计算量和内存占用，在保证检测性能的情况下提升检测速度。

【技术实现步骤摘要】
人脸定位方法、人脸模型训练与检测方法及装置
本专利技术涉及图像处理
，特别是一种人脸定位方法、人脸模型训练与检测方法及装置。
技术介绍
人脸检测是人脸相关算法，例如人脸对齐、人脸识别、人脸验证、年龄识别等等的基础和前置模块。传统的人脸检测算法，主要采用构造人工特征诸如Haar算法、Hog算法等，然后构造判别器，通过扫窗的方式进行人脸检测。这当中最具代表性的当属ViolaJones算法。ViolaJones检测算法第一次实现了检测的实时性，算法采用积分图的方式计算Haar特征，极大地提升了速度，同时采用Adaboost算法方法筛选特征，并且通过级联的方式过滤掉大部分背景框，大大减小了计算量。随着深度学习的兴起，深度卷积神经网络逐步被用于检测领域。最具代表性的尝试工作当属RCNN三部曲，其包括分阶段检测方法和单阶段检测方法：分阶段检测方法：FasterR-CNN至今仍然是代表性的二阶段检测的基准方法。该方法分为两个阶段：第一阶段利用全卷积网络预测候选框位置，第二阶段则根据候选框位置利用RoI-Pooling或者RoI-Align方法从网络特征图中获取对应区域的特征，然后用这个特征进行更精细的分类和位置回归。分阶段检测虽然精度较高，但是整个系统较为复杂，性能受限。因此，单阶段的检测方法随后被提出。单阶段检测方法：SSD方法是单阶段检测的开山之作。该方法利用全卷积网络多尺度的特性，在不同的尺度层安插检测头部，同时进行前景背景的判定和候选框位置的回归。SSD之后涌现出了许多单阶段的检测方法，它们分别从不同的角度改进了检测算法的表现。其中，目前较为流行的人脸检测算法主要还是基于Anchor(锚点)的方法，匹配的策略采用类似于SSD的方式，通过IoU阈值进行筛选。但是，Anchor检测方法仍然存在以下问题：(1)人脸旋转问题：Anchor方法虽然在WIDERFACE评测集上表现相当出色，但是WIDERFACE评测集的人脸朝向相对单一，明显不符合实际场景人脸可能在各个角度上旋转这一事实分布。(2)Anchor匹配问题：Anchor匹配的策略过于简单，直接给Anchor打上正负标签，匹配程度的Anchor拥有相同的标签不仅在训练上目标不明确，而且在后处理NMS中，对于候选框得分所附加的语义不同。虽然已经有类似的工作开始增加IoU得分的预测分支，或者引入中心得分(centerness)来缓解这个问题。但无论是IoU得分还是centerness都未能解决得分偏低的问题。(3)尺度采样问题：当前人脸检测主流的训练采用方法都会根据anchor的尺度进行采样，目标是提高anchor的匹配概率，方法是认为将人脸的大小缩放到anchor的尺寸。这种方法对于特定的评测集有一定的作用，在一定程度上缓解了人脸尺度上的“不平衡”和anchor分布在尺度上的不平衡。在个策略也是采用固定阈值的匹配策略下的折衷之举。
技术实现思路
本专利技术的主要目的在于提供了一种人脸定位方法、人脸模型训练与检测方法及装置，旨在对现有的人脸旋转问题、anchor匹配问题、尺度采样问题中的一个以上问题进行一一解决。为实现上述目的，本专利技术提供了一种人脸定位方法，其包括以下步骤：对图像或视频进行人脸检测，得到人脸区域；对所述人脸区域添加人脸框，且所述人脸框带有旋转信息；根据所述旋转信息进行人脸定位。优选的，所述旋转信息的编码方式为[cx,cy,w,h,θ]五元素的向量；其中，cx、cy表示框的中心点，w、h表示框的宽和高，θ表示框的角度。优选的，根据所述旋转信息进行人脸定位，是通过对所述人脸区域标注锚点框，计算所述人脸框与所述锚点框之间的重叠率，并根据所述所述重叠率计算所述锚点框的置信度。进一步的，所述锚点框的标注，是通过卷积神经网络模型对人脸图像进行训练和预测得到的；并根据预测结果和所述置信度，得到最终人脸定位结果。进一步的，所述重叠率的计算包括以下步骤：将所述人脸框和所述锚点框表示为四个角点的坐标；初始化点集PSet；将所述人脸框和所述锚点框相交的点加入到所述点集PSet；将所述人脸框中位于所述锚点框内部的角点加入到所述点集PSet；将所述锚点框中位于所述人脸框内部的角点加入到所述点集PSet；对所述点集PSet进行排序，使点集PSet按照逆时针排序；通过三角形法计算重叠面积Area(I)；计算重叠率：其中，Area(R1)是指所述人脸框的面积，Area(R2)是指所述锚点框的面积。进一步的，根据所述重叠率计算所述锚点框的置信度，进一步包括以下步骤：计算人脸框列表Rg与锚点框列表Ra两两之间的重叠度矩阵IoU[i，j]，其中，IoU[i，j]为第i个人脸框与第j个锚点框之间的重叠度；对所述重叠度矩阵IoU[i，j]中的每个列取重叠度的最大值IoUbest-gt和人脸框的最大值Indexbest-gt对应序号，即，IoUbest-gt，Indexbest-gt＝IoU.max(dim＝1)；对所述重叠度矩阵IoU[i，j]中的每行取锚点框的最大值IoUbest-anchor对应序号，得每个人脸的最大的重叠度IoUbest-anchor＝IoU.max(dim＝0)；通过花式索引获得每个锚点框列表Ra匹配的人脸的最大重叠度IoUmax＝IoU_(best-anchor)[Indexbest-gt]；对所述重叠度进行阈值处理：重叠度IoUbest-gt小于阈值t的置零，即：IoUbest-gt[IoUbest-gt＜t]＝0；最大重叠度IoUmax小于阈值tmax的置1，即：IoUmax[IoUmax＜tmax]＝1；根据阈值处理结果计算每个锚点框列表Ra的置信度ScoreRa，其中，优选的，进一步根据变换后的置信度ScoreRa筛选回归样本，将置信度ScoreRa大于阈值treg的锚点框进行回归目标框，得到最终人脸定位结果。本专利技术的目的之二，在于提供一种人脸模型训练方法，其包括以下步骤：通过主干网络对训练集的人脸图像提取图片特征；并对所述人脸图像添加人脸框，且所述人脸框带有旋转信息；通过深度分离卷积进行下采样；其中，所述下采样是利用逆变换采样原理，对平均分布进行扩展得到目标分布，并将所述人脸图像采样到所述目标分布上；所述深度分离卷积包括第一深度分离卷积、第二深度分离卷积、第三深度分离卷积；所述第一深度分离卷积用于预测每个人脸框包含人脸的置信度；所述第二深度分离卷积用于预测锚点框；所述第三深度分离卷积用于预测人脸关键点；利用主干网络和下采样所得特征图构建特征金字塔结构；在特征金字塔结构中的特征图和下采样所得的尺度不同的特征图上生成对应的锚点框；根据锚点框与所述人脸框的重叠度是否超过预设阈值确定正负样本，对锚点框、人脸关键点进行回归训练，得到模型预测的目标框；并根据正样本锚点框与所述人脸本文档来自技高网...

【技术保护点】
1.一种人脸定位方法，其特征在于，包括以下步骤：/n对图像或视频进行人脸检测，得到人脸区域；/n对所述人脸区域添加人脸框，且所述人脸框带有旋转信息；/n根据所述旋转信息进行人脸定位。/n

【技术特征摘要】
1.一种人脸定位方法，其特征在于，包括以下步骤：
对图像或视频进行人脸检测，得到人脸区域；
对所述人脸区域添加人脸框，且所述人脸框带有旋转信息；
根据所述旋转信息进行人脸定位。


2.根据权利要求1所述的一种人脸定位方法，其特征在于：所述旋转信息的编码方式为[cx，cy，w，h，θ]五元素的向量；其中，cx、cy表示框的中心点，w、h表示框的宽和高，θ表示框的角度。


3.根据权利要求1所述的一种人脸定位方法，其特征在于：根据所述旋转信息进行人脸定位，是通过对所述人脸区域标注锚点框，计算所述人脸框与所述锚点框之间的重叠率，并根据所述所述重叠率计算所述锚点框的置信度。


4.根据权利要求3所述的一种人脸定位方法，其特征在于：所述锚点框的标注，是通过卷积神经网络模型对人脸图像进行训练和预测得到的；并根据预测结果和所述置信度，得到最终人脸定位结果。


5.根据权利要求3所述的一种人脸定位方法，其特征在于：所述重叠率的计算包括以下步骤：
将所述人脸框和所述锚点框表示为四个角点的坐标；
初始化点集PSet；
将所述人脸框和所述锚点框相交的点加入到所述点集PSet；
将所述人脸框中位于所述锚点框内部的角点加入到所述点集PSet；
将所述锚点框中位于所述人脸框内部的角点加入到所述点集PSet；
对所述点集PSet进行排序，使点集PSet按照逆时针排序；
通过三角形法计算重叠面积Area(I)；
计算重叠率：其中，Area(R1)是指所述人脸框的面积，Area(R2)是指所述锚点框的面积。


6.根据权利要求3所述的一种人脸定位方法，其特征在于：根据所述重叠率计算所述锚点框的置信度，进一步包括以下步骤：
计算人脸框列表Rg与锚点框列表Ra两两之间的重叠度矩阵IoU[i，j]，其中，IoU[i，j]为第i个人脸框与第j个锚点框之间的重叠度；
对所述重叠度矩阵IoU[i，j]中的每个列取重叠度的最大值IoUbest-gt和人脸框的最大值Indexbest-gt对应序号，即，IoUbest-gt，Indexbest-gt＝IoU.max(dim＝1)；
对所述重叠度矩阵IoU[i，j]中的每行取锚点框的最大值IoUbest-anchor对应序号，得每个人脸的最大的重叠度IoUbest-anchor＝IoU.max(dim＝0)；
通过花式索引获得每个锚点框列表Ra匹配的人脸的最大重叠度IoUmax＝IoU_(best-anchor)[Indexbest-gt]；
对所述重叠度进行阈值处理：
重叠度IoUbest-gt小于阈...

【专利技术属性】
技术研发人员：陈良，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建;35