旋转不变的人脸检测方法、系统设备及可读存储介质技术方案

本发明专利技术公开了一种旋转不变的人脸检测方法，将图片输入至全卷积网络模型一，将向下人脸翻转为向上人脸，取置信度值大于阈值一的候选框一；将所述候选框一输入至卷积神经网络模型二，将正时针大角度人脸、逆时针大角度人脸旋转为小角度人脸，取置信度值大于阈值二的候选框二；将候选框二输入至卷积神经网络模型三，得到人脸候选框及对应的旋转角与人脸特征点，生成最终检测框；模型一训练时使用预设数量个预定义框与标注框匹配来进行检测框回归；模型二同时进行分类与检测任务训练；模型三同时进行人脸分类、人脸检测框回归任务、人脸特征点检测任务及人脸旋转角度回归任务训练。本发明专利技术采用逐步修正的方式，使得保证精度的同时使用较低的计算量。

Rotation invariant face detection method, system equipment and readable storage medium

【技术实现步骤摘要】
旋转不变的人脸检测方法、系统设备及可读存储介质
本专利技术涉及图像识别
，特别涉及一种旋转不变的人脸检测方法、系统、设备及可读存储介质。
技术介绍
人脸检测是人脸信息处理的关键步骤，在安全监控、身份查验等方面都有着较为广阔的应用前景。在实际场景中，如体操，街舞，家庭合影等复杂场景，由于拍摄角度与人体姿态的不同，图像中的所有人脸并非都是竖直的，会有各种平面内旋转角度的人脸出现在其中，这对人脸检测带来了极大的挑战。目前已经有多种方法尝试解决旋转的人脸检测问题。大致分为以下三种方法，第一种是基于数据增广的方法，通过将人脸旋转到任意角度来增加训练数据，使得网络能够适应各种角度的人脸以进行检测。但是为了保证检测的精度，此方式必须用一个较大的网络进行训练。因此，此方式的计算量是很大的，难以满足实时性。第二种方法是采用分而治之的方式，训练多个检测小范围旋转角度的人脸检测器进行检测，但需要多个检测器一起进行检测使得其优势不再，无法满足实时，更可能因为多次检测而增加误检。第三种方法是将任意平面内旋转的人脸通过精细的旋转角度将人脸转为竖直人脸后再进行检测，但预测任意平面内旋转的人脸的角度本身也是个具有挑战性的任务，且由于旋转角度的精度与人脸角度的精度息息相关，为了保证精度也需要一个较大的网络。因此如何实现一种检测精度高、计算量较小的旋转人脸检测方法，是一个急需解决的问题。
技术实现思路
本专利技术要解决的技术问题是如何提供一种检测精度高、计算量较小的旋转不变的人脸检测方法、系统设备及可读存储介质。>为了解决上述技术问题，本专利技术的技术方案为：第一方面，本专利技术提出了一种旋转不变的人脸检测方法，包括步骤：将图片输入至模型一，将向下人脸翻转为向上人脸，取置信度值大于阈值一的候选框，生成候选框一；所述模型一为全卷积网络，训练时使用预设数量个预定义框与标注框匹配来进行检测框回归，同时对预定义框进行分类与检测任务训练，分类包括：非人脸、向上人脸、向下人脸；将所述候选框一输入至模型二，将正时针大角度人脸、逆时针大角度人脸旋转为小角度人脸，取置信度值大于阈值二的候选框，生成候选框二；模型二为卷积神经网络，同时进行分类与检测任务训练，分类包括非人脸、小角度人脸、正时针大角度人脸及逆时针大角度人脸；将候选框二输入至模型三，得到人脸候选框及对应的旋转角与人脸特征点，生成最终检测框；模型三为卷积神经网络，训练时需同时进行人脸分类、人脸检测框回归任务、人脸特征点检测任务及人脸旋转角度回归任务训练，其中人脸分类包括人脸及非人脸。优选地，在生成候选框一及候选框二之前都通过非极大值抑制算法去除冗余框。优选地，设直角坐标系y轴正方向为0度，顺时针旋转角度为正，逆时针旋转角度为负；所述向上人脸的角度为[-90°,0°]∪[0°,90°]，所述向下人脸的角度为[-90°,-180°]∪[90°,180°]，所述小角度人脸的角度为[-30°,30°]，所述正时针大角度人脸的角度为[30°,90°]、所述逆时针大角度人脸的角度为[-30°,-90°]。优选地，图片通过图像金字塔输入至模型一中；将候选框一在原图上剪裁并缩放至第一预设值的大小后输入到模型二中；将候选框二在原图上剪裁并缩放至第二预设值的大小后输入到模型三中。优选地，训练模型时，分类的损失函数包括softmax损失函数。优选地，训练模型时，检测框回归的损失函数包括giou损失函数。优选地，训练模型时，特征点的损失函数包括wingloss损失函数。第二方面，本专利技术还提出一种旋转不变的人脸检测系统，包括：翻转模块：将图片输入至模型一，将向下人脸翻转为向上人脸，取置信度值大于阈值一的候选框，生成候选框一；旋转模块：将所述候选框一输入至模型二，将正时针大角度人脸、逆时针大角度人脸旋转为小角度人脸，取置信度值大于阈值二的候选框，生成候选框二；检测模块：将候选框二输入至模型三，得到人脸候选框及对应的旋转角与人脸特征点，生成最终检测框；其中，模型一：为全卷积网络，训练时使用预设数量个预定义框与标注框匹配来进行检测框回归的，同时对预定义框进行分类与检测任务训练，分类包括：非人脸、向上人脸、向下人脸；模型二：为卷积神经网络，同时进行分类与检测任务训练，分类包括非人脸、小角度人脸、正时针大角度人脸及逆时针大角度人脸；模型三：为卷积神经网络，训练时需同时进行人脸分类、人脸检测框回归任务、人脸特征点检测任务及人脸旋转角度回归任务训练，其中人脸分类包括人脸及非人脸。第三方面，本专利技术还提出一种旋转不变的人脸检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的旋转不变的人脸检测方法的步骤。第四方面，本专利技术还一种旋转不变的人脸检测的可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时间实现上述的旋转不变的人脸检测方法的步骤。采用上述技术方案，通过使用训练好的三个模型，通过将人脸进行向上翻转、大角度角度旋转将各种角度的人脸分布旋转为小角度的人脸，进而得到人脸候选框及对应的旋转角与人脸特征点。采用该技术方案能做到处理嵌入式设备实时处理，使用逐步修正的方式，使得保证精度的同时使用较低的计算量，该算法实用性好，效果好。经过大量数据验证，本技术方案中的所提出的算法，能够在复杂场景下准确地检测出人脸及其特征点。附图说明图1为本专利技术旋转不变的人脸检测方法一实施例的步骤流程图；图2为本专利技术中模型一的原理图；图3为本专利技术中模型二的原理图；图4为本专利技术中模型三的原理图；图5为本专利技术一实施例中人脸的旋转角度效果图；图6位本专利技术中giou损失函数的图解。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。此外，下面所描述的本专利技术各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。参照图1及图5，本专利技术实施例提出了一种旋转不变的人脸检测方法，包括步骤，通过图像金字塔的方式将图片输入至模型一，将向下人脸翻转为向上人脸，取置信度值大于阈值一的候选框，通过非极大值抑制算法得到去冗余的候选框作为第一阶段得到的候选框一。本实施例中，置信度的阈值一＝0.6。需要说明的是，图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。需要说明的是，非极大值抑制(Non-MaximumSuppression，NMS)，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。这个局部代表的是一个邻域，邻域本文档来自技高网...

【技术保护点】
1.一种旋转不变的人脸检测方法，其特征在于，包括步骤，/n将图片输入至模型一，将向下人脸翻转为向上人脸，取置信度值大于阈值一的候选框，生成候选框一；所述模型一为全卷积网络，训练时使用预设数量个预定义框与标注框匹配来进行检测框回归，同时对预定义框进行分类与检测任务训练，分类包括：非人脸、向上人脸、向下人脸；/n将所述候选框一输入至模型二，将正时针大角度人脸、逆时针大角度人脸旋转为小角度人脸，取置信度值大于阈值二的候选框，生成候选框二；模型二为卷积神经网络，同时进行分类与检测任务训练，分类包括非人脸、小角度人脸、正时针大角度人脸及逆时针大角度人脸；/n将候选框二输入至模型三，得到人脸候选框及对应的旋转角与人脸特征点，生成最终检测框；模型三为卷积神经网络，训练时需同时进行人脸分类、人脸检测框回归任务、人脸特征点检测任务及人脸旋转角度回归任务训练，其中人脸分类包括人脸及非人脸。/n

【技术特征摘要】
1.一种旋转不变的人脸检测方法，其特征在于，包括步骤，
将图片输入至模型一，将向下人脸翻转为向上人脸，取置信度值大于阈值一的候选框，生成候选框一；所述模型一为全卷积网络，训练时使用预设数量个预定义框与标注框匹配来进行检测框回归，同时对预定义框进行分类与检测任务训练，分类包括：非人脸、向上人脸、向下人脸；
将所述候选框一输入至模型二，将正时针大角度人脸、逆时针大角度人脸旋转为小角度人脸，取置信度值大于阈值二的候选框，生成候选框二；模型二为卷积神经网络，同时进行分类与检测任务训练，分类包括非人脸、小角度人脸、正时针大角度人脸及逆时针大角度人脸；
将候选框二输入至模型三，得到人脸候选框及对应的旋转角与人脸特征点，生成最终检测框；模型三为卷积神经网络，训练时需同时进行人脸分类、人脸检测框回归任务、人脸特征点检测任务及人脸旋转角度回归任务训练，其中人脸分类包括人脸及非人脸。


2.根据权利要求1所述的旋转不变的人脸检测方法，其特征在于：在生成候选框一及候选框二之前都通过非极大值抑制算法去除冗余框。


3.根据权利要求1所述的旋转不变的人脸检测方法，其特征在于：设直角坐标系y轴正方向为0度，顺时针旋转角度为正，逆时针旋转角度为负；所述向上人脸的角度为[-90°,0°]∪[0°,90°]，所述向下人脸的角度为[-90°,-180°]∪[90°,180°]，所述小角度人脸的角度为[-30°,30°]，所述正时针大角度人脸的角度为[30°,90°]、所述逆时针大角度人脸的角度为[-30°,-90°]。


4.根据权利要求1所述的旋转不变的人脸检测方法，其特征在于：图片通过图像金字塔输入至模型一中；将候选框一在原图上剪裁并缩放至第一预设值的大小后输入到模型二中；将候选框二在原图上剪裁并缩放至第二预设值的大小后输入到模型三中。


5.根据权利要求1至3任一项所述的旋转...

【专利技术属性】
技术研发人员：刘小扬，徐小丹，何学智，黄泽斌，
申请(专利权)人：新大陆数字技术股份有限公司，
类型：发明
国别省市：福建;35