本发明专利技术提供了一种轻量的实时人脸检测和头部姿态估计方法及系统。该方法包括：建立包含人脸检测和头部姿态数据的训练数据集，将人脸数据和头部姿态数据进行整合，组成包含两者标注信息的数据集；构建轻量的人脸检测和头部姿态估计网络，使用各种模型轻量化的手段来降低模型大小；模型进行训练时采用多任务损失函数。本发明专利技术使用了计算机视觉技术和图像处理技术作为技术基础，能够一次性得到人脸检测和头部姿态估计的结果，同时能有效保证人脸检测和头部姿态估计结果的准确性和实时性。头部姿态估计结果的准确性和实时性。头部姿态估计结果的准确性和实时性。
【技术实现步骤摘要】
一种轻量的实时人脸检测和头部姿态估计方法及系统
[0001]本专利技术涉及计算机视觉和图像处理领域，特别涉及一种轻量的实时人脸检测和头部姿态估计方法及系统。
技术介绍
[0002]人脸检测和和头部姿态估计在很多场景中都有很多应用，蕴含了许多信息，比如人的面部朝向，当前脸部相对位置。因此，越来越多的智能系统中开始使用人脸检测和头部姿态估计的方法：在教学过程中，可以通过学生的脸部位置和头部姿态角来判断学生的注意力情况；在智能驾驶辅助系统中，可以通过实时跟踪驾驶员的脸部位置和头部姿态信息来及时预警，避免事故发生等。在这些场景下应用往往需要轻量化的网络来提高实时性同时降低计算量。
[0003]人脸检测为目标检测的一个分支。目前，人脸检测方法大致可分为两类：基于手工提取特征的方法和基于深度学习的方法。其中，手工提取特征的方法通过从图像中手工提取特征，获得特征向量，使用分类器进行分类，进行人脸检测；而深度学习的方法思路是通过神经网络训练一个分类器，训练好的分类器在进行人脸检测时速度足够快，同时精度也有保障。
[0004]头部姿态估计中，有使用一些姿态模板匹配真实的人脸来获取头部姿态；使用一组2d的人脸关键点通过2d
‑
3d对应的方法也能够获得头部姿态角，但是会因为关键点检测的效果进而影响头部姿态估计的结果；同时还有使用深度学习方法获得人脸姿态，HopeNet将头部姿态估计任务转化为分类任务，直接获得姿态更具鲁棒性。
[0005]在一些场景中，由于存储资源、计算资源和功耗的限制，深度神经网络的存储与计算仍旧是一个巨大的挑战，而目前所存在的人脸检测和头部姿态估计方法往往是分为两部分的，很大程度上浪费了计算效率，因此需要一种轻量化实时的人脸检测和头部姿态估计方法。
[0006]中国专利申请CN201910490931.7中提供了一种头部姿态估计的方法及系统。该方法中需要使用人脸检测得到人脸区域，并不能将人脸图像输入直接得到头部姿态信息，其次该专利技术的头部姿态获取为使用人脸关键点进行映射得到，在具体使用时会受到人脸关键点定位方法的精确度影响最终的头部姿态角的结果。
[0007]中国专利申请CN201810764042.0中提供了头部姿态估计方法及机器可读存储介质。该专利技术使用三基色图像和深度图像，将所有图像输入至头部姿态估计模型，得到估计结果。该专利技术在使用时需要深度图像，在获取深度图像时需要深度摄像机，在便利性上存在不足。
[0008]中国专利申请CN201910605149.5中提供了基于级联多任务学习的人脸检测及人脸属性分析方法及系统。该专利技术使用多个子网络进行级联，对人脸各种属性进行检测，完成人脸分类、头部姿态估计、人脸回归等任务。但该方法由于使用了多个子网络，在模型大小和计算效率上存在不足。
技术实现思路
[0009]为了克服上述现有技术的不足，本专利技术提供了一种轻量的实时人脸检测和头部姿态估计方法及系统，以计算机视觉技术与图像处理作为技术基础，保证人脸检测和头部姿态估计方法的实时性和轻量性。
[0010]根据本专利技术的第一方面，提供了一种轻量的实时人脸检测和头部姿态估计方法，包括以下步骤：
[0011]1)建立包含人脸检测数据和头部姿态数据的训练数据集；
[0012]2)构建轻量的人脸检测和头部姿态估计网络；
[0013]3)利用训练数据集，采用多任务损失函数对轻量的人脸检测和头部姿态估计网络进行训练；
[0014]4)将待处理图像输入训练完成的轻量的人脸检测和头部姿态估计网络，得到人脸检测和头部姿态估计结果。
[0015]进一步地，步骤1)中建立的训练数据集为人脸检测数据集和头部姿态数据集结合组成。
[0016]更进一步地，人脸检测数据集获取头部姿态信息的方法为使用人脸关键点映射3D模型的方法计算来获取；头部姿态数据集获取人脸检测信息的方法为使用人脸关键点位置生成人脸框信息。
[0017]进一步地，步骤2)中使用轻量级的网络模型作为特征提取网络，轻量级的网络模型构建方法包括，模型量化、知识蒸馏、轻量化的模型结构设计和模型剪枝，使用这些方法降低网络整体的参数量和计算量，提高实时性。模型量化是指对提取图像/视频视觉特征的卷积神经网络进行信息压缩的方法，其目的是缓解卷积神经网络参数量大、计算量大、内存占用多等问题。知识蒸馏是指一种简单而有效的模型压缩方法，通过一个复杂但推理性能优越相关的神经网络模型诱导另一个精简但复杂度低的网络的训练，实现知识向后者的迁移，从而提升轻量级模型的精度。轻量化的模型结构设计是指在保证模型精度的前提下，设计出的深度神经网络模型具有较小参数量、计算量和资源占用量。模型剪枝是指一种模型压缩方法，通过对冗余权重进行修剪并保留重要权重，最大限度地保持精确性，同时降低深度神经网络模型的计算量。
[0018]进一步地，步骤2)将特征提取网络从图像的三个不同尺度获取的特征信息，送入到不同的支路，在不同支路中对不同尺度的特征进行人脸检测和头部姿态估计，输出结果为最终人脸检测和头部姿态估计结果。
[0019]更进一步地，步骤2)中轻量的人脸检测和头部姿态估计网络输出的结果为人脸框中心位置和人脸框的长宽以及头部的偏航角、俯仰角和翻滚角。
[0020]进一步地，步骤3)中的多任务损失函数由人脸检测的准确性损失和头部姿态估计的准确性损失两部分组成。
[0021]根据本专利技术的第二方面，提供了一种轻量的实时人脸检测和头部姿态估计系统，包括存储器、处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时能实现第一方面的本专利技术方法所述的步骤。
[0022]与现有技术相比，本专利技术的有益效果是：
[0023]1、本专利技术使用了计算机视觉技术和图像处理技术作为技术基础，能够一次性得到
人脸检测和头部姿态估计的结果，同时能有效保证人脸检测和头部姿态估计结果的准确性和实时性。
[0024]2、本专利技术使用轻量化的网络模型作为特征提取网络，相较于传统的深度神经网络，轻量化的网络模型具有较低的计算量和参数量，在模型大小和计算效率上更具有优势。
[0025]3、本专利技术使用多任务的损失函数，将人脸检测和头部姿态估计结合，有效的降低了人脸检测和头部姿态估计任务的复杂性。
附图说明
[0026]图1是本专利技术的轻量的实时人脸检测和头部姿态估计方法的流程示意图；
[0027]图2是本专利技术一种轻量的实时人脸检测和头部姿态估计方法的具体实施结构示意图；
[0028]图3是本专利技术分支部分输出头的示意图；
[0029]图4是本专利技术人脸检测及头部姿态估计效果图。
具体实施方式
[0030]下面结合附图对本专利技术做具体说明。应该指出，所描述的实施例仅是为了说明的目的，而不是对本专利技术范围的限制。
[0031]本专利技术公开了一种轻量的实时人脸检测和头部姿态估计方法，该方法的步骤如图1所示：
[0032]步骤S001：建立包含人脸检本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种轻量的实时人脸检测和头部姿态估计方法，其特征在于，包括以下步骤：建立包含人脸检测和头部姿态数据的训练数据集；构建轻量的人脸检测和头部姿态估计网络；利用训练数据集，采用多任务损失函数对轻量的人脸检测和头部姿态估计网络进行训练；将待处理图像输入训练完成的轻量的人脸检测和头部姿态估计网络，得到人脸检测和头部姿态估计结果。2.根据权利要求1所述的方法，其特征在于，所述训练数据集为人脸检测数据集和头部姿态估计数据集结合组成。3.根据权利要求2所述的方法，其特征在于，所述人脸检测数据集使用人脸关键点映射3D模型的方法来获取头部姿态信息；所述头部姿态数据集使用人脸关键点位置生成人脸框信息，从而获取人脸检测信息。4.根据权利要求1所述的方法，其特征在于，所述轻量的人脸检测和头部姿态估计网络使用轻量级的网络模型作为特征提取网络，轻量级的网络模型构建方法包括模型量化、知识蒸馏、轻量化模型结构设计和模型剪枝，以降低网络整体的参数量和计算量，提高实时性。5.根据权利要求4所述的方法，其特征在于，所述轻量的人脸检测和头部姿态估计网络将特征提取网络从图像的三个不同尺度获取的特征信息，送入到不同的支路，在不同支路中对不同尺度的特征进行人脸检测和头部姿态估计，输出结果为最终人脸检测和头部姿态估计结果。6.根据权利要求5所述的方法，其特征在于，所述轻量的人脸检测和头部姿态估计网络采用轻量的MobilNet
‑
V3作为特征提取网络，支路通过空间金字塔结构和路径聚合提取输入图片的不同层级的语义信息；所述不同层级的语义信息指由MobileNet
‑
V3特征提取网络中输出特征图尺寸为输入尺寸的1/32、1/16、1/8的特征图；每种特征图作为不同层级人脸检测和头部姿态估计支路的输入，模型输出部分为三种图像尺度的特征表示，即y1、y2和y3，其中y1是13
×
13像素尺度，y2是26
×
26像素尺度，y3是52
×
52像素尺度，每一种尺度分别输出3个65维的特征向量；特征向量的前5维分别表示人脸框置信度、中心点横轴坐标、中心点纵轴坐标、人脸框高度和人脸框宽度，后面60维分别表示三种姿态角的特征向量，每一种姿态角特征使用20维向量表征。7.根据权利要求1所述的方法，其特征在于，所述轻量的人脸检测和头部姿态估计网络输出的结果为人脸框中心位置和人脸框的长宽以及头部的航向角、俯仰角和横滚...
【专利技术属性】
技术研发人员：陈辉，姚乃明，范睿凯，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。