一种新的轻量级头部姿态估计方法技术

针对现有的头部姿态估计算法在复杂场景下实时性差、识别率低的问题，本发明专利技术给出了一种新的轻量级头部姿态估计方法。该方法具有多级输出的结构，用三条不同类型的支流网络分别对输入图像进行特征提取，并且每条支流上都有三个阶段，每一阶段只需要细化前一阶段的特征。各支流在相同阶段提取出的特征经过特征融合模块来生成特征映射，有效避免了特征丢失问题。特征提取模块选择Ghost模块作为特征提取网络，利用模型压缩，使之在保证网络精度的同时减少网络参数和计算量；为提取出重要性更强的有效特征，引入高效通道注意力模块ECA

【技术实现步骤摘要】
一种新的轻量级头部姿态估计方法


[0001]本专利技术技术属于图像处理、模式识别、人工智能领域，具体来讲，涉及一种新的轻量级头部姿态估计方法。

技术介绍

[0002]头部姿态是判断人类行为很重要的一个因素，同时对于理解人类行为也具有很大帮助。头部姿态估计是指计算机通过对输入图像或者视频序列进行分析、预测，确定人的头部在三维空间中的位置以及姿态参量。这里的姿态参量是指人脸图像在三维空间中的旋转角度，分别为水平旋转（yaw）、垂直旋转（pitch）、平面内旋转（roll）。在过去的二十年中，头部姿态的相关研究推动了三维重建的视觉技术以及多媒体内容操作的发展，在人机交互、生物识别、虚拟现实以及疲劳检测等领域有着广泛的应用。头部姿态估计作为计算机视觉（Computer Vision，CV）的关键技术之一，受到了广泛的关注与研究，其发展过程中涌现出许多的研究方法。按照是否需要关键点检测，头部姿态估计主要可以分为两类：一类是基于传统的人脸关键点检测的方法，一类是基于深度神经网络（Deep Neural Network，DNN）的无关键点头部姿态估计的方法。基于人脸关键点检测的方法主要是采用人脸检测和人脸关键点标记的方式来表示人脸，然后通过二维空间与三维空间相对关系来求解头部姿态。但是该方法必须在人脸检测和特征点标记达到足够准确度的前提下，才能准确估计，模型复杂度较大。并且在实际应用中，人脸特征点检测精度会受到光照变化、复杂背景、头部偏转以及遮挡等干扰因素的影响，导致检测精度明显下降，甚至无法检测到人脸特征点。因此，基于模型的头部姿态估计算法并不十分准确。基于深度神经网络的无关键点的头部姿态估计方法是通过不同姿态样本的训练，对待处理的姿态样本进行向量描述，得到一组姿态和特征描述的映射，它将对头部姿态的识别问题转化为分类问题，从而得到人脸姿态和头部姿态的对应关系，不依赖于人脸特征点的准确定位，可以预测较大偏转范围的头部姿态。但是目前大多数算法采用的是深度可分离卷积（Depthwise Separable Convolution, DSC）模型，会占用大量的内存和浮点运算，并且经过DSC处理过的特征有一部分冗余，特征映射之间的相关性和冗余性没有得到很好的利用。

技术实现思路

[0003]本专利技术的目的在于解决当前头部姿态估计方法特征提取不足、精度与运算量之间难以平衡的问题，经所述方法可快速准确的实现头部姿态估计。为了实现上述目的，本专利技术提供一种新的轻量级头部姿态估计方法，该方法主要包括五个部分：第一部分是对数据集进行预处理；第二部分是设计多阶段三支流的特征提取网络；第三部分是对提取出的特征进行融合；第四部分是将融合后的特征经过细粒度结构映射，得到具有代表性的特征，然后将其输入到SSR
‑
Net，以得到头部姿态的预测结果；第五部分是网络训练与测试，输出最终的头部姿态估计的结果。第一部分包括两个步骤：
步骤1，下载头部姿态估计常用的数据集：300W
‑
LP、AFLW2000和BIWI数据集，然后将这些数据集设置为两种协议，以进行更好的训练与测试。第一种协议是在合成的数据集300W
‑
LP上进行训练，同时在两个真实数据集AFLW2000和BIWI上进行测试；第二种协议是使用BIWI数据集上的16个视频进行训练，其余的8个视频进行测试；步骤2，采用多任务卷积神经网络（Multi
‑
Task Convolutional Neural Network, MTCNN）进行人脸检测，选出包含人脸的图片，框出人脸之后进行裁剪，裁剪成大小为64
×
64像素的人脸图片；第二部分包括两个步骤：步骤3，将步骤2中裁剪好的图片输入到多阶段三支流特征提取网络中，分别对输入图像进行多尺寸的特征提取，具体实施如下：(1) 改进后三支流特征提取网络中引入Ghost模块，利用模型压缩，使之在保证网络精度的同时减少网络参数和计算量，从而提升计算速度；(2) 对(1)处理后的模块输入到批量标准化和激活函数模块进行处理，提高网络收敛速度和防止过拟合；(3) 对(2)处理后的特征输入到ECA
‑
Net，提高特征信息的有效性，得到鲁棒特征；(4) 对(3)得到的鲁棒特征输入到池化层进行裁剪，将裁剪后的精细图像作为下一阶段网络的输入；步骤4，对步骤3的操作重复三次构成三阶段特征提取网络，并且每一阶段只需要细化前一阶段的特征，三个阶段的通道大小分别设置为32、64和128，实现对输入特征逐渐进行精细化提取，保留完整的特征信息；第三部分包括两个步骤：步骤5，将步骤4中三个阶段提取出来的不同特征进行融合，以得到新的特征图，促使网络学习到更多的特征；步骤6，将步骤5融合后的特征图分别输入到大小为1
×
1的卷积核中进行卷积操作，并将特征图转换到c通道后进行池化操作，将特征图的大小变成w
×
h，w和h分别表示特征图的宽和高，因此可以得到各个阶段的大小为w
×
h
×
c的特征图U
K
；第四部分包括四个步骤：步骤7，将步骤6中得到的特征图输入到注意力结构A
K
中，来计算每个特征的重要性，从而提升网络对有效特征的提取能力；步骤8，将步骤6、7处理后的特征共同输入到细粒度结构映射模块，通过细粒度结构映射模块来提取更有效和更具有代表性的特征，并将各个拼接为代表性特征；步骤9，对步骤8得到代表性特征送入到特征聚合模块，得到最终的特征集V，以便更好的对特征映射进行分组；步骤10，将步骤9得到的特征集V输入到软阶段回归网络（Soft Stagewise Regression Network, SSR
‑
Net）中，从而获得最终的头部姿态估计的结果；第五部分包括两个步骤：步骤11，调试从步骤3到步骤10的网络结构超参数，其中，初始学习率设置为0.01，共有100个周期，每30个周期学习率降低10倍，并得到最终的训练模型；
步骤12，将步骤1中设置的两个训练集分别输入步骤11中的训练模型中，得到头部姿态估计的结果。本专利技术给出一种新的轻量级头部姿态估计算法。首先，设计了三条特征提取网络，采用不同类型的激活函数和池化方式，分别对输入的人脸图片进行不同类型的特征提取，解决了头部姿态估计网络特征提取不足的问题。每条支流上还设置了三个阶段，对三支流网络上相同阶段提取出来的特征图进行点乘融合，避免了特征丢失的问题。其次，为了避免提取的冗余特征过多，所以在特征提取网络中引入Ghost模块和ECA
‑
Net，在保证网络精度的同时减少网络参数和计算量，从而提升计算速度。然后将各个阶段提取出来的特征输入特征融合模块，将不同特征进行点乘融合，以得到新的特征图，促使网络学习到更多的特征。最后将融合后的特征通过细粒度映射模块，以得到更有代表性的特征，接着输入到SSR
‑
Net来输出各阶段预测的参数，从而得到最终的头部姿态估计的结果。
附图说明
[0004]图1为本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种新的轻量级头部姿态估计方法，其特征在于该方法包含五个部分：数据集预处理、三条不同类型的特征提取网络在三个阶段分别进行多尺度特征提取、将各阶段提取出来的特征进行融合、将融合后的特征进行细粒度结构映射以得到代表性特征、网络训练与测试；第一部分包括两个步骤：步骤1，下载头部姿态估计常用的数据集：300W
‑
LP、AFLW2000和BIWI数据集，然后将这些数据集设置为两种协议，以进行更好的训练与测试，第一种是在合成的数据集300W
‑
LP上进行训练，同时在两个真实数据集AFLW2000和BIWI上进行测试，第二种是使用BIWI数据集上16个视频进行训练，其他8个视频进行测试；步骤2，采用多任务卷积神经网络（Multi
‑
Task Convolutional Neural Network, MTCNN）进行人脸检测，选出包含人脸的图片，框出人脸之后进行裁剪，裁剪成大小64
×
64像素的人脸图片；第二部分包括两个步骤：步骤3，将步骤2中裁剪好的图片输入到设计的三支流特征提取网络中，分别对输入图像进行充分的特征提取，具体实施如下：(1) 在三支流特征提取网络中引入Ghost模块，利用模型压缩，使之在保证网络精度的同时减少网络参数和计算量，从而提升计算速度；(2) 对(1)处理后的卷积层输入到批量标准化和激活函数模块进行处理，提高网络收敛速度和防止过拟合；(3) 对(2)处理后的特征输入到ECA
‑
Net，提高特征信息的有效性，得到鲁棒特征；(4) 对(3)得到的鲁棒特征输入到池化层进行裁剪，将裁剪后的精细图像作为下一阶段网络的输入；步骤4，对步骤3的操作重复三次构成三阶段特征提取网络，并且每一阶段只需要细化前一阶段的特征，三个阶段的通道大小分别设置为32、64和128，实现对输入特征逐渐进行精细化提取；第三部分包括两个步骤：步骤5，将步骤4中三个阶段提取出来的不同特征进行融合，以得到新的特征图，促使网络学习到更多的特征；步骤6，将步骤5融合后的特征图分别输入到大小为1
×
1的卷积核中进行卷积操...

【专利技术属性】
技术研发人员：张红英，韩雪，卢琇雯，方艳红，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：