基于空洞卷积的CNN微表情识别方法技术

本发明专利技术公开了一种基于空洞卷积的CNN微表情识别方法，基于空洞卷积神经网络，在MTCNN和VGG16网络的基础上完成人脸微表情的自动获取与识别功能，通过空洞卷积有效提升网络感受野，避免图像边缘特征及细微特征在卷积过程中丢失，提出感受野更大、识别准确度更高的人脸微表情识别算法具有较高的鲁棒性，同时结合人脸表情自动识别，形成一套从人脸检测与发现到微表情分类的整体框架，利用相似网络结构从一定程度上避免了人工筛选。

CNN micro expression recognition method based on hole convolution

【技术实现步骤摘要】
基于空洞卷积的CNN微表情识别方法
本专利技术属于微表情识别
，涉及一种微表情识别方法，具体是一种基于空洞卷积的CNN微表情识别方法。
技术介绍
微表情是人脸特殊的肌肉动作产生的细微变化，作为一种自然机制的面部行为，无法伪造且反应人类内心真实情感，周期维持在0.04-0.5秒之间，动作幅度细微，肉眼不易发现，在公共安防、心理治疗、谈判交流预测等领域具备广泛的应用价值，但由于人工识别受到专业训练和时间成本的限制，虽然具备专业工具，但通过人力进行识别的效果仅为47％，难以进行大规模推广。微表情识别包括人脸识别、人脸校准和微表情分类三个模块，通过主动形状模型(ActiveShapeModel，ASM)和局部二进制模式(LocalBinaryPattern，LBP)对微表情进行自动识别,目前，微表情识别的研究主要集中在微表情特征提取及其分类上。在特征提取上，一方面通过传统的特征提取方法如LBP算子、HOG特征点获取的特征通常是图像浅层特征，虽然这些基于特征的方法从时空纹理的角度充分考虑了人脸表情的变化，但无法有效的描述样本的结构信息，难以区分高维特征间的关系；另一方面，通过光流法等基于运动特征的特征提取方法完成微表情识别，往往由于光流算法的计算量过大，无法满足实时分析需求，不能完成大规模的微表情识别；同时，实际拍摄视频的连续帧间也会存在缺乏足够灰度等级变化的区域，会存在真实运动漏检现象。在微表情分类上，随着深度网络的发展，深度神经网络开始应用于人脸微表情识别过程中，总结现有的微表情分类网络，随着层数的不断增加虽然提取到充分的特征信息，但也增加了神经节点的计算量，在卷积过程中会丢失关键的细节特征；同时现有的微表情数据库都是特定环境下完成视频帧分割筛选后得到的清晰人脸正向图像，训练的模型在实际应用场景下，识别率较测试时普遍下降明显，实时系统的应用情况欠佳。
技术实现思路
本专利技术的目的在于提供一种基于空洞卷积的CNN微表情识别方法，本专利技术的目的可以通过以下技术方案实现：一种基于空洞卷积的CNN微表情识别方法，具体包括以下步骤：步骤S1，实时采集人脸视频，送入多任务卷积神经网络模型。步骤S2，通过多任务卷积神经网络模型快速检测和识别实时人脸视频中的人脸图像。步骤S3，通过人脸自动矫正模块进行人脸自动矫正，对步骤2中识别的人脸图像区域进行校正。步骤S4，通过结合空洞卷积的CNN模型对校正后的人脸图像进行微表情特征提取。步骤S5，通过类sofmax分类算法完成微表情实时分析。步骤S6，输出微表情识别结果。进一步地，步骤S2中的人脸检测和识别包括以下步骤：步骤S21，摄像头实时检测，获取并传输多帧连续人脸视频图像。步骤S22，转换RGB图像，获取图像参数，包括图像高度h和宽度w。步骤S23，定义多任务卷积神经网络模型的模型参数，包括最小人脸尺寸，模型训练过程中三个阶段的临界值和模型比例因数。步骤S24，计算BB回归损失值，若BB回归损失值小于1，则未检测到人脸，反之，计算人脸所在位置坐标。步骤S25，依据步骤S24的坐标信息进行图像切割，显示人脸推荐窗口。进一步地，步骤S3中的人脸自动矫正包括以下步骤：步骤S31，获取多任务卷积神经网络模型的人脸标记点坐标及推荐框坐标。步骤S32，计算两眼之间的直线距离及水平夹角角度。步骤S33，依据夹角读书顺时针完成图像旋转。步骤S34，依据夹角完成推荐框坐标变换。步骤S35，依据步骤S34的坐标完成人脸图像裁剪。进一步地，步骤S4中的空洞卷积，其卷积构造方法是在传统的卷积核中增加权重为0的卷积像素，引入扩张率参数r定义卷积核处理数据时各值的间距，在原卷积和的基础上增加(ri-1)2个空洞，其第i卷积层的特征图o的计算方式为进一步地，步骤S4中结合空洞卷积的CNN模型的网络结构以16层的VGG网络作为基础网络框架，整个卷积网络由13个卷积层及空洞块构成，在网络计算结束时保证输出为7*7的特征图，所述空洞块由扩张系数为4和2的卷积核且大小为3*3的卷积层串联形成。进一步地，步骤S5中，定义训练数据X包含k个训练样本x，并将其分为生气、厌恶、恐惧、幸福、悲伤、惊讶和自然7类表情，通过Softmax分类器将神经网络输出归一到(0，1)的概率分布上，则第i个样本的概率为进一步地，步骤S5中，采用相对熵来衡量样本x的真实分布p与模型预测分布q间的差异，进一步地，步骤S5中，评估计算过程中真实分布p的熵-H(p(x))保持不变，计算交叉熵，进一步地，步骤S5中，增加不同类别权重weight控制正负样本平衡并计算loss值，进一步地，步骤S5中，采用Focalloss解决正负样本比例严重失衡的问题，Focalloss在交叉熵的基础上增加参数γ与平衡权重因子α，FLloss＝αi[-(1-p(xi))]γ*CEloss。本专利技术的有益效果：本专利技术基于空洞卷积神经网络，在MTCNN和VGG16网络的基础上完成人脸微表情的自动获取与识别功能，通过空洞卷积有效提升网络感受野，避免图像边缘特征及细微特征在卷积过程中丢失，提出感受野更大、识别准确度更高的人脸微表情识别算法具有较高的鲁棒性，同时结合人脸表情自动识别，形成一套从人脸检测与发现到微表情分类的整体框架，利用相似网络结构从一定程度上避免了人工筛选。附图说明下面结合附图和具体实施例对本专利技术作进一步详细描述。图1是本专利技术基于空洞卷积的多尺度卷积神经网络模型图。图2是本专利技术的方法流程图。图3是本专利技术MTCNN网络结构拓扑图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要理解的是，术语“开孔”、“上”、“下”、“厚度”、“顶”、“中”、“长度”、“内”、“四周”等指示方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本专利技术的限制。本专利技术提供了一种基于空洞卷积的CNN微表情识别方法，采用one-stage检测算法思想，基于CNN网络模型提出结合空洞卷积的微表情分类模型，满足长视频拍摄条件下微表情实时分析模型的效率，在CNN层级结构学习不同层次特征(视频帧图像纹理特征、边缘特征)的基础上，引入空洞卷积充分提取微表情不同尺度的细节特征，达到扩大卷积核感受野，增强多尺度上下文信息的目的，该方法相比其他检测算法省略推荐区域生成阶段，直接产生目标的识别准确性及坐标位置，因此具备更强的检测速度，本文档来自技高网...

【技术保护点】
1.一种基于空洞卷积的CNN微表情识别方法，其特征在于，具体包括以下步骤：/n步骤S1，实时采集人脸视频，送入多任务卷积神经网络模型。/n步骤S2，通过多任务卷积神经网络模型快速检测和识别实时人脸视频中的人脸图像。/n步骤S3，通过人脸自动矫正模块进行人脸自动矫正，对步骤2中识别的人脸图像区域进行校正。/n步骤S4，通过结合空洞卷积的CNN模型对校正后的人脸图像进行微表情特征提取。/n步骤S5，通过类sofmax分类算法完成微表情实时分析。/n步骤S6，输出微表情识别结果。/n

【技术特征摘要】
1.一种基于空洞卷积的CNN微表情识别方法，其特征在于，具体包括以下步骤：
步骤S1，实时采集人脸视频，送入多任务卷积神经网络模型。
步骤S2，通过多任务卷积神经网络模型快速检测和识别实时人脸视频中的人脸图像。
步骤S3，通过人脸自动矫正模块进行人脸自动矫正，对步骤2中识别的人脸图像区域进行校正。
步骤S4，通过结合空洞卷积的CNN模型对校正后的人脸图像进行微表情特征提取。
步骤S5，通过类sofmax分类算法完成微表情实时分析。
步骤S6，输出微表情识别结果。


2.根据权利要求1所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S2中的人脸检测和识别包括以下步骤：
步骤S21，摄像头实时检测，获取并传输多帧连续人脸视频图像。
步骤S22，转换RGB图像，获取图像参数，包括图像高度h和宽度w。
步骤S23，定义多任务卷积神经网络模型的模型参数，包括最小人脸尺寸，模型训练过程中三个阶段的临界值和模型比例因数。
步骤S24，计算BB回归损失值，若BB回归损失值小于1，则未检测到人脸，反之，计算人脸所在位置坐标。
步骤S25，依据步骤S24的坐标信息进行图像切割，显示人脸推荐窗口。


3.根据权利要求1所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S3中的人脸自动矫正包括以下步骤：
步骤S31，获取多任务卷积神经网络模型的人脸标记点坐标及推荐框坐标。
步骤S32，计算两眼之间的直线距离及水平夹角角度。
步骤S33，依据夹角读书顺时针完成图像旋转。
步骤S34，依据夹角完成推荐框坐标变换。
步骤S35，依据步骤S34的坐标完成人脸图像裁剪。


4.根据权利要求1所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S4中的空洞卷积，其卷积构造方法是在传统的卷积核中增加权重为0的卷积像素...

【专利技术属性】
技术研发人员：钱育蓉，赖振意，陈人和，贾金露，
申请(专利权)人：新疆大学，
类型：发明
国别省市：新疆;65