基于多任务级联的猪脸面部表情识别框架的建立方法技术

本发明专利技术涉及一种基于多任务级联的猪脸面部表情识别框架的建立方法，属于计算机图像识别及人工智能技术领域。首次提出将级联框架模型应用于对家猪时序面部表情影像进行分类识别。网络模型由三个级1联结构构成，首先将猪脸面部表情视频帧图像等间隔选择输入到简化多任务级联卷积神经网络中。其次将提取到的猪脸面部序列帧特征图输入到多注意力机制模块中，捕获表情变化引起的面部显著性区域，实现对面部细微变化的关注。然后将视频帧提取到的精细特征图和多注意力特征图通过合并数组操作融合后输入到长短时记忆网络中，实现表情分类识别。通过家畜表情识别可以更好实现情绪调控，从而提高饲料消化率和利用率，提高生长速度，提高出产效益。

【技术实现步骤摘要】
基于多任务级联的猪脸面部表情识别框架的建立方法
本专利技术涉及计算机图像识别及人工智能
，特别涉及一种基于多任务级联的猪脸面部表情识别框架的建立方法，用于视频中家畜面部表情识别的端到端模型框架。
技术介绍
动物情感研究是动物科学的重要研究目标之一，可以更好评估家畜福利，包括猪等家畜在饲喂过程中良好的情绪对于保证饲料消化率和利用率抵达最高，从而提高生长速度，提高出产效益具有重要作用，因此对于基于面部表情识别的情感研究具有重要意义。动物面部表情识别面临挑战，首先对比人脸表情识别，动物面部表情变化较难察觉识别，原因在于动物表情变化主要依赖面颊两侧颧大肌，肌群结构简单变化幅度较低。其次已有的动物面部表情识别相关工作大多基于生理解剖学，付出成本较高且效率较低。最后动物面部生理体征采集较为困难，没有可用于监督半监督学习的规模化标准化数据集，并且当前仅有的极少量基于机器视觉的方法多是对静态影像中动物面部表情进行识别，没有针对视频帧中具有时序性表情进行分类识别的研究。静态影像中的面部表情仅是某一时间点上的表情特征记录，然而面部表情本身具有时空性，因此仅有的极少量基于静态影像面部表情识别方法在面部表情特征提取和表示过程中丢失了大量的由时间维度变化引起的时空逻辑性特征，违背面部表情呈现的内在规律性，因此急需一种用于视频中家畜面部表情识别的端到端模型框架。
技术实现思路
本专利技术的目的在于提供一种基于多任务级联的猪脸面部表情识别框架的建立方法，解决了现有技术存在的上述问题。本专利技术基于多注意力机制级联长短时记忆网络模型对视频影像中猪脸面部表情进行分类识别。首先利用简化多任务级联卷积网络快速检测定位视频帧中猪脸，去除非猪脸区域对于识别性能的影响。将检测定位的猪脸面部序列特征图送入多注意力卷积机制模块，通过注意力关注各类表情变化引起的显著性区域，从而克服家猪面部表情肌群结构简单幅度变化小，致使面部表情较难察觉识别的问题。最后将提取到的全局特征图和注意力特征图通过合并数组操作融合为精细化特征以序列形式送入长短时记忆网络中，最终实现表情识别。本专利技术的上述目的通过以下技术方案实现：基于多任务级联的猪脸面部表情识别框架的建立方法，包括如下步骤：S1、输入猪脸面部表情视频段，对输入视频段进行类别标注，分别为家猪愤怒、欢快、恐惧以及平和四类表情；S2、级联框架模型第一阶段：将猪脸面部表情视频影像等间隔选取帧图像输入到简化多任务级联卷积神经网络中，用于检测定位猪脸；该简化多任务级联卷积神经网络分别由粗粒度和细粒度两步实现猪脸区域快速检测和定位；S3、级联框架模型第二阶段：将提取到的猪脸面部序列帧图像输入到多注意力机制模块中，用于提取和构建猪脸面部表情变化的显著性区域特征图；首先使用一个浅层残差网络对猪脸面部提取全局卷积特征图；其次通过通道分组响应注意力机制，捕获并生成猪脸面部表情变化的显著性区域特征图；然后将注意力区域特征图与全局卷积特征图做合并数组操作生成融合注意力机制的猪脸面部特征图；S4、级联框架模型第三阶段：将融合注意力机制的猪脸面部特征图，依序列顺序输入到长短时记忆网络，经过全连接层和softmax分类器对猪脸面部表情做识别分类。步骤S2中简化多任务级联卷积神经网络的模型架构方法如下：S21、粗粒度检测和定位：利用一个全卷积网络，即建议性网络获得猪脸面部窗口及其边界框回归向量，再根据估计的边界框回归向量对候选窗口进行校正；最后使用非极大值抑制合并高度重叠的候选窗口；S22、细粒度检测和定位：由步骤S21获得的所有包含猪脸面部的候选对象传递给精细化网络，筛选去除错误候选窗口，使用边界框回归向量进行校准，并执行非极大值抑制，最终输出包含有猪脸的边界框坐标，实现猪脸检测和定位；S23、损失优化函数：简化多任务级联卷积神经网络的损失函数分别由猪脸分类损失函数和面部区域边界框回归的欧氏距离回归损失函数构成，并通过联合优化损失函数实现网络学习；联合优化损失函数为：其中Lcd表示用于猪脸检测的简化多任务级联卷积神经网络的优化目标函数，N为训练集样本总数，i表示第i个样本，j表示任务类别，取值为det或box，det用于表示任务类别为猪脸判别，box用于表示任务类别为猪脸回归框检测，表示第i个样本在第j个任务中的损失函数，αj表示第j个任务对应损失函数所拥有的权重，为第i个样本在第j个任务中的标签，取值为0或1，粗粒度和细粒度任务对应权值分配比例分别为αdet＝1和αbox＝0.5，表示样本的真实标签，pi表示i样本网络输出是猪脸的概率，为网络预测的猪脸边界框坐标，为人工标注的真实边界框坐标，两者皆为四维向量R4，分别为回归框左上角的横纵坐标，以及回归框的宽和高。步骤S3中提取和构建猪脸面部表情变化的显著性区域特征图的方法如下：S31、将步骤S2提取到包含猪脸面部表情的视频帧序列提取的特征图输入浅层残差网络，用于生成具有时序性的全局特征图；S32、将步骤S31得到的全局特征图依据通道响应模式进行分组：首先计算每个特征通道对于注意力区域贡献度，权重计算表达式为：dυ(X)＝fυ(W*X)，其中dυ(X)＝[dυ(1)，…，dυ(c)]，为了生成n个注意力区域，定义一组全连接函数F(·)＝{f1(·)，…fυ(·)，…fN(·)}，每个fυ(·)以卷积特征作为输入，分别对应第υ个注意力区域，接收c维特征通道的输入，并且生成c维权重向量dυ，用于指代每个特征通道对于注意力区域υ的贡献度，W*X表示输入样本X的卷积特征，W表示特征提取单元的参数集合，分别为w，h，c表示输入样本的宽、高和特征通道的数量，“*”表示特征提取单元的卷积、池化和激活操作；S33、依据步骤S32计算的权重计算注意力区域特征图：首先基于学习到的权重向量dυ获取每个关注区域的注意力掩模矩阵Mυ，其中，X表示输入样本，取sigmoid函数将其归一化为0-1，k和υ表示不同特征通道，即不同注意力区域索引值，(k≠υ)∈{1，2，…，N}，[·]k表示卷积特征W*X的第k个特征通道权重向量dk与对应特征通道对应元素相乘；然后计算注意力区域特征图其中Pυ(X)表示第υ个注意力区域的特征图，通过每个通道上的池化计算得出，运算标记为·表示第υ个注意力区域掩模矩阵与卷积特征图点乘再累加；S34：构建特征通道分组聚类优化目标函数Lcg，实现特征通道聚类从而获取注意力区域，Lcg目的是判断高关注区域特征点与弱关注区域特征点之间的相关性，使得同一个注意力区域内坐标更聚集，用函数Dis(·)表示，不同区域坐标尽量远，用函数Div(·)表示，λ表示目标约束分配权重，优化目标函数如下：minLcg(Mυ)＝Dis(Mυ)+2Div(Mυ)其中(x，y)取自注意力区域坐标，mυ(x，y)对应关注区域的注意力掩模矩阵Mυ(X)在(x，y)坐标处的响应值，tx和ty表示训练集对第υ个注意力区域峰值响应的坐标，用于表示(x，y)坐标位置能够最本文档来自技高网...

【技术保护点】
1.一种基于多任务级联的猪脸面部表情识别框架的建立方法，其特征在于：包括如下步骤：/nS1、输入猪脸面部表情视频段，对输入视频段进行类别标注，分别为家猪愤怒、欢快、恐惧以及平和四类表情；/nS2、级联框架模型第一阶段：将猪脸面部表情视频影像等间隔选取帧图像输入到简化多任务级联卷积神经网络中，用于检测定位猪脸；该简化多任务级联卷积神经网络分别由粗粒度和细粒度两步实现猪脸区域快速检测和定位；/nS3、级联框架模型第二阶段：将提取到的猪脸面部序列帧图像输入到多注意力机制模块中，用于提取和构建猪脸面部表情变化的显著性区域特征图；首先使用一个浅层残差网络对猪脸面部提取全局卷积特征图；其次通过通道分组响应注意力机制，捕获并生成猪脸面部表情变化的显著性区域特征图；然后将注意力区域特征图与全局卷积特征图做合并数组操作生成融合注意力机制的猪脸面部特征图；/nS4、级联框架模型第三阶段：将融合注意力机制的猪脸面部特征图，依序列顺序输入到长短时记忆网络，经过全连接层和softmax分类器对猪脸面部表情做识别分类。/n

【技术特征摘要】
1.一种基于多任务级联的猪脸面部表情识别框架的建立方法，其特征在于：包括如下步骤：
S1、输入猪脸面部表情视频段，对输入视频段进行类别标注，分别为家猪愤怒、欢快、恐惧以及平和四类表情；
S2、级联框架模型第一阶段：将猪脸面部表情视频影像等间隔选取帧图像输入到简化多任务级联卷积神经网络中，用于检测定位猪脸；该简化多任务级联卷积神经网络分别由粗粒度和细粒度两步实现猪脸区域快速检测和定位；
S3、级联框架模型第二阶段：将提取到的猪脸面部序列帧图像输入到多注意力机制模块中，用于提取和构建猪脸面部表情变化的显著性区域特征图；首先使用一个浅层残差网络对猪脸面部提取全局卷积特征图；其次通过通道分组响应注意力机制，捕获并生成猪脸面部表情变化的显著性区域特征图；然后将注意力区域特征图与全局卷积特征图做合并数组操作生成融合注意力机制的猪脸面部特征图；
S4、级联框架模型第三阶段：将融合注意力机制的猪脸面部特征图，依序列顺序输入到长短时记忆网络，经过全连接层和softmax分类器对猪脸面部表情做识别分类。


2.根据权利要求1所述的基于多任务级联的猪脸面部表情识别框架的建立方法，其特征在于：步骤S2中简化多任务级联卷积神经网络的模型架构方法如下：
S21、粗粒度检测和定位：利用一个全卷积网络，即建议性网络获得猪脸面部窗口及其边界框回归向量，再根据估计的边界框回归向量对候选窗口进行校正；最后使用非极大值抑制合并高度重叠的候选窗口；
S22、细粒度检测和定位：由步骤S21获得的所有包含猪脸面部的候选对象传递给精细化网络，筛选去除错误候选窗口，使用边界框回归向量进行校准，并执行非极大值抑制，最终输出包含有猪脸的边界框坐标，实现猪脸检测和定位；
S23、损失优化函数：简化多任务级联卷积神经网络的损失函数分别由猪脸分类损失函数和面部区域边界框回归的欧氏距离回归损失函数构成，并通过联合优化损失函数实现网络学习；联合优化损失函数为：









其中Lcd表示用于猪脸检测的简化多任务级联卷积神经网络的优化目标函数，N为训练集样本总数，i表示第i个样本，j表示任务类别，取值为det或box，det用于表示任务类别为猪脸判别，box用于表示任务类别为猪脸回归框检测，表示第i个样本在第j个任务中的损失函数，αj表示第j个任务对应损失函数所拥有的权重，为第i个样本在第j个任务中的标签，取值为0或1，粗粒度和细粒度任务对应权值分配比例分别为αdet＝1和αbox＝0.5，表示样本的真实标签，pi表示i样本网络输出是猪脸的概率，为网络预测的猪脸边界框坐标，为人工标注的真实边界框坐标，两者皆为四维向量R4，分别为回归框左上角的横纵坐标，以及回归框的宽和高。


3.根据权利要求1所述的基于多任务级联的猪脸面部表情识别框架的建立方法，其特征在于：步骤S3中提取和构建猪脸面部表情变化的显著性区域特征图的方法如下：
S31、将步骤S2提取到包含猪脸面部表情的视频帧序列提取的特征图输入浅层残差网络，用于生成具有时序性的全局特征图；
S32、将步骤S...

【专利技术属性】
技术研发人员：温长吉，张笑然，吴建双，于合龙，石磊，郭宏亮，毕春光，李卓识，苏恒强，薛明轩，杨之音，
申请(专利权)人：吉林农业大学，
类型：发明
国别省市：吉林;22