【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于全局-局部协同正则化的人脸动作单元识别方法。
技术介绍
1、面部表情通常反映了人的心理状态和情绪信息，自动化面部表情分析技术有着广泛的需求和应用场景，在生理及精神疾病辅助诊疗、疲劳驾驶检测、刑侦测谎以及人机交互等场景中备受关注。因此，实现面部表情自动识别分析具有重要的现实意义和社会价值。
2、1978年，美国心理学家ekman等人提出面部动作编码系统(facial action codingsystem,facs)用于描述面部肌肉的细微运动，并定义了一系列具有特定语义的人脸动作单元(actionunit,au)，比如au1表示内眉上扬，au12表示为嘴角拉伸。由于任意面部表情都可以表示成若干个au的组合，因此，au比六种基本面部表情的粗粒度分类，提供了更客观、更准确、更细粒度的描述。au识别的目标是从一张人脸图像中识别出几个au的状态，即激活或未激活。au及其组合检测识别更有助于准确分析面部表情，理解个体情绪。
3、然而，现有au标记数据集较少且缺乏多样性，不同个体的au存在较大的类内变化，且不同的人脸的相同au存在不同的强度差异。因此，学习具有判别性的au特征极具挑战性，现有的人脸动作单元识别模型识别准确度不高。
技术实现思路
1、本专利技术的目的在于提供一种基于全局-局部协同正则化的人脸动作单元识别方法，旨在解决现有的人脸动作单元识别模型识别准确度不高的问题。
2、为实现上述目的，本专利技术提供了一种基
3、步骤1：获取带人脸动作单元标注的人脸图像训练集并进行预处理操作；
4、步骤2：构建特征提取器，提取与人脸面部相关的高层语义特征表示；
5、步骤3：构建全局-局部双分支网络，分别建模不同粒度的人脸动作单元之间的关系；
6、步骤4：设计一致性协同正则化约束机制，协同训练所述全局-局部双分支网络，优化网络模型；
7、步骤5：利用误差反向传播训练人脸动作单元识别网络，不断更新网络模型，收敛生成最优网络参数，得到最佳的人脸动作单元识别网络模型；
8、步骤6：将待识别的人脸图像输入到述收敛后的人脸动作单元识别模型进行测试，获取人脸动作单元识别结果。
9、可选的，步骤1中的预处理操作包括对齐操作，使用由随机裁剪和随机水平翻转组成的数据增强操作，对图像增广以及归一化处理。
10、可选的，步骤2中的特征提取器由resnet34神经网络组成，用于提取出512维的特征表示
11、可选的，所述全局-局部双分支网络包括全局分支网络和局部分支网络，所述全局分支网络通过建模跨区域像素间的关系，在全局范围内实现不同人脸动作单元(actionunit,au)特征之间的交互，捕捉不同au的全局上下文信息，所述局部分支网络分区域获取高维特征表示，分别送入三个独立的人脸动作单元分类器获得不同区域块的预测结果，综合得到最终局部分支网络的预测结果。
12、可选的，所述全局分支网络采用多标签交叉熵分类损失函数进行au识别，公式如下:
13、
14、其中，表示全局分支的分类损失函数，c表示au类别数目，表示全局分支网络第i个au预测结果，而pi表示第i个au的真实标签值，bc表示一个平衡参数，用于平衡每个批次训练数据中的样本权重。
15、可选的，所述局部分支网络采用多标签交叉熵分类损失函数进行au识别，公式如下:
16、
17、其中，表示局部分支的分类损失函数，c表示au类别数目，表示局部局分支对第i个au的预测结果，而pi表示第i个au的真实标签值，bc表示一个平衡参数，用于平衡每个批次训练数据中的样本权重。
18、可选的，针对全局-局部双分支网络输出的预测结果pg和pl，采用jensen-shannon散度进行一致性正则化约束，公式如下：
19、
20、其中,lcon表示一致性协同正则化损失函数；c表示au类别数目，表示全局分支网络对第i个au的预测结果；而表示局部分支网络对第i个au的预测结果；其中h(p)计算公式如下：
21、h(p)＝-(plogp+(1-p)log(1-p))。
22、可选的，所述人脸动作单元识别网络模型的总体损失函数，公式表示如下：
23、
24、其中，α＝120为超参数，用于平衡后一项损失的权重。
25、可选的，在步骤5中，计算所述人脸动作单元识别网络模型的总体损失函数，不断更新网络模型，生成最优网络参数，使网络误差最终收敛至最优范围内，从而得到最优的人脸动作单元识别网络模型。
26、可选的，在步骤6中，将待测试样本输入收敛的人脸动作单元识别模型中，最后使用分类器得到人脸动作单元识别结果。
27、本专利技术提供了一种基于全局-局部协同正则化的人脸动作单元识别方法，使用带标签的人脸训练数据输入到深度神经网络提取高层语义特征表示；构建全局分支网络来建模全局范围内不同人脸动作单元之间的依赖关系；构建局部分支网络，建模人脸局部区域之间的人脸动作单元的外在关系，以及建模人脸局部区域内的人脸动作单元的区域内的联系，以此学习到与人脸动作单元相关的判别性区域特征表示；设计一致性协同正则化机制，约束全局分支与局部分支学习到的特征表示经过不同的多标签分类器后输出一致的预测结果；本专利技术使用协同学习的策略进行模型训练，反复循环迭代生成人脸动作单元识别网络，利用误差反向传播训练人脸动作单元识别网络，不断更新网络模型，生成最优网络参数，提取鲁棒的情感表征表示，输出可靠的多标签预测结果，提升了模型的鲁棒性，以及提高了人脸动作单元识别的准确率。
本文档来自技高网...【技术保护点】
1.一种基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，包括下列步骤：
2.如权利要求1所述的基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，
3.如权利要求2所述的基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，
4.如权利要求3所述的基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，
5.如权利要求4所述的基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，
6.如权利要求5所述的基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，
7.如权利要求6所述的基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，
8.如权利要求7所述的基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，
9.如权利要求8所述的基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，
10.如权利要求9所述的基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，
【技术特征摘要】
1.一种基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，包括下列步骤：
2.如权利要求1所述的基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，
3.如权利要求2所述的基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，
4.如权利要求3所述的基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，
5.如权利要求4所述的基于全局-局部协同正则化的人脸动作单元识别方法，其特征在于，
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。