【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及基于全局局部交叉注意力的轻量人脸表情识别方法及系统。
技术介绍
1、面部表情是人类表达情感状态和意图的最有力、最自然和最普遍的信号之一，了解人类情绪状态是许多计算机视觉任务的基本前提，由于自动面部表情分析在社交机器人、医疗、驾驶员疲劳监测和许多其他人机交互系统中的重要意义，人们对面部表情识别(fer)任务进行了大量研究。传统的fer方法主要依赖于手工特征提取(例如局部二值模式(lbp)，方向梯度直方图(hog)，尺度不变特征变换(sift)和非负矩阵分解(nmf))。然而，这些方法在受较强环境干扰的情况下缺乏泛化性。
2、近年来，随着深度学习和视觉变换器(vit)技术的发展，面部表情识别的性能得到了显著提升。vit通过将图像划分为一系列令牌(token)并对这些token进行处理，能够捕获表情图像中的全局特征。然而由于缺乏卷积神经网络固有的归纳偏置，其在捕捉局部细节和处理局部特征时表现相对较弱，而且vit模型在处理高分辨率图像时计算开销较大，尤其是在计算资源受限的环境中，这对实时表情识别的应用也提出了挑战。
3、关键点(landmark)检测作为面部表情识别中的关键特征建模方法，被广泛应用于表情识别领域。landmark检测通过定位面部的关键点(包括眼睛、鼻子、嘴巴等)，用于增强模型对局部区域的关注，从而提高对面部细节变化的敏感度和鲁棒性。该技术被广泛研究，并在增强面部表情识别模型的性能方面取得了显著进展。得益于landmark检测卓越的局部特征捕捉能力，在室外环境下应用l
4、现有技术的缺陷和不足：
5、1.基于vit的网络架构，由于缺乏卷积神经网络固有的归纳偏置，其在捕捉局部细节和处理局部特征时表现相对较弱。
6、2.vit的计算复杂度与token数量的平方相关，在处理高分辨率图像时计算开销较大，尤其是在计算资源受限的环境中，这对实时表情识别的应用也提出了挑战。
技术实现思路
1、本专利技术目的在于提供基于全局局部交叉注意力的轻量人脸表情识别方法及系统，以解决上述现有技术存在的问题。
2、本专利技术中所述基于全局局部交叉注意力的轻量人脸表情识别系统，在处理人脸表情识别时，进行以下步骤：
3、s1.图像预处理；
4、s2.特征预提取：采用在ms-celeb-1m上预训练的ir-50的前三个阶段作为特征预提取器以获取全局特征，预训练的mobilefacenet作为landmark检测器负责从原始图像获取局部特征，并且在训练阶段冻结权重；定义输入图像x∈rh×w×c，其中h和w分别是图像的高度和宽度,c为通道数；在特征预提取器中利用在ms-celeb-1m预训练的ir-50得到图像特征ximg∈rn×d；通过训练的人脸landmark检测器mobilefacenet获取landmark特征xlmk∈rn×d，其中n为token数量，d为特征维度；在训练过程中，对ir-50进行微调，同时保持mobilefacenet的权重冻结，以保证正确的landmark输出；
5、s3.基于交叉注意力的剪枝处理：剪枝模块对于全局分支，将图像特征投影为2个特征向量q′img∈rn×d,k′img∈rn×d对于局部分支将landmark特征投影为3个特征向量qlmk∈rn×d,klmk∈rn×d，klmk∈rn×d：
6、q′img＝ximgwq1,k′img＝ximgwk1
7、qlmk＝ximgwq2，klmk＝ximgwk2，vlmk＝xlmkwv2
8、对qlmk∈rn×d做全局平均得到
9、
10、其中avgpooling(·)表示沿空间维度做全局平均；
11、交换两个分支的q向量，跨分支融合局部和全局的特征，对于全局分支，利用对于局部重要区域感知能力强的特性，学习局部区域的重要性：
12、
13、其中attn∈r1×n为局部感知注意力，作为每个token的重要性度量。
14、本专利技术中所述基于全局局部交叉注意力的轻量人脸表情识别方法是利用所述系统进行人脸表情识别。
15、本专利技术中所述基于全局局部交叉注意力的轻量人脸表情识别方法及系统，其优点在于：
16、(1)利用landmark检测与vit模型相结合，通过全局与局部特性的交叉注意力机制，显著增强了面部表情识别(fer)的性能。能够在捕捉全局面部特征的同时，关注局部关键区域的信息，从而提高了识别的准确性和鲁棒性。
17、(2)通过利用landmark的局部特性引导模型对token进行剪枝，能够有效地舍弃不重要或干扰性的区域，增强了fer的性能，减少了计算开销。
本文档来自技高网...【技术保护点】
1.基于全局局部交叉注意力的轻量人脸表情识别系统，其特征在于，在处理人脸表情识别时，进行以下步骤：
2.根据权利要求1所述基于全局局部交叉注意力的轻量人脸表情识别系统，其特征在于，所述步骤S1具体为：
3.根据权利要求2所述基于全局局部交叉注意力的轻量人脸表情识别系统，其特征在于，在所述步骤S2中，在全局分支的每个阶段，通过对于原始的Transformer编码器提取全局特征，通过三个线性层将输入特征投影：
4.根据权利要求3所述基于全局局部交叉注意力的轻量人脸表情识别系统，其特征在于，在所述步骤S3中，为局部分支引入全局特征进行信息补偿：
5.基于全局局部交叉注意力的轻量人脸表情识别方法，其特征在于，利用如权利要求1-4任一项所述系统进行人脸表情识别。
【技术特征摘要】
1.基于全局局部交叉注意力的轻量人脸表情识别系统，其特征在于，在处理人脸表情识别时，进行以下步骤：
2.根据权利要求1所述基于全局局部交叉注意力的轻量人脸表情识别系统，其特征在于，所述步骤s1具体为：
3.根据权利要求2所述基于全局局部交叉注意力的轻量人脸表情识别系统，其特征在于，在所述步骤s2中，在全局分支的每个阶段，通过对于...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。