一种基于文本桥接的跨域表情运动单元检测方法技术

本发明专利技术公开了一种基于文本桥接的跨域表情运动单元检测方法，采用视觉编码器提取不同尺度的AU视觉特征，并引入一组可学习的提示向量，结合AU文本描述得到AU文本特征；利用对比学习将源域特征和文本特征对齐，提升源域AU视觉特征的判别性；采用跨模态注意力机制实现视觉和文本的初步交互，获得AU交互特征表示；通过图神经网络进一步促进文本和视觉信息的深度交互、融合，得到融合的AU特征；基于负样本AU描述的对比学习方法，将目标域特征和文本特征对齐，缩小源域与目标域之间的特征分布差异。该方法利用文本的领域不变性，将源域和目标域的视觉特征统一和文本特征对齐，显著提高AU检测模型的泛化性能和在目标域上的准确性。

【技术实现步骤摘要】

本专利技术属于表情运动单元检测，主要涉及一种基于文本桥接的跨域表情运动单元检测方法。

技术介绍

1、面部表情是情感的直观外在表达，能直接传递出人的情绪状态。早期的面部表情分析方法仅将表情归类为快乐、悲伤和惊讶等基本情绪，无法识别复杂细微的表情变化。为了全面且客观地分析面部表情，心理学家ekman从人脸解剖学的角度提出人脸动作编码系统（facial action coding system，facs）。facs系统定义了44种表情运动单元（actionunit，au），每个au对应一种人脸局部肌肉的运动。例如，au1（inner brow raiser）表示眉毛内侧抬升运动。面部表情可以表示为一系列au的组合。例如，快乐表情是au6（cheekraiser，脸颊提升）和au12（lip corner puller，嘴角拉伸）的组合。au检测的目标是构建一个能够自动化识别图像或视频中面部au的检测系统。随着深度学习技术的快速发展，au检测技术得到进一步发展，在人机交互、医疗健康、辅助教育等领域展现出巨大的应用潜力。

2、针对在中小学教育场景，采用a本文档来自技高网...

【技术保护点】

1.一种基于文本桥接的跨域表情运动单元检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述多模态表情运动单元AU数据集的获取步骤包括：

3.根据权利要求1所述的方法，其特征在于，所述跨域AU检测网络的构建步骤包括：

4.根据权利要求3所述的方法，其特征在于，任意两个节点之间存在两条有向边，有向边表示从节点指向节点，；有向边表示从节点指向节点，。

5.根据权利要求3所述的方法，其特征在于，基于源域数据集，采用多标签二元交叉熵损失函数监督跨域AU检测网络的训练：

6.根据权利要求5所述的方法，其特征在于，引入...

【技术特征摘要】

1.一种基于文本桥接的跨域表情运动单元检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述多模态表情运动单元au数据集的获取步骤包括：

3.根据权利要求1所述的方法，其特征在于，所述跨域au检测网络的构建步骤包括：

4.根据权利要求3所述的方法，其特征在于，任意两个节点之间存在两条有向边，有向边表示从节点指向节点，；有向边表示从节点指向节点，。

5.根据权利要求3所述的方法，其特征在于，基于源域数据集，采用多标签二元交叉熵损失函数监督跨域au检测网络的训练：

6.根据权利要求5所述的方法，其特征在于，引入au视觉特征和au文本特征...

【专利技术属性】
技术研发人员：倪艺洋，臧玥昕，肖如奇，顾晔峰，张倩，李勇，李丽，张丹，
申请(专利权)人：江苏第二师范学院，
类型：发明
国别省市：