一种基于主动式三维成像的微表情识别方法技术

技术编号:46364584 阅读:4 留言:0更新日期:2025-09-15 12:41
一种基于主动式三维成像的微表情识别方法,包括以下步骤;步骤一:采用主动式三维相机采集图像,构建具有光照鲁棒性和多模态特征的微表情数据集;步骤二:将微表情数据集输入3D卷积网络,获取初始融合特征;步骤三:将初始融合特征输入时空自注意力机制模块,利用多头注意力机制对特征序列进行时空联合建模,捕捉微表情的长程时序依赖与动态变化区域;引入交叉注意力机制获取融合特征,融合特征经全局平均池化压缩为压缩特征Fglobal,保留关键时空信息;步骤四:将压缩特征输入双分支网络,用于同步实现微表情片段的时间定位与情感分类。本发明专利技术通过时空自注意力和跨模态交叉注意力机制实现端到端检测分类,具有光照鲁棒性且无需视频修剪的特点。

【技术实现步骤摘要】

本专利技术涉及微表情识别,具体涉及一种基于主动式三维成像的微表情识别方法


技术介绍

1、微表情短暂的持续时间和微弱的面部形变,导致传统视觉感知手段难以有效捕捉,对检测算法的时空分辨率和特征敏感度提出了极高要求。

2、当前主流微表情数据集(如samm、casme等)主要在实验室可控光照环境下采集,依赖均匀白光照明和固定摄像头角度,虽为早期算法验证提供了标准化基准,但存在显著的现实应用局限性。一方面,真实场景中的光照变化(如低照度、强反光、色温差)会严重干扰rgb图像的色彩一致性和纹理清晰度,导致基于表观特征的检测模型泛化能力不足;另一方面,微表情的自然发生具有偶发性和隐蔽性,人工诱导采集时的表情表演性与真实场景存在偏差,且逐帧标注表情起止帧和类别需耗费大量专业人力,导致公开数据集规模普遍较小,难以支撑复杂深度学习模型的训练需求。

3、微表情分析流程通常分为微表情定位与微表情识别两个核心阶段。早期微表情定位方法依赖手工设计的时空特征,通过滑动窗口检测帧间差异显著的片段。

4、随着深度学习发展,基于三维卷积神经网络(thre本文档来自技高网...

【技术保护点】

1.一种基于主动式三维成像的微表情识别方法,其特征在于,包括以下步骤;

2.根据权利要求1所述的一种基于主动式三维成像的微表情识别方法,其特征在于,所述步骤一中,在数据集构建环节,采用主动式三维相机IntelRealSense LiDAR L515 ToF采集主动红外光强度图、深度图与RGB图像;

3.根据权利要求2所述的一种基于主动式三维成像的微表情识别方法,其特征在于,所述步骤二中:

4.根据权利要求3所述的一种基于主动式三维成像的微表情识别方法,其特征在于,所述步骤二具体为:

5.根据权利要求4所述的一种基于主动式三维成像的微表情识别...

【技术特征摘要】

1.一种基于主动式三维成像的微表情识别方法,其特征在于,包括以下步骤;

2.根据权利要求1所述的一种基于主动式三维成像的微表情识别方法,其特征在于,所述步骤一中,在数据集构建环节,采用主动式三维相机intelrealsense lidar l515 tof采集主动红外光强度图、深度图与rgb图像;

3.根据权利要求2所述的一种基于主动式三维成像的微表情识别方法,其特征在于,所述步骤二中:

4.根据权利要求3所述的一种基于主动式三维成像的微表情识别方法,其特征在于,所述步骤二具体为:

5.根据权利要求4所述的一种基于主动式三维成像的微表情识别方法,其特征在于,所述步骤三具体为:

6.根据权利要求5所述的一种基于主动式三维成像的微表情识别方法,其特征在于,多头自注意力将特征序列投影为查询q、键k、值v,通过缩放点积计算注意力权重...

【专利技术属性】
技术研发人员:岳洋张娇楠王鑫玥
申请(专利权)人:西安交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1