一种基于时空信息的动态面部表情识别方法技术

本发明专利技术公开了一种基于时空信息的动态面部表情识别方法，包括：获取初始视频样本，基于初始视频样本获得若干重叠的视频片段；将视频片段输入动态面部表情识别骨干网络模型中进行处理，获得动态面部表情分类识别结果；其中，动态面部表情识别骨干网络模型包括独立的时间卷积过滤器和空间卷积过滤器、双分支层级式模块以及Temporal‑Transformer模块。本发明专利技术获得的结果更为接近现实生活的面部动态表情识别，能够用于人机交互(HRI)、疲劳检测等。

【技术实现步骤摘要】

本专利技术涉及动态面部表情分类识别，尤其涉及一种基于时空信息的动态面部表情识别方法。

技术介绍

1、面部表情是人类情感交流的重要方式之一，它可以传递或识别出情感状态和行为意图，因此面部表情识别(fer)具有重要意义。静态面部表情识别static facialexpression recognition(sfer)已取得了显著成果，随着dfew，afew，ferv39k等非受控条件下的数据集被提出，更为接近现实生活的动态表情识别(dfer)更加引人关注，在医疗诊断、人机交互(hri)、疲劳检测等方面做出了巨大贡献。然而，干扰因素(身份、姿势、光照、性别、年龄等)和潜在的干扰因素(如发型、配饰、遮挡等)使得面部表情识别面临巨大挑战。对于动态面部表情识别方法可分为两类：利用脸部剩余可见区域的方法和重建遮挡区域的方法。重建遮挡区域方法的最大优点是，回到理想的未遮挡情况，从中可以识别面部表情的整个面部，但是重建的方式有太多不确定性和缺乏鲁棒性，因此对于脸部信息的深度挖掘成为表情识别的一种重要方法。动态面部表情识别对于利用脸部剩余信息的挖掘在时间－空间上更具有潜力，对本文档来自技高网...

【技术保护点】

1.一种基于时空信息的动态面部表情识别方法，其特征在于，包括：

2.根据权利要求1所述的基于时空信息的动态面部表情识别方法，其特征在于，获得所述若干重叠的视频片段，包括：

3.根据权利要求1所述的基于时空信息的动态面部表情识别方法，其特征在于，将所述视频片段输入动态面部表情识别骨干网络模型中进行处理，包括：

4.根据权利要求3所述的基于时空信息的动态面部表情识别方法，其特征在于，获得所述片段特征的时间+空间向量，包括：

5.根据权利要求3所述的基于时空信息的动态面部表情识别方法，其特征在于，所述双分支层级式模块捕获双向时空依赖关系的方法为：...

【技术特征摘要】

1.一种基于时空信息的动态面部表情识别方法，其特征在于，包括：

2.根据权利要求1所述的基于时空信息的动态面部表情识别方法，其特征在于，获得所述若干重叠的视频片段，包括：

3.根据权利要求1所述的基于时空信息的动态面部表情识别方法，其特征在于，将所述视频片段输入动态面部表情识别骨干网络模型中进行处理，包括：

4.根据权利要求3所述的基于时空信息的动态面部表情识别方法，其特征在于，获得所述片段特征的时间+空间向量，包括：

5.根据...

【专利技术属性】
技术研发人员：吕杨，张富春，南智雄，马宗楠，曹楠，
申请(专利权)人：延安大学，
类型：发明
国别省市：