基于时空相对变换的视频人脸表情类别识别方法和系统技术方案

本发明专利技术公开了一种基于时空相对变换的视频人脸表情类别识别方法和系统，方法包括提取视频中每帧图像的局部空间特征；基于欧氏距离对每个局部空间特征进行空间相对变换，对所得空间相对变换特征进行加权融合以及聚合学习，得到每帧图像空间特征；基于欧氏距离和双曲距离对每帧图像空间特征进行时序相对变换，对所得时序相对变换特征进行加权融合以及聚合学习，得到视频的时空情绪特征；根据视频的时空情绪特征识别人脸表情类别

【技术实现步骤摘要】
基于时空相对变换的视频人脸表情类别识别方法和系统


[0001]本专利技术涉及人脸表情识别
，更具体的说是涉及一种基于时空相对变换的视频人脸表情类别识别方法和系统
。

技术介绍

[0002]人脸表情识别是一种从面部图像或视频序列中理解人类情绪的技术，通过面部表情，可以了解对方的情感，感知其内在心理状态
。
因此，使机器能够像人一样识别人类的情感，能够更好的促进机器人与人类的互动，使其实现真正意义上的智能
。
[0003]现实世界中，面部表情是动态的，基于视频的数据可以提供更丰富的面部信息
。
近几年，随着许多大规模视频人脸表情数据集提出，使得真实动态人脸表情识别任务具有场景变化
、
姿态变化以及光照不同等多种挑战问题
。
[0004]目前，有一些先进的深度表情识别模型被提出，比如
Zhao et al.
提出基于
Transformer
技术的
Former
‑
DFER
>方法和
W本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于时空相对变换的视频人脸表情类别识别方法，其特征在于，包括，提取视频中每帧图像的局部空间特征；基于欧氏距离对每个局部空间特征进行空间相对变换，对所得空间相对变换特征进行加权融合以及聚合学习，得到每帧图像空间特征；基于欧氏距离和双曲距离对所述每帧图像空间特征进行时序相对变换，对所得时序相对变换特征进行加权融合以及聚合学习，得到视频的时空情绪特征；根据所述视频的时空情绪特征识别人脸表情类别
。2.
根据权利要求1所述的一种基于时空相对变换的视频人脸表情类别识别方法，其特征在于，基于欧式距离对每帧图像空间特征进行时序相对变换，得到欧式空间中的第一时序相对变换特征，基于双曲距离对每帧图像空间特征进行时序相对变换，得到双曲空间中的第二时序相对变换特征，对第一时序相对变换特征，第二时序相对变换特征进行加权融合以及聚合学习后，得到视频的时空情绪特征
。3.
根据权利要求2所述的一种基于时空相对变换的视频人脸表情类别识别方法，其特征在于，所述空间相对变换特征，为对应的局部空间特征与其他局部空间特征的欧氏距离组成的一维向量；所述第一时序相对变换特征，为对应帧图像空间特征与其他帧图像空间特征的欧式距离组成的一维向量；所述第二时序相对变换特征，为对应帧图像空间特征与其他帧图像空间特征的双曲距离组成的一维向量
。4.
根据权利要求3所述的一种基于时空相对变换的视频人脸表情类别识别方法，其特征在于，计算双曲距离时，先通过庞加莱圆盘模型按如下公式，将每帧图像空间特征映射到双曲几何空间中，其中，
tanh(
·
)
表示双曲正切函数，
c
表示球负曲率；
s
fi
表示第
i
帧图像空间特征
。5.
根据权利要求4所述的一种基于时空相对变换的视频人脸表情类别识别方法，其特征在于，在所述双曲几何空间中，按如下公式计算任意两帧图像空间特征的双曲距离；征在于，在所述双曲几何空间中，按如下公式计算任意两帧图像空间特征的双曲距离；其中，表示特征
s
hyi
和
s
hyj
的双曲距，
s
hyi
和
s
hyj
分别表示第
i
帧和第
j
帧图像空间特征在双曲空间中对应...

【专利技术属性】
技术研发人员：文贵华，陈栋梁，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：