基于时空相对变换的视频人脸表情类别识别方法和系统技术方案

本发明专利技术公开了一种基于时空相对变换的视频人脸表情类别识别方法和系统，方法包括提取视频中每帧图像的局部空间特征；基于欧氏距离对每个局部空间特征进行空间相对变换，对所得空间相对变换特征进行加权融合以及聚合学习，得到每帧图像空间特征；基于欧氏距离和双曲距离对每帧图像空间特征进行时序相对变换，对所得时序相对变换特征进行加权融合以及聚合学习，得到视频的时空情绪特征；根据视频的时空情绪特征识别人脸表情类别

【技术实现步骤摘要】
基于时空相对变换的视频人脸表情类别识别方法和系统


[0001]本专利技术涉及人脸表情识别
，更具体的说是涉及一种基于时空相对变换的视频人脸表情类别识别方法和系统
。

技术介绍

[0002]人脸表情识别是一种从面部图像或视频序列中理解人类情绪的技术，通过面部表情，可以了解对方的情感，感知其内在心理状态
。
因此，使机器能够像人一样识别人类的情感，能够更好的促进机器人与人类的互动，使其实现真正意义上的智能
。
[0003]现实世界中，面部表情是动态的，基于视频的数据可以提供更丰富的面部信息
。
近几年，随着许多大规模视频人脸表情数据集提出，使得真实动态人脸表情识别任务具有场景变化
、
姿态变化以及光照不同等多种挑战问题
。
[0004]目前，有一些先进的深度表情识别模型被提出，比如
Zhao et al.
提出基于
Transformer
技术的
Former
‑
DFER
方法和
Wang et al.
提出的双路径多激励协同网络
。
但是现有视频表情识别方法的特征提取能力较弱，难以抽取更为精确的和更具判别性的时空特征，使得目前的方法识别准确率精度很低，仍然需要进一步的提高和改进
。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于时空相对变换的视频人脸表情类别识别方法和系统，目的在于提高特征提取能力，进而提高视频中人脸表情识别的准确率
。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一方面，本申请提供了一种基于时空相对变换的视频人脸表情类别识别方法，包括如下步骤：
[0008]提取视频中每帧图像的局部空间特征；
[0009]基于欧氏距离对每个局部空间特征进行空间相对变换，对所得空间相对变换特征进行加权融合以及聚合学习，得到每帧图像空间特征；
[0010]基于欧氏距离和双曲距离对所述每帧图像空间特征进行时序相对变换，对所得时序相对变换特征进行加权融合以及聚合学习，得到视频的时空情绪特征；
[0011]根据所述视频的时空情绪特征识别人脸表情类别
。
[0012]较佳的，基于欧式距离对每帧图像空间特征进行时序相对变换，得到欧式空间中的第一时序相对变换特征，基于双曲距离对每帧图像空间特征进行时序相对变换，得到双曲空间中的第二时序相对变换特征，对所述第一时序相对变换特征，第二时序相对变换特征进行加权融合以及聚合学习后，得到视频的时空情绪特征
。
[0013]较佳的，所述空间相对变换特征，为对应的局部空间特征与其他局部空间特征的欧氏距离组成的一维向量；
[0014]所述第一时序相对变换特征，为对应帧图像空间特征与其他帧图像空间特征的欧式距离组成的一维向量；
[0015]所述第二时序相对变换特征，为对应帧图像空间特征与其他帧图像空间特征的双曲距离组成的一维向量
。
[0016]较佳的，计算双曲距离时，先通过庞加莱圆盘模型按如下公式，将每帧图像空间特征映射到双曲几何空间中，
[0017][0018]其中，
tanh(
·
)
表示双曲正切函数，
c
表示球负曲率；
s
fi
表示第
i
帧图像空间特征
。
[0019]较佳的，在所述双曲空间中，按如下公式计算任意两帧图像空间特征的双曲距离；
[0020][0021][0022]其中，表示特征
s
hyi
和
s
hyj
的双曲距，
s
hyi
和
s
hyj
分别表示第
i
帧和第
j
帧图像空间特征在双曲空间中对应的时序特征，表示双曲空间下加法运算，其中
x
，
y
表示对于双曲空间中的任意两点
。
[0023]较佳的，加权融合的过程包括：
[0024]通过全连接层，学习所述空间相对变换特征
/
所述第一时序相对变换特征
/
所述第二时序相对变换特征的注意力权重，
[0025]利用
Sigmoid
函数进行规整，得到对应的注意力系数，
[0026]将所述空间变换特征按照对应的所述注意力系数进行加权后与对应的所述局部空间特征进行拼接，得到加权空间相对变换特征；或
[0027]将所述所述第一时序相对变换特征
/
所述第二时序相对变换特征按照对应的所述注意力系数进行加权后与对应帧的图像空间特征进行拼接，得到加权时序相对变换特征
。
[0028]较佳的，将加权融合的变换特征依次通过多头注意力和多层感知机进行聚合学习；其中，
[0029]在对空间相对变换特征进行聚合学习前，先设置空间动态类别令牌，并拼接到加权融合的空间相对变换特征中，
[0030]在对时序相对变换特征进行聚合学习前，先设置时序动态类别令牌，并拼接到加权融合的时序相对变换特征中，以及确定时序位置编码，并嵌入到对应的加权融合的时序相对变换特征中
。
[0031]较佳的，得到每帧图像空间特征后先按时间进行排序，根据排序后的图像空间特征获取时序相对变换特征
。
[0032]另一方面，本专利技术公开了一种基于时空相对变换的视频人脸表情类别识别系统，包括，
[0033]空间相对变换模块，用于根据欧式距离对每帧图像的局部空间特征进行空间相对变换，得到空间相对变换特征；
[0034]空间特征交互模块，用于对所述空间相对变换特征进行加权融合以及聚合学习，
得到每帧图像空间特征；
[0035]时序相对变换模块，用于根据欧氏距离和双曲距离对每帧图像空间特征进行时序变换，得到时序相对变换特征；
[0036]时序特征交互模块，用于对所述时序相对变换特征进行加权融合以及聚合学习，得到视频的时空情绪特征
。
[0037]较佳的，还包括，
[0038]局部空间特征提取模块，用于提取视频中每帧图像的局部空间特征；以及
[0039]人脸表情类别识别模块，用于根据所述视频的时空情绪特征识别人脸表情类别
。
[0040]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于时空相对变换的视频人脸表情类别识别方法和系统，通过欧氏空间距离计算得到空间相对变换特征，并利用其自身学到的融合注意力系数将其与原始空间特征加权拼接融合，将空间几何信息编码到空间特征中，进一步通过欧氏距离和双曲距离计算双重时序相对变换特征并利用各自学到的融合注意力系数将其与原始视频时序特征加权拼接融合，将双重时序动态几何信息编码到时序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于时空相对变换的视频人脸表情类别识别方法，其特征在于，包括，提取视频中每帧图像的局部空间特征；基于欧氏距离对每个局部空间特征进行空间相对变换，对所得空间相对变换特征进行加权融合以及聚合学习，得到每帧图像空间特征；基于欧氏距离和双曲距离对所述每帧图像空间特征进行时序相对变换，对所得时序相对变换特征进行加权融合以及聚合学习，得到视频的时空情绪特征；根据所述视频的时空情绪特征识别人脸表情类别
。2.
根据权利要求1所述的一种基于时空相对变换的视频人脸表情类别识别方法，其特征在于，基于欧式距离对每帧图像空间特征进行时序相对变换，得到欧式空间中的第一时序相对变换特征，基于双曲距离对每帧图像空间特征进行时序相对变换，得到双曲空间中的第二时序相对变换特征，对第一时序相对变换特征，第二时序相对变换特征进行加权融合以及聚合学习后，得到视频的时空情绪特征
。3.
根据权利要求2所述的一种基于时空相对变换的视频人脸表情类别识别方法，其特征在于，所述空间相对变换特征，为对应的局部空间特征与其他局部空间特征的欧氏距离组成的一维向量；所述第一时序相对变换特征，为对应帧图像空间特征与其他帧图像空间特征的欧式距离组成的一维向量；所述第二时序相对变换特征，为对应帧图像空间特征与其他帧图像空间特征的双曲距离组成的一维向量
。4.
根据权利要求3所述的一种基于时空相对变换的视频人脸表情类别识别方法，其特征在于，计算双曲距离时，先通过庞加莱圆盘模型按如下公式，将每帧图像空间特征映射到双曲几何空间中，其中，
tanh(
·
)
表示双曲正切函数，
c
表示球负曲率；
s
fi
表示第
i
帧图像空间特征
。5.
根据权利要求4所述的一种基于时空相对变换的视频人脸表情类别识别方法，其特征在于，在所述双曲几何空间中，按如下公式计算任意两帧图像空间特征的双曲距离；征在于，在所述双曲几何空间中，按如下公式计算任意两帧图像空间特征的双曲距离；其中，表示特征
s
hyi
和
s
hyj
的双曲距，
s
hyi
和
s
hyj
分别表示第
i
帧和第
j
帧图像空间特征在双曲空间中对应...

【专利技术属性】
技术研发人员：文贵华，陈栋梁，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：