【技术实现步骤摘要】
一种基于AU区域和多层级Transformer融合模块的微表情分类方法
[0001]本专利技术属于机器学习中深度学习
,具体是涉及一种基于AU区域和多层级Transformer融合模块的微表情分类方法。
技术介绍
[0002]目前,用于序列帧分类的主流深度学习网络分为两大类:
[0003]第一大类是使用2D卷积与时间序列网络的组合,对图像序列中的各帧依次进行空间特征提取和时间特征提取。时间序列网络主要使用RNN/LSTM系列的网络,如近年提出的用于微表情分类的ELRCN网络(文献1),其实验结果表明时间和空间特征在微表情识别中发挥着不同的作用,而好的识别效果依赖于二者的有效结合。
[0004]第二大类是使用3D卷积网络,同时对图像序列所有帧的图像进行特征提取和分类。3D卷积网络主要用于动作识别领域,由于动态表情分类与动作识别任务具有较高相似性,也有优秀的研究者将其应用于微表情图像序列的学习和分类,如3D
‑
FCNN网络(文献2),通过对2D卷积层扩展深度维,同时兼顾了空间域和时间域的特 ...
【技术保护点】
【技术特征摘要】
1.一种基于AU区域和多层级Transformer融合模块的微表情分类方法,其特征在于:建立微表情分类网络,以分层级进行嵌入向量的学习和融合,对最终得到的样本嵌入向量进行分类;设输入样本为t帧表情图像序列,实现过程如下,(1)AU区域划分,包括先检测样本起始帧中的landmark点,以确定脸部特征的位置,根据预先定义的AU区域划分方式以及landmark点的位置提取出N个AU区域;所述AU表示人脸运动单元,landmark点表示人类特征点;N为预设的数值;(2)生成嵌入向量,包括对每个AU区域,将其分成M
×
M个图像块,每个图像块经过Embedding层转换为一个嵌入向量;所述Embedding层为向量嵌入层;M为预设的数值;(3)第一层级融合,包括对每个AU区域的M
×
M嵌入向量,通过Local Attn.模块和相应Fusion层模块进行学习和融合,得到一个包含AU区域特征的局部嵌入向量;所述LocalAttn.模块为局部注意力模块,Fusion层模块为向量融合层模块;(4)第二层级融合,包括对每一帧的N个局部嵌入向量,通过Space Attn.模块和相应Fusion层模块进行学习和融合,得到一个包含该帧表情图像特征的全局嵌入向量;所述Space Attn.模块为空间注意力模块,Fusion层模块为向量融合层模块;(5)第三层级融合,包括对每个样本的t个全局嵌入向量,通过Time Attn.模块和相应Fusion层模块进行学习和融合,得到一个包含该样本表情空间特征和时序特征的样本嵌入向量;所述Time Attn.模块为时序注意力模块,Fusion层模块为向量融合层模块;(6)微表情分类,...
【专利技术属性】
技术研发人员:何双江,项金桥,赵俭辉,董喆,王斑,曹洪斌,张珣,赵慧娟,翟芷君,靖娟,
申请(专利权)人:湖北省黄石市人民检察院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。