一种基于AU区域和多层级Transformer融合模块的微表情分类方法技术

技术编号:33125112 阅读:27 留言:0更新日期:2022-04-17 00:33
本发明专利技术提供一种基于AU区域和多层级Transformer融合模块的微表情分类方法,建立微表情分类网络,分层级进行嵌入向量的学习和融合,对最终得到的样本嵌入向量进行分类;实现过程包括AU区域划分,生成嵌入向量,第一层级融合,对每个AU区域的嵌入向量进行学习融合,得到一个包含AU区域特征的局部嵌入向量;第二层级融合,对每一帧的局部嵌入向量进行学习融合,得到一个包含该帧表情图像特征的全局嵌入向量;第三层级融合,实现包括对每个样本的全局嵌入向量进行学习融合,得到一个包含该样本表情空间特征和时序特征的样本嵌入向量;反向利用Attention机制计算每个嵌入向量在序列中受重视的程度,作为权重对不同嵌入向量的值向量进行加权平均,得到融合后的嵌入向量。得到融合后的嵌入向量。得到融合后的嵌入向量。

【技术实现步骤摘要】
一种基于AU区域和多层级Transformer融合模块的微表情分类方法


[0001]本专利技术属于机器学习中深度学习
,具体是涉及一种基于AU区域和多层级Transformer融合模块的微表情分类方法。

技术介绍

[0002]目前,用于序列帧分类的主流深度学习网络分为两大类:
[0003]第一大类是使用2D卷积与时间序列网络的组合,对图像序列中的各帧依次进行空间特征提取和时间特征提取。时间序列网络主要使用RNN/LSTM系列的网络,如近年提出的用于微表情分类的ELRCN网络(文献1),其实验结果表明时间和空间特征在微表情识别中发挥着不同的作用,而好的识别效果依赖于二者的有效结合。
[0004]第二大类是使用3D卷积网络,同时对图像序列所有帧的图像进行特征提取和分类。3D卷积网络主要用于动作识别领域,由于动态表情分类与动作识别任务具有较高相似性,也有优秀的研究者将其应用于微表情图像序列的学习和分类,如3D

FCNN网络(文献2),通过对2D卷积层扩展深度维,同时兼顾了空间域和时间域的特征提取,达到了较高精本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AU区域和多层级Transformer融合模块的微表情分类方法,其特征在于:建立微表情分类网络,以分层级进行嵌入向量的学习和融合,对最终得到的样本嵌入向量进行分类;设输入样本为t帧表情图像序列,实现过程如下,(1)AU区域划分,包括先检测样本起始帧中的landmark点,以确定脸部特征的位置,根据预先定义的AU区域划分方式以及landmark点的位置提取出N个AU区域;所述AU表示人脸运动单元,landmark点表示人类特征点;N为预设的数值;(2)生成嵌入向量,包括对每个AU区域,将其分成M
×
M个图像块,每个图像块经过Embedding层转换为一个嵌入向量;所述Embedding层为向量嵌入层;M为预设的数值;(3)第一层级融合,包括对每个AU区域的M
×
M嵌入向量,通过Local Attn.模块和相应Fusion层模块进行学习和融合,得到一个包含AU区域特征的局部嵌入向量;所述LocalAttn.模块为局部注意力模块,Fusion层模块为向量融合层模块;(4)第二层级融合,包括对每一帧的N个局部嵌入向量,通过Space Attn.模块和相应Fusion层模块进行学习和融合,得到一个包含该帧表情图像特征的全局嵌入向量;所述Space Attn.模块为空间注意力模块,Fusion层模块为向量融合层模块;(5)第三层级融合,包括对每个样本的t个全局嵌入向量,通过Time Attn.模块和相应Fusion层模块进行学习和融合,得到一个包含该样本表情空间特征和时序特征的样本嵌入向量;所述Time Attn.模块为时序注意力模块,Fusion层模块为向量融合层模块;(6)微表情分类,...

【专利技术属性】
技术研发人员:何双江项金桥赵俭辉董喆王斑曹洪斌张珣赵慧娟翟芷君靖娟
申请(专利权)人:湖北省黄石市人民检察院
类型:发明
国别省市:

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1