【技术实现步骤摘要】
本专利技术涉及一种基于可变形采样和视觉transformer的微表情识别方法，属于微表情识别。
技术介绍
1、表情是一种人类社会中非语言式的交流方式，它能够在人的内心状态发生变化时，直接反应出人类的情感。微表情是一种区别于宏表情的特殊面部表情，它具有持续时间短、动作幅度小的特点，研究表明微表情仅持续1/25s～1/3s，通常在人们想要抑制他们的情感时产生。
2、微表情作为揭示潜在情绪的一个重要通道，是一种无意识的、不受大脑控制的面部信息，它在无意识状态下自发产生，难以掩饰或伪装，通常与真实情感直接相关，能够反映人们最真实的心理感受和心理状态，因此微表情识别有着非常重要的应用。
3、微表情自被发现以来，已经吸引了大量研究人员的关注。研究人员也在尝试引入视觉transformer进行微表情识别，但已有的基于视觉transformer的微表情识别方法在对输入微表情样本进行处理的时候会对图像进行人为固定分割，这样的分割会将一些与表情高度相关的区域分割，破坏固有的图像结构，使得输入transformer编码器的图像块的信息量变得更少，因此难以训练出准确率高，鲁棒性强的微表情识别模型，导致微表情识别准确率较低。
4、上述问题是在基于可变形采样和视觉transformer的微表情识别过程中应当予以考虑并解决的问题。
技术实现思路
1、本专利技术的目的是提供一种基于可变形采样和视觉transformer的微表情识别方法解决现有技术中存在的微表情识别准确率有待提高
2、本专利技术的技术解决方案是：
3、一种基于可变形采样和视觉transformer的微表情识别方法，包括以下步骤，
4、s1、获取宏表情图像和微表情图像，得到宏表情数据集和微表情数据集；
5、s2、构建基于可变形采样和视觉transformer的微表情识别模型，基于可变形采样和视觉transformer的微表情识别模型包括特征提取模块、可变形采样模块、视觉transformer模块和分类器，由特征提取模块对输入图像进行特征提取得到特征图，可变形采样模块以迭代渐进方式对特征图进行可变形采样并输出向量序列，视觉transformer模块对输入的向量序列进行特征提取后，由分类器获得分类结果；
6、s3、采用迁移学习方法，使用宏表情数据集和微表情数据集分别对基于可变形采样和视觉transformer的微表情识别模型进行训练和超参数调整后，得到训练后的基于可变形采样和视觉transformer的微表情识别模型；
7、s4、将待测试的图像输入到训练后的基于可变形采样和视觉transformer的微表情识别模型进行微表情识别。
8、进一步地，基于可变形采样和视觉transformer的微表情识别模型中，
9、特征提取模块：采用resnet网络对输入图像进行特征提取，输出特征图其中w、h和c分别代表特征图的宽度、高度和维度；
10、可变形采样模块：对特征图f进行n次迭代可变形采样后，得到向量序列tn，将向量序列tn拼接可学习的类向量tcls，输出拼接后的向量序列t＝[tcls,tn]；
11、视觉transformer模块：用于对可变形采样模块输出的拼接后的向量序列t进行特征提取，经过l个transformer编码器后，得到向量序列从向量序列中取学习到的类向量t'cls输入分类器；
12、分类器：采用全连接层，将学习到的类向量t'cls连接到u个节点，每个节点对应一种表情类别，经过softmax函数后得到一个u维向量，向量中每一个维度的数值代表输入的人脸样本属于对应表情类别的预测概率，获得分类结果。进一步地，可变形采样模块中，对特征图f进行n次迭代可变形采样后，输出向量序列tn，具体为，
13、s21、设n×n个采样点，令t＝1，下一步骤s22；
14、s22、进行固定间隔采样，得到第t次采样所有采样点的坐标序列pt，根据采样点坐标序列pt对特征图f进行采样得到向量序列为t't；
15、s23、对当前采样点坐标序列pt进行位置编码后得到位置编码矩阵其中表示矩阵的行数为c，矩阵的列数为n×n，将pt与向量序列t't与上一次采样产生的向量序列tt-1按元素相加，输入transformer编码器，输出预测的向量序列tt；
16、s24、将tt进行线性投影通过全连接层得到坐标偏移量ot，并与pt相加得到下一次采样的采样点坐标序列pt+1：pt+1＝pt+ot其中，ot＝mttt，表示维度为2×(n×n)，为可学习的线性变换矩阵，其中表示矩阵的行数为2，矩阵的列数为c；
17、s25、在t＜n时，使t＝t+1，返回步骤s22；在t≥n时，输出向量序列
18、进一步地，步骤s22中，进行固定间隔采样，得到第t次采样所有采样点的坐标序列pt，根据采样点坐标序列pt对特征图f进行采样得到向量序列为t't，具体为，
19、s221、第t次采样第i个采样点在宽度方向和高度方向上的坐标为：
20、
21、其中，和表示第i个采样点在宽度方向和高度方向上的索引，表示向下取整操作，sw和sh分别为宽度方向和高度方向上的步长，sw＝w/n，sh＝h/n，w和h分别代表特征图f的宽度和高度；
22、s222、第t次采样所有采样点的坐标序列其中表示矩阵的行数为2，矩阵的列数为n×n；
23、s223、采用双线性插值算法计算第i个采样点的值，并根据采样点的值获取特征图上对应的第t次采样第i个采样点的向量其中表示向量的维度为c；
24、s224、那么根据采样点坐标序列pt对特征图f进行采样得到向量序列t't＝[v0,t,v1,t,…,vn×n-1,t]，
25、进一步地，步骤s223中，采用双线性插值算法计算第i个采样点的值，具体为，
26、采用双线性插值算法基于四个最近邻的点的值来估算采样点的值，假设第i个采样点坐标(xi,yi,)，它的四个最近邻点是左上角(x1,y2)、右上角(x2,y2)、左下角(x1,y1)和右下角(x2,y1)，则采样点的值f(xi,,yi,)为：
27、
28、
29、
30、进一步地，步骤s23中，输出预测的向量序列tt：
31、pt＝wtpt
32、
33、tt＝transformer(xt)
34、其中，wt为将采样点坐标序列pt线性投影为位置编码矩阵pt的线性变换矩阵，表示维度是c×2，表示维度是c×(n×n)，每一次采样都采用同一个wt；表示按元素相加；transformer(·)表示transformer编码器。
35、进一步地，步骤s3中，采用迁移学习方法，使用宏表情数据集和微表情数据集分别对基于可变形采样和视觉transformer的微表情本文档来自技高网...
【技术保护点】
1.一种基于可变形采样和视觉Transformer的微表情识别方法，其特征在于：包括以下步骤，
2.如权利要求1基于可变形采样和视觉Transformer的微表情识别方法，其特征在于：基于可变形采样和视觉Transformer的微表情识别模型中，
3.如权利要求1基于可变形采样和视觉Transformer的微表情识别方法，其特征在于：可变形采样模块中，对特征图F进行N次迭代可变形采样后，输出向量序列TN，具体为，
4.如权利要求3基于可变形采样和视觉Transformer的微表情识别方法，其特征在于：步骤S22中，进行固定间隔采样，得到第t次采样所有采样点的坐标序列pt，根据采样点坐标序列pt对特征图F进行采样得到向量序列为T't，具体为，
5.如权利要求4基于可变形采样和视觉Transformer的微表情识别方法，其特征在于：步骤S223中，采用双线性插值算法计算第i个采样点的值，具体为，
6.如权利要求3基于可变形采样和视觉Transformer的微表情识别方法，其特征在于：步骤S23中，输出预测的向量序列Tt：p>
7.如权利要求1-6任一项基于可变形采样和视觉Transformer的微表情识别方法，其特征在于：步骤S3中，采用迁移学习方法，使用宏表情数据集和微表情数据集分别对基于可变形采样和视觉Transformer的微表情识别模型进行训练和超参数调整后，得到训练后的基于可变形采样和视觉Transformer的微表情识别模型，具体为，
8.如权利要求7基于可变形采样和视觉Transformer的微表情识别方法，其特征在于：步骤S33中，进行图像预处理，具体为，对图像进行水平翻转、随机裁切和颜色抖动后，将图像大小进行缩放后，完成预处理。
...【技术特征摘要】
1.一种基于可变形采样和视觉transformer的微表情识别方法，其特征在于：包括以下步骤，
2.如权利要求1基于可变形采样和视觉transformer的微表情识别方法，其特征在于：基于可变形采样和视觉transformer的微表情识别模型中，
3.如权利要求1基于可变形采样和视觉transformer的微表情识别方法，其特征在于：可变形采样模块中，对特征图f进行n次迭代可变形采样后，输出向量序列tn，具体为，
4.如权利要求3基于可变形采样和视觉transformer的微表情识别方法，其特征在于：步骤s22中，进行固定间隔采样，得到第t次采样所有采样点的坐标序列pt，根据采样点坐标序列pt对特征图f进行采样得到向量序列为t't，具体为，
5.如权利要求4基于可变形采样和视觉transformer的微表情识别方法，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。