一种微表情识别方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种微表情识别方法、装置、电子设备及存储介质，涉及微表情识别领域，方法包括：获取在预设时间段内对人脸目标拍摄得到的视频帧序列及事件流数据；事件流数据由动态视觉传感器采集；对视频帧序列进行特征提取，得到视频帧序列特征；对事件流数据进行特征提取，得到事件流数据特征；将视频帧序列特征与事件流数据特征进行融合，得到多模态融合特征；利用多模态融合特征进行微表情识别，得到人脸目标的微表情类别；可利用时间分辨率极高的事件流数据对视频帧序列进行有效补充，并可融合视频帧序列的视频帧序列特征和事件流数据的事件流数据进行微表情识别，从而可提升人脸目标微表情的识别正确率。脸目标微表情的识别正确率。脸目标微表情的识别正确率。

【技术实现步骤摘要】
一种微表情识别方法、装置、电子设备及存储介质


[0001]本专利技术涉及微表情识别领域，特别涉及一种微表情识别方法、装置、电子设备及存储介质。

技术介绍

[0002]微表情指变化时间短、变化幅度小的人脸表情。相关技术中，由于图像采集设备的采集帧率不高，难以有效捕捉到微表情的细微变换情况，进而无法利用图像采集设备所采集的图像进行微表情类型识别，为微表情类型的识别带来了困难。

技术实现思路

[0003]本专利技术的目的是提供一种微表情识别方法、装置、电子设备及存储介质，可利用时间分辨率极高的事件流数据对视频帧序列进行有效补充，并可融合视频帧序列的视频帧序列特征和事件流数据的事件流数据进行微表情识别，从而可提升人脸目标微表情的识别正确率。
[0004]为解决上述技术问题，本专利技术提供一种微表情识别方法，包括：
[0005]获取在预设时间段内对人脸目标拍摄得到的视频帧序列及事件流数据；所述事件流数据由动态视觉传感器采集；
[0006]对所述视频帧序列进行特征提取，得到视频帧序列特征；
[0007]对所述事件流数据进行特征提取，得到事件流数据特征；
[0008]将所述视频帧序列特征与所述事件流数据特征进行融合，得到多模态融合特征；
[0009]利用所述多模态融合特征进行微表情识别，得到所述人脸目标的微表情类别。
[0010]可选地，所述对所述视频帧序列进行特征提取，得到视频帧序列特征，包括：
[0011]对所述视频帧序列中的各张图像进行画面特征提取，得到画面特征序列；
[0012]对所述视频帧序列中的各张图像进行人脸特征提取，得到人脸特征序列；
[0013]利用转换器模型对所述画面特征序列顺序进行多头注意力机制处理、微表情增强处理及多层感知机处理，得到所述视频帧序列特征；所述微表情增强处理为利用所述人脸特征序列与完成多头注意力机制处理后的画面特征序列进行注意力机制处理。
[0014]可选地，所述对所述视频帧序列中的各张图像进行人脸特征提取，得到人脸特征序列，包括：
[0015]针对所述视频帧序列中的各张图像，对所述图像进行人脸目标检测，得到所述图像中的人脸区域；
[0016]对各所述图像中的人脸区域进行人脸特征提取，得到所述视频帧序列对应的人脸特征序列。
[0017]可选地，在对各所述图像中的人脸区域进行人脸特征提取之前，还包括：
[0018]在所述人脸区域中，利用关键点对五官位置进行标注；
[0019]根据所述五官位置及五官与人脸间的预设相对位置关系，对所述人脸区域进行缩
放；
[0020]相应的，所述对各所述图像中的人脸区域进行人脸特征提取，包括：
[0021]对缩放后的人脸区域进行人脸特征提取。
[0022]可选地，在对各所述图像中的人脸区域进行人脸特征提取之后，还包括：
[0023]当所述图像中包含多个人脸区域时，对所述多个人脸区域的人脸特征进行平均融合处理。
[0024]可选地，所述对各所述图像中的人脸区域进行人脸特征提取，得到所述视频帧序列对应的人脸特征序列，包括：
[0025]利用深度残差网络对各所述图像中的人脸区域进行人脸特征提取，得到所述视频帧序列对应的人脸特征序列。
[0026]可选地，所述转换器模型由转换器单元组成，所述转换器单元由第一残差结构、第二残差结构及第三残差结构串联组成；所述第一残差结构为多头注意力的残差结构，所述第二残差结构为微表情增强结构的残差结构，所述第三残差结构为多层感知机的残差结构；所述微表情增强结构用于将所述第一残差结构的输出向量序列作为查询向量序列，将所述人脸特征序列中的人脸特征经两个不同权重的全连接层映射为键向量序列和值向量序列，并利用注意力机制对所述键向量序列、所述值向量序列及所述查询向量序列进行处理，得到需输入至所述第三残差结构的增强向量序列。
[0027]可选地，所述转换器模型由预设数量的所述转换器单元串联组成。
[0028]可选地，所述对所述视频帧序列中的各张图像进行画面特征提取，得到画面特征序列，包括：
[0029]利用有效网络模型对所述视频帧序列中的各张图像进行画面特征提取，得到所述画面特征序列。
[0030]可选地，所述对所述事件流数据进行特征提取，得到事件流数据特征，包括：
[0031]利用所述事件流数据中的首个绝对时间，将所述事件流数据中所有的绝对时间调整为相对时间；
[0032]将调整后的事件流数据转换为点云数据；所述点云数据中各点的坐标由所述点对应的事件流数据对应的像素点坐标及相对时间构成，所述点的特征为所述点对应的事件流数据的极性；
[0033]对所述点云数据进行特征提取，得到所述事件流数据特征。
[0034]可选地，在对所述点云数据进行特征提取，得到所述事件流数据特征之前，还包括：
[0035]针对所述点云数据中的各点，判断所述点所在邻域范围内的其他点是否具有所述极性；
[0036]若否，则对所述点进行降噪处理；
[0037]相应的，所述对所述点云数据进行特征提取，得到所述事件流数据特征，包括：
[0038]利用降噪处理后的点云数据进行特征提取得到所述事件流数据特征。
[0039]可选地，所述对所述点云数据进行特征提取，得到所述事件流数据特征，包括：
[0040]对所述点云数据进行编码处理，得到点云编码数据；
[0041]利用输入空间保持结构对所述点云编码数据进行时序压缩处理及结构保持处理，
得到第一输出数据；
[0042]对所述第一输出数据进行特征提取，得到第一特征数据；
[0043]利用特征空间保持结构对所述第一特征数据进行时序压缩处理及结构保持处理，得到第二输出数据；
[0044]对所述第二输出数据进行特征提取，得到所述事件流数据特征。
[0045]可选地，所述利用输入空间保持结构对所述点云编码数据进行时序压缩处理及结构保持处理，得到第一输出数据，包括：
[0046]将所述点云编码数据作为输入数据进行维度变换，得到维度变换后的输入数据；
[0047]对所述输入数据经过多次卷积处理得到第一特征图；
[0048]对所述第一特征图进行时序压缩处理得到第二特征图；
[0049]对所述第二特征图经过多个全连接层进行降维处理得到第三特征图；
[0050]将所述第三特征图与同尺寸对角矩阵进行矩阵相加，并将相加结果进行变形处理，得到变换矩阵；
[0051]将所述变换矩阵与维度变换后的输入数据进行批量矩阵乘法处理，得到所述第一输出数据。
[0052]可选地，所述对所述第一输出数据进行特征提取，得到第一特征数据，包括：
[0053]对所述第一输出数据经过维度变换得到第四特征图；
[0054]利用一维卷积核对所述第四特征图进行卷积处理，得到所述第一特征数据。
[0055]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种微表情识别方法，其特征在于，包括：获取在预设时间段内对人脸目标拍摄得到的视频帧序列及事件流数据；所述事件流数据由动态视觉传感器采集；对所述视频帧序列进行特征提取，得到视频帧序列特征；对所述事件流数据进行特征提取，得到事件流数据特征；将所述视频帧序列特征与所述事件流数据特征进行融合，得到多模态融合特征；利用所述多模态融合特征进行微表情识别，得到所述人脸目标的微表情类别。2.根据权利要求1所述的微表情识别方法，其特征在于，所述对所述视频帧序列进行特征提取，得到视频帧序列特征，包括：对所述视频帧序列中的各张图像进行画面特征提取，得到画面特征序列；对所述视频帧序列中的各张图像进行人脸特征提取，得到人脸特征序列；利用转换器模型对所述画面特征序列顺序进行多头注意力机制处理、微表情增强处理及多层感知机处理，得到所述视频帧序列特征；所述微表情增强处理为利用所述人脸特征序列与完成多头注意力机制处理后的画面特征序列进行注意力机制处理。3.根据权利要求2所述的微表情识别方法，其特征在于，所述对所述视频帧序列中的各张图像进行人脸特征提取，得到人脸特征序列，包括：针对所述视频帧序列中的各张图像，对所述图像进行人脸目标检测，得到所述图像中的人脸区域；对各所述图像中的人脸区域进行人脸特征提取，得到所述视频帧序列对应的人脸特征序列。4.根据权利要求3所述的微表情识别方法，其特征在于，在对各所述图像中的人脸区域进行人脸特征提取之前，还包括：，在所述人脸区域中，利用关键点对五官位置进行标注；根据所述五官位置及五官与人脸间的预设相对位置关系，对所述人脸区域进行缩放；相应的，所述对各所述图像中的人脸区域进行人脸特征提取，包括：对缩放后的人脸区域进行人脸特征提取。5.根据权利要求3所述的微表情识别方法，其特征在于，在对各所述图像中的人脸区域进行人脸特征提取之后，还包括：当所述图像中包含多个人脸区域时，对所述多个人脸区域的人脸特征进行平均融合处理。6.根据权利要求3所述的微表情识别方法，其特征在于，所述对各所述图像中的人脸区域进行人脸特征提取，得到所述视频帧序列对应的人脸特征序列，包括：利用深度残差网络对各所述图像中的人脸区域进行人脸特征提取，得到所述视频帧序列对应的人脸特征序列。7.根据权利要求2所述的微表情识别方法，其特征在于，所述转换器模型由转换器单元组成，所述转换器单元由第一残差结构、第二残差结构及第三残差结构串联组成；所述第一残差结构为多头注意力的残差结构，所述第二残差结构为微表情增强结构的残差结构，所述第三残差结构为多层感知机的残差结构；所述微表情增强结构用于将所述第一残差结构的输出向量序列作为查询向量序列，将所述人脸特征序列中的人脸特征经两个不同权重的
全连接层映射为键向量序列和值向量序列，并利用注意力机制对所述键向量序列、所述值向量序列及所述查询向量序列进行处理，得到需输入至所述第三残差结构的增强向量序列。8.根据权利要求7所述的微表情识别方法，其特征在于，所述转换器模型由预设数量的所述转换器单元串联组成。9.根据权利要求2所述的微表情识别方法，其特征在于，所述对所述视频帧序列中的各张图像进行画面特征提取，得到画面特征序列，包括：利用有效网络模型对所述视频帧序列中的各张图像进行画面特征提取，得到所述画面特征序列。10.根据权利要求1所述的微表情识别方法，其特征在于，所述对所述事件流数据进行特征提取，得到事件流数据特征，包括：利用所述事件流数据中的首个绝对时间，将所述事件流数据中所有的绝对时间调整为相对时间；将调整后的事件流数据转换为点云数据；所述点云数据中各点的坐标由所述点对应的事件流数据对应的像素点坐标及相对时间构成，所述点的特征为所述点对应的事件流数据的极性；对所述点云数据进行特征提取，得到所述事件流数据特征。11.根据权利要求10所述的微表情识别方法，其特征在于，在对所述点云数据进行特征提取，得到所述事件流数据特征之前，还包括：针对所述点云数据中的各点，判断所述点所在邻域范围内的其他点是否具有所述极性；若否，则对所述点进行降噪处理；相应的，所述对所述点云数据进行特征提取，得到所述事件流数据特征，包括：利用降噪处理后的点云数据进行特征提取得到...

【专利技术属性】
技术研发人员：王斌强，董刚，赵雅倩，卢丽华，
申请(专利权)人：山东海量信息技术研究院，
类型：发明
国别省市：