【技术实现步骤摘要】
本申请涉及微表情识别，特别涉及一种基于多模态融合的微表情识别方法。
技术介绍
1、微表情识别是面部表情分析中的重要研究课题。微表情是一种出现时间短暂的精细表情，能反映出人们真实的内心情感状态。相比明显的宏观表情，微表情更难以被察觉，因此如何提高微表情识别的精确度是一个关键技术难题。
2、传统的微表情识别方法主要基于手工设计的特征提取和分类模型，识别精度较低。随着深度学习的发展，各种卷积神经网络和循环神经网络被引入到微表情识别任务中，提高了特征学习的能力。但是这些方法过于依赖单一的视觉数据，没有考虑微表情与其他生理信号之间的内在关联性，因此识别精度仍有很大提升空间。
3、在相关技术中，比如中国专利文献cn116955601a中提供了一种多模态的情感识别方法和装置。所述方法包括：确定目标用户的微表情知识图谱、微动作知识图谱以及文本情感分析向量；将微表情知识图谱与微动作知识图谱进行融合，并根据融合结果确定预设情感向量；根据预设情感向量以及文本情感分析向量确定情感分析结果；根据情感分析结果确定目标用户的情感。本申请实施例提供的多模态的情感识别方法通过构建基于视觉、语音、文本多种模态实体的知识图谱。但是该方案主要依赖于特征提取，如果特征提取算法无法有效捕获微表情的关键特征，就会影响到后续情感识别的准确性。
技术实现思路
1、1.要解决的技术问题
2、针对现有技术中存在的微表情识别精度低的问题，本申请提供了一种基于多模态融合的微表情识别方法，通过采集多模态数
3、2.技术方案
4、本申请的目的通过以下技术方案实现。
5、本说明书实施例提供一种基于多模态融合的微表情识别方法，包括：采集多模态数据，多模态数据包含用户数据和环境数据，用户数据包含微表情和生理参数；环境数据包含光照和温湿度，微表情指面部精细表情特征；提取微表情的表征向量，表征向量表示微表情图像或视频序列的语义特征；根据微表情的表征向量与不同情感类别的对应关系，构建微表情知识图谱；采用实体对齐算法，在同一特征空间内，利用语义约束将微表情知识图谱和生理参数进行特征对齐，构建多模态知识图谱；基于多模态知识图谱和环境数据，构建微表情识别模型，输出表示微表情识别结果的情感分析向量。
6、具体的，微表情图像序列的采集：使用高速摄像头采集面部区域视频，确保拍摄帧率不低于200fps，以捕捉快速微表情变化。采用图像预处理技术提升采集图像质量。生理参数采集：使用可穿戴设备采集用户生理数据，包含心率、血压、皮肤电反应等信息。采样频率不低于10hz。光照强度采集：使用环境光传感器，采集可见光谱范围内的光强信息，采样频率10hz。温湿度采集：使用温湿度传感器，采集用户所处环境的温度和湿度信息，采样频率1hz。剪切并分割微表情图像序列，提取面部区域。消除生理信号中的噪声干扰。标注微表情视频图像，标记光照和温湿度的时间戳。统一不同采样率的数据到同一时间轴上。使用nosql数据库存储采集的多模态时间序列数据。使用密集向量表示存储微表情和生理序列特征。
7、具体的，将采集的微表情图像序列进行裁剪、缩放等预处理，输入到特征提取模块。使用卷积神经网络（如resnet）逐帧提取图像的空间特征，得到描述图像局部纹理的特征映射。将图像序列及其空间特征映射输入到循环神经网络（如lstm）中，学习时序变化特征，输出表示时间相关性的隐状态向量。将隐状态向量输入到注意力模块，学习不同时序对微表情识别的重要性，输出时间步的权重分数。将空间特征映射、时间隐状态向量和时间权重相乘求和，获得融合空间和时间信息的微表情表征向量。微表情表征向量经过全连接层微调，强化对微表情关键帧的特征学习。最终输出的表征向量中每个维度表示一个面部微表情动作，反映微表情图像序列的语义信息。
8、具体的，创建表示正面情感、负面情感、中性情感三种类别的节点，使用词向量表示节点的语义信息。将微表情表征向量和情感类别节点向量化表示作为输入，输入到基于注意力机制的lstm网络中。lstm网络学习表征向量与不同情感类别节点之间的语义关联程度。注意力机制输出表征向量与每个类别节点的连接权重。根据表征向量、情感类别节点及连接权重构建知识图谱，节点表示情感类别，边表示微表情与情感的对应关系。对知识图谱表示进行正则化，通过负采样增强模型对隐性特征的学习能力。最终获得的知识图谱能够表示微表情图像或视频序列所反映的情感内涵。
9、其中，实体对齐算法，一种能够建模实体及其关系的表示学习算法，通过映射到统一的向量空间实现不同实体的对齐。采用知识图谱翻译模型（如transr），实现微表情知识图谱和生理参数在同一特征空间中的对齐。语义约束，指利用实体及关系的语义信息，在表示学习过程中加入先验知识，约束模型拟合结果。根据微表情和生理参数两个模态的语义一致性，添加约束条件优化两个模态特征的融合过程，使学习到的多模态知识图谱语义上更连贯。在本申请中，提取两类特征向量；映射到共享语义空间；在共享空间添加语义约束；优化目标函数实现特征对齐；得到对齐后的多模态知识图谱。
10、其中，微表情识别模型指的是专门用于识别面部微表情的机器学习模型。它的输入是包含面部图像序列的多模态数据，输出是反映微表情识别结果的情感分析向量。在本申请中，微表情特征提取器：使用卷积神经网络等对面部图像进行特征提取，得到面部运动的空间时间表示。多模态特征融合器：将提取的微表情特征与语音、文本等其他模态特征在知识图谱上进行融合。模型输出层：基于融合的多模态特征，输出表示最终识别结果的情感分析向量。知识图谱提供结构化信息，增强特征表达。通过构建和训练这样的微表情识别模型，可以在复杂环境下分析面部微表情，并输出反映识别结果的情感分析向量，为后续的情感判断提供支持。
11、具体的，将对齐后的多模态知识图谱、微表情序列、生理数据以及环境数据（光照、温湿度）进行特征级别的融合。使用多层感知机或gru等网络，以融合后的多模态特征为输入，学习复杂的非线性关系。采用dropout技术以防止过拟合。模型输出表示三种情感类别（正面、负面、中性）的概率分布，即情感分析向量。情感分析向量中概率最大的类别，作为对输入微表情序列的识别结果。使用多模态微表情数据集，评估模型的识别准确率、召回率、f1值等指标。根据评估结果调节模型结构和超参数，不断优化模型的微表情识别性能。
12、进一步的，提取微表情的表征向量，表征向量表示微表情图像或视频序列的语义特征，包括：将采集的微表情图像序列作为输入，利用卷积神经网络获取表示图像序列空间特征的特征映射a；将微表情图像序列和特征映射a作为输入，利用循环神经网络获取表示时间特征的隐状态向量b；将隐状态向量b作为输入，利用注意力机制的神经网络计算不同时间步的权重分数c；将获取的特征映射a、隐状态向量b和权重分数c进行组合，得到表示图像序列语义信息的微表情的表本文档来自技高网...
【技术保护点】
1.一种基于多模态融合的微表情识别方法，包括：
2.根据权利要求1所述的基于多模态融合的微表情识别方法，其特征在于：
3.根据权利要求2所述的基于多模态融合的微表情识别方法，其特征在于：
4.根据权利要求3所述的基于多模态融合的微表情识别方法，其特征在于：
5.根据权利要求1至4所述的基于多模态融合的微表情识别方法，其特征在于：
6.根据权利要求5所述的基于多模态融合的微表情识别方法，其特征在于：
7.根据权利要求6所述的基于多模态融合的微表情识别方法，其特征在于：
8.根据权利要求7所述的基于多模态融合的微表情识别方法，其特征在于：
9.根据权利要求8所述的基于多模态融合的微表情识别方法，其特征在于：
10.根据权利要求9所述的基于多模态融合的微表情识别方法，其特征在于：
【技术特征摘要】
1.一种基于多模态融合的微表情识别方法，包括：
2.根据权利要求1所述的基于多模态融合的微表情识别方法，其特征在于：
3.根据权利要求2所述的基于多模态融合的微表情识别方法，其特征在于：
4.根据权利要求3所述的基于多模态融合的微表情识别方法，其特征在于：
5.根据权利要求1至4所述的基于多模态融合的微表情识别方法，其特征在于：
6....
【专利技术属性】
技术研发人员：张煇，剌昊跃，柳世豪，
申请(专利权)人：北京长河数智科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。