一种基于姿态特征对齐的异常情绪推理系统技术方案

本发明专利技术公开了一种基于姿态特征对齐的异常情绪推理系统，包括以下步骤：获取待识别的人体姿态图像；将获取到的图像送入Alpha Pose模型提取姿态信息；在获取得的姿态信息中提取精确的人体姿态关键点信息和人体姿态图像；利用MTCNN系统提取面部图像和待匹配人体姿态图像的面部关键点；得到面部图像中与待匹配人体姿态图像面部关键点的欧氏距离最接近的人体姿态图像；拼接得到视觉特征；利用视觉特征、语音特征和文本特征通过自注意力机制进行情绪识别。本发明专利技术涉及图像处理领域，该种基于姿态特征对齐的异常情绪推理系统，解决了现有工作忽略了在面部信息模糊或缺失时，人体姿态信息的重要性及辅助作用的问题，提高了对异常情绪的识别效果。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，具体为一种基于姿态特征对齐的异常情绪推理系统。

技术介绍

1、随着计算机在众多领域和日常生活中重要性的不断增加，人机交互、社交情感机器人和多媒体分析等领域发展迅速，如果现代人工智能系统不仅能够正确处理语言、声音和视觉信息，更能够理解人类情感的推理能力，那么情绪识别在上述领域中将受益匪浅。日常生活中，除了通过直接看到或听到他人的情绪，人类也可以从各种先验知识和情境中推断他人的情绪状态。

2、传统深度学习方法主要识别说话人的话语级情绪，且说话人的模态信息完整，但在现实生活中，首先，说话者或非说话者的面部信号未必引人注意，其次，即使在说话者和非说话者视觉信号完整的情形下，获得清晰的面部信息难度较大，且面部表情易于伪装，而相对易获得且不易伪装的人体姿态信息可以弥补面部信号无法提供较多价值的缺陷。因此，提取出多模数据的人体姿态特征并与其他视觉特征对齐，对于情绪的识别有着至关重要的帮助。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本专利技术提供了一本文档来自技高网...

【技术保护点】

1.一种基于姿态特征对齐的异常情绪推理系统，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于姿态特征对齐的异常情绪推理系统，其特征在于：在步骤S5中，人体姿态对齐功能是将面部图像和待匹配的人体姿态图像输入训练好的网络模型中，照姿态检测准确度从高到低依次对同一帧的人脸照片和人体姿态照片的面部关键点进行匹配，当二者的欧氏距离小于0.6时，我们认为这一组两张图片实现了人脸-人体姿态的对齐，最终实现通过距离来衡量待待匹配的人体姿态图像和面部图像的相似性。

3.根据权利要求1所述的一种基于姿态特征对齐的异常情绪推理系统，其特征在于：在步骤S2中将获取到的图像送入...

【技术特征摘要】

1.一种基于姿态特征对齐的异常情绪推理系统，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于姿态特征对齐的异常情绪推理系统，其特征在于：在步骤s5中，人体姿态对齐功能是将面部图像和待匹配的人体姿态图像输入训练好的网络模型中，照姿态检测准确度从高到低依次对同一帧的人脸照片和人体姿态照片的面部关键点进行匹配，当二者的欧氏距离小于0.6时，我们认为这一组两张图片实现了人脸-人体姿态的对齐，最终实现通过距离来衡量待待匹配的...

【专利技术属性】
技术研发人员：张艳，夏雨琪，刘阳炀，丁凯，石宝，
申请(专利权)人：安徽大学，
类型：发明
国别省市：