一种情绪识别方法及装置制造方法及图纸

本发明专利技术提供了一种情绪识别方法及装置，属于人工智能技术领域，通过将第二情绪识别模型根据第一眼部情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的至少两者进行运算，可以融合同一时刻用户的语言表达、面部表情表达、眼神表达所蕴含的情绪信息，有助于避免用户本人自身有意无意的主观表达修饰所导致的情绪识别错误，提高情绪识别的准确度。度。

【技术实现步骤摘要】
一种情绪识别方法及装置


[0001]本专利技术涉及人工智能
，尤其是涉及一种情绪识别方法及装置。

技术介绍

[0002]人类情感在人们的社会交往中发挥着重要作用，情感计算成为人机交互、人工智能的最重要研究领域之一。
[0003]现有的情绪健康分析方法和分析系统是多种多样的，包括基于人脸表情的情绪识别方法、基于语音的情绪识别方法、基于文字的情绪分析方法等，但这些情绪分析识别系统多数是基于其中一种或两种情绪特征而构建的情感识别模型。研究表明：人的情绪和心理压力是一种综合因素表征的结果，仅仅通过人脸识别、语音识别、文字识别中的一种或两种对人情绪和心理压力进行判定，其结果易造成误判；当前方法研究开发的情绪心理压力诊断或治疗系统，情绪心理压力准确率低，不能够提供良好的用户体验。
[0004]有鉴于此，需要对现有技术进行改进，因此提出本专利技术。

技术实现思路

[0005]针对现有技术存在的以上问题，本专利技术提供了一种情绪识别方法及装置，目的是为了解决以上问题中的至少一个，以提高情绪识别的精度。
[0006]第一方面，本专利技术提供一种情绪识别方法，包括：根据外部指令，采集用户当前情绪数据；根据用户当前情绪数据和预先训练的情绪识别模型，确定用户当前的情绪识别结果；其中，采集用户当前情绪数据包括采集用户当前的语音交互数据、面部表情数据和眼动数据；预先训练的情绪识别模型包括基于语音交互数据、面部表情数据和眼动数据进行训练的第一情绪识别模型，以及基于第一情绪识别模型输出的第一情绪识别结果进行再次训练的第二情绪识别模型；其中，第一情绪识别模型包括基于语音交互数据进行训练的第一语言情绪识别模型、基于面部表情数据进行训练的第一面部情绪识别模型、基于眼动数据进行训练的第一眼部情绪识别模型；第一情绪识别结果包括第一语言情绪识别模型输出的第一语言情绪识别结果、第一面部情绪识别模型输出的第一面部情绪识别结果以及第一眼部情绪识别模型输出的第一眼部情绪识别结果；第二情绪识别模型根据第一眼部情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的至少两者进行训练。
[0007]进一步地，采集用户当前情绪数据，包括：采集用户当前的人机语音交互数据；采集用户当前的面部表情数据；采集用户当前的眼动数据。
[0008]进一步地，第一情绪识别模型和第二情绪识别模型均采用深度学习方法。
[0009]进一步地，第一语言情绪识别模型根据所采集的语音交互数据，进行语义分析，进
而获得估计的第一语言情绪识别结果。
[0010]进一步地，第一面部情绪识别模型根据所采集的面部表情数据，进而获得估计的第一面部情绪识别结果。
[0011]进一步地，第二情绪识别模型根据第一眼部情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的至少两者进行训练，包括：当第一语言情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的任一项情绪识别结果的准确度低于预设阈值时，则不采信该项情绪识别结果，采用剩余两项情绪识别结果作为第二情绪识别模型的输入；当第一语言情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的两项及以上的情绪识别结果的准确度低于预设阈值时，则不采信当前的情绪数据，重新采集用户的情绪数据用于下一次确定用户当前的情绪识别结果。
[0012]第二方面，本专利技术还提供一种情绪识别装置，包括：采集模块，用于根据外部指令，采集用户当前情绪数据；估算模块，用于根据用户当前情绪数据和预先训练的情绪识别模型，确定用户当前的情绪识别结果；其中，采集用户当前情绪数据包括采集用户当前的语音交互数据、面部表情数据和眼动数据；预先训练的情绪识别模型包括基于语音交互数据、面部表情数据和眼动数据进行训练的第一情绪识别模型，以及基于第一情绪识别模型输出的第一情绪识别结果进行再次训练的第二情绪识别模型；其中，第一情绪识别模型包括基于语音交互数据进行训练的第一语言情绪识别模型、基于面部表情数据进行训练的第一面部情绪识别模型、基于眼动数据进行训练的第一眼部情绪识别模型；第一情绪识别结果包括第一语言情绪识别模型输出的第一语言情绪识别结果、第一面部情绪识别模型输出的第一面部情绪识别结果以及第一眼部情绪识别模型输出的第一眼部情绪识别结果；第二情绪识别模型根据第一眼部情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的至少两者进行训练。
[0013]与现有技术相比，本专利技术至少具有以下有益效果：由于情绪是受多方面因素的影响，与现有技术中单独基于语音、面部表情、或眼神等单模态信息情绪估计结果相比，本专利技术的技术方案融合了语言、面部表情、眼动的信息来评估用户的当前情绪，可以提供更加接近用户的真实情绪识别结果，提高了用户情绪识别的准确度。
[0014]通过将第二情绪识别模型根据第一眼部情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的至少两者进行训练，如此设置，可极大地避免上述单模态信息情绪识别结果不稳定、不可靠的问题，进而极大地提高情绪识别的准确性。
具体实施方式
[0015]下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施
例，都属于本专利技术保护的范围。
[0016]实施例一：本专利技术提供一种情绪识别方法，包括：根据外部指令，采集用户当前情绪数据；根据用户当前情绪数据和预先训练的情绪识别模型，确定用户当前的情绪识别结果。
[0017]在上述步骤中，所述外部指令来自用户本人所授权的情绪识别指令。如此设置，只有在用户授权后、接收到外部指令要求的情况下启动情绪识别，开始采集用户当前情绪数据，可以消除用户对隐私数据泄露的顾虑，最大程度上保护用户隐私，提高用户体验。
[0018]进一步地，采集用户当前情绪数据包括采集用户当前的语音交互数据、面部表情数据和眼动数据。第一方面，人脸部的表情包含着非常丰富的表现人体行为的信息，是人们表达其个人情绪的一种重要表现形式，也是人类进行非语言形式交流的一种有效方式。人们可以通过对别人脸部表情的判断来理解对方的心理活动，也可以通过脸部的表情表达出自己的思想情感。据统计，人类情感的表达绝大部分直接可直接体现在面部表情上，其次是眼神，最后才是语言表达，由此可见面部表情在情感表达上所占重要的地位。第二方面，眼睛是心灵的窗户，眼神所传达的信息能真实地反映出人们当前的情绪状态，相应地，眼动信号是人对于客观刺激的直接主观表达，可以直接反映人们的情绪状态的变化。第三方面，语言可以反映人们的情绪状态，但语言也容易被修饰而隐藏人们的真实情绪，同时语言在特定语境下的语义也是相当丰富的，通过人机交互引导用户在特定语境下的对话来获取用户当前的语音交互数据可以作为面部表情数据、眼动数据的有效补充。如此设置，由于情绪是受多方面因素的影响，与现有技术中单独基于语音、面部表情、或眼神等单模态信息情绪估本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情绪识别方法，其特征在于，包括：根据外部指令，采集用户当前情绪数据；根据用户当前情绪数据和预先训练的情绪识别模型，确定所述用户当前的情绪识别结果；其中，所述采集用户当前情绪数据包括采集用户当前的语音交互数据、面部表情数据和眼动数据；所述预先训练的情绪识别模型包括基于语音交互数据、面部表情数据和眼动数据进行训练的第一情绪识别模型，以及基于第一情绪识别模型输出的第一情绪识别结果进行再次训练的第二情绪识别模型；其中，所述第一情绪识别模型包括基于语音交互数据进行训练的第一语言情绪识别模型、基于面部表情数据进行训练的第一面部情绪识别模型、基于眼动数据进行训练的第一眼部情绪识别模型；所述第一情绪识别结果包括第一语言情绪识别模型输出的第一语言情绪识别结果、第一面部情绪识别模型输出的第一面部情绪识别结果以及第一眼部情绪识别模型输出的第一眼部情绪识别结果；所述第二情绪识别模型根据第一眼部情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的至少两者进行训练。2.根据权利要求1所述的方法，其特征在于，所述采集用户当前情绪数据，包括：采集用户当前的人机语音交互数据；采集用户当前的面部表情数据；采集用户当前的眼动数据。3.根据权利要求1所述的方法，其特征在于，所述第一情绪识别模型和第二情绪识别模型均采用深度学习方法。4.根据权利要求1所述的方法，其特征在于，所述第一语言情绪识别模型根据所采集的语音交互数据，进行语义分析，进而获得估计的第一语言情绪识别结果。5.根据权利要求1所述的方法，其特征在于，所述第一面部情绪识别模型根据所采集的面部表情数据，进而获得估计的第一面部情绪识别结果。6.根据权利要求1所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：王亚楠，罗莉，包国栋，
申请(专利权)人：四川天地宏华导航设备有限公司，
类型：发明
国别省市：