情绪识别方法、系统、设备及介质技术方案

本发明专利技术提供一种情绪识别方法、系统、设备及介质，包括：获取待测用户的语音数据与人脸数据；利用语音识别技术处理所述语音数据，生成文本数据；分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。本发明专利技术相比现有单纯基于用户文本内容进行情绪识别，从语气、表情以及情感多个维度进行识别，大大提高了情绪识别的准确率。确率。确率。

【技术实现步骤摘要】
情绪识别方法、系统、设备及介质


[0001]本专利技术属于人工智能
，特别是涉及一种情绪识别方法、系统、设备及介质。

技术介绍

[0002]随着社交媒体的发展，人们会在Twitter、微博、网络论坛等社交平台上以匿名的方式宣泄情绪，社交平台上的各种信息，也可以成为被追踪观测的心理疾患诊断指标，通过文本检测识别用户情绪。
[0003]然而，采用传统文本内容去识别情绪，通过标记正向(负向)词去计算最后的情绪，而通过文本的方式不能很准确的检测到用户实际的情绪。因此，现有技术中亟需一种准确率较高的情绪识别方法。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种情绪识别方法、系统、设备及介质，用于解决现有技术基于文本内容识别情绪时，情绪识别准确率低的问题。
[0005]为实现上述目的及其他相关目的，本专利技术的第一方面提供一种情绪识别方法，包括：获取待测用户的语音数据与人脸数据；利用语音识别技术处理所述语音数据，生成文本数据；分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。
[0006]于所述第一方面的一实施例中，还包括：获取当前多人会话的语音数据；利用语音识别技术处理多人会话所形成的所述语音数据，生成相应的文本数据；提取所述语音数据中各个语句的时序信息；检测每个会话者的人声特征，结合所述人声特征与时序信息进行标记以区分所述文本数据内各个语句所对应会话者；利用自然语言处理技术识别多人会话对应的所述文本数据，得到待测用户的文字内容；同时，根据所述标记识别所述多人会话中待测用户的语音数据；提取待测用户对应文本数据的情感特征，以及提取待测用户对应的语音数据中语气特征。
[0007]于所述第一方面的一实施例中，所述利用语音识别处理多人会话所形成的所述语音数据，生成相应的文本数据的步骤，包括：
构建语音文字匹配模型库，基于所述模型库对RNN
‑
T语音识别模型进行训练；利用训练好的RNN
‑
T语音识别模型将语音数据转化为文本数据。
[0008]于所述第一方面的一实施例中，所述提取所述语音数据中各个语句的时序信息的步骤，包括：获取会话者的语音数据和其对应的唇部图像数据，其中，所述唇部图像数据包括所述会话者的语音数据所涉及的每个会话者的唇部图像序列，根据所述唇部图像序列识别的内容确定语音数据中各个语句的时序信息。
[0009]于所述第一方面的一实施例中，还包括：依时间顺序从所述语音数据中截取累计时长为预设时长阈值的待检测语音特征集，得到多个待检测语音特征集，对每个待检测语音特征集进行聚类处理，并对所述聚类进行评分，根据评分结果得到不同会话者的人声特征；在所述文本数据内按照人声特征与时序特征将各个语句进行标记区分，得到文本数据内不同会话者所对应的语句内容；利用自然语言处理技术识别所述文本数据内各个语句领域，结合上下文语境判断各个语句的语义，根据各个语句的语义以及标记得到待测用户的文本数据的内容，以及得到待测用户对应文本的情感特征；根据所述人声特征与时序特征识别对应待测用户的语音数据，提取所述语音数据中属于待测用户的语气特征。
[0010]于所述第一方面的一实施例中，所述基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型的步骤，包括：将预处理的所述情感特征、语气特征与表情特征形成训练集；基于蒸馏神经网络利用所述训练集训练情绪识别模型，其中，采用反向传播算法和蒸馏损失函数对网络的参数进行优化，所述蒸馏神经网络为多个神经网络构成；将多个神经网络的预测标签进行组合，利用一维卷积神经网络对组合后的标签进行训练，为多个神经网络分配不同的权重，得到情绪识别模型的集成决策。
[0011]于所述第一方面的一实施例中，所述将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别之前，还包括：对所述情感特征、语气特征与表情特征进行预处理，得到预设维度的特征向量。
[0012]本专利技术的第二方面提供一种情绪识别系统，包括：数据获取模块，用于获取待测用户的语音数据与人脸数据；语音识别模块，利用语音识别技术处理所述语音数据，生成文本数据；特征提取模块，用于分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；模型构建模块，基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；情绪识别模块，用于将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。
[0013]本专利技术的第三方面提供一种情绪识别设备，包括：一个或多个处理装置；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处
理装置执行，使得所述一个或多个处理装置实现上述的情绪识别方法。
[0014]本专利技术的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使所述计算机执行上述的情绪识别方法。
[0015]如上所述，本专利技术所述的情绪识别方法、系统、设备及介质的一个技术方案，具有以下有益效果：本专利技术通过对待测用户语音数据中的语气特征、人脸图像中的人脸表情以及待测用户文本中的情感特征进行训练，得到基于蒸馏神经网络构建的情绪识别模型，相比现有单纯基于用户文本内容的情绪识别，本专利技术从语气、表情以及情感多个维度进行情绪识别，大大提高了情绪识别的准确率。
附图说明
[0016]图1显示为本专利技术提供的一种情绪识别方法流程图；图2显示为本专利技术提供的一种情绪识别系统结构框图；图3显示为本专利技术提供的一种情绪识别设备的结构示意图。
具体实施方式
[0017]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0018]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0019]本专利技术解决现有技术中医生问诊现场，由于门诊医生都有属于各自诊断室，一般情况，在诊断室内医生通过询问、观察和检测患者的身体状况，医生对患者的病情进行诊断，往往家属或患者对诊断结果或诊断效果过度重视，而此时医生往往都将注意力集中在患者的病情上，没有精力关注患者的情绪，同时，很多医生由于没有心理学功底，也无法识别出当前患者的情绪。因此，造成在问诊时，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情绪识别方法，其特征在于，包括：获取待测用户的语音数据与人脸数据；利用语音识别技术处理所述语音数据，生成文本数据；分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。2.根据权利要求1所述的情绪识别方法，其特征在于，还包括：获取当前多人会话的语音数据；利用语音识别技术处理多人会话所形成的所述语音数据，生成相应的文本数据；提取所述语音数据中各个语句的时序信息；检测每个会话者的人声特征，结合所述人声特征与时序信息进行标记以区分所述文本数据内各个语句所对应会话者；利用自然语言处理技术识别多人会话对应的所述文本数据，得到待测用户的文字内容；同时，根据所述标记识别所述多人会话中待测用户的语音数据；提取待测用户对应文本数据的情感特征，以及提取待测用户对应的语音数据中语气特征。3.根据权利要求2所述的情绪识别方法，其特征在于，所述利用语音识别技术处理多人会话所形成的所述语音数据，生成相应的文本数据的步骤，包括：构建语音文字匹配模型库，基于所述模型库对RNN
‑
T语音识别模型进行训练；利用训练好的RNN
‑
T语音识别模型将语音数据转化为文本数据。4.根据权利要求2所述的情绪识别方法，其特征在于，所述提取所述语音数据中各个语句的时序信息的步骤，包括：获取会话者的语音数据和其对应的唇部图像数据，其中，所述唇部图像数据包括所述会话者的语音数据所涉及的每个会话者的唇部图像序列，根据所述唇部图像序列识别的内容确定语音数据中各个语句的时序信息。5.根据权利要求2所述的情绪识别方法，其特征在于，还包括：依时间顺序从所述语音数据中截取累计时长为预设时长阈值的待检测语音特征集，得到多个待检测语音特征集，对每个待检测语音特征集进行聚类处理，并对所述聚类进行评分，根据评分结果得到不同会话者的人声特征；在所述文本数据内按照人声特征与时序特征将各个语句进行标...

【专利技术属性】
技术研发人员：姚娟娟，钟南山，
申请(专利权)人：明品云北京数据科技有限公司，
类型：发明
国别省市：