一种基于用户情绪的智能交互方法和装置制造方法及图纸

本发明专利技术实施例涉及一种基于用户情绪的智能交互方法和装置，所述方法包括：获取第一输入信息；若为语音类型则对第一输入信息进行语音情绪识别生成第一情绪类型；并对第一输入信息进行语音

【技术实现步骤摘要】
一种基于用户情绪的智能交互方法和装置


[0001]本专利技术涉及自然语言处理
，特别涉及一种基于用户情绪的智能交互方法和装置。

技术介绍

[0002]随着人工智能技术的兴起与发展，常规的信息展示平台与社交平台为提高用户体验，已经开始在平台上增加具有智能应答与智能推送功能的聊天机器人角色了。然而我们在实际应用中发现，当前这些虚拟的聊天机器人在处理内容推送时其推送的内容都是基于预先设定的问题
‑
答案对应关系进行固化推送，其间并未对用户的情绪变化进行识别。这样忽略用户情绪的内容推送方式，容易在用户情绪波动尤其是处于负面情绪的状态下，引发用户体验度下降甚至会带来投诉。

技术实现思路

[0003]本专利技术的目的，就是针对现有技术的缺陷，提供一种基于用户情绪的智能交互方法、装置、电子设备及计算机可读存储介质，对用户的输入信息（文本、语音）进行情绪识别，并根据情绪识别结果来选择对应的应答方式和应答内容。如此一来，就可以解决无视用户情绪变化进行盲推导致的用户体验度下降的问题，同时也可以降低用户投诉率、提高用户的使用体验、提高推送内容的准确度。
[0004]为实现上述目的，本专利技术实施例第一方面提供了一种基于用户情绪的智能交互方法，所述方法包括：获取用户的第一输入信息；若所述第一输入信息的信息类型为语音类型，则对所述第一输入信息进行语音情绪识别处理，生成第一情绪类型；并对所述第一输入信息进行语音
‑
文本转换处理，生成第一文本数据；若所述第一输入信息的信息类型为文本类型，则将所述第一输入信息作为所述第一文本数据；根据预设的实体词典，对所述第一文本数据进行主语实体特征提取生成第一实体数据组；所述第一实体数据组包括第一实体文本数据和第一实体类型数据；根据所述第一实体类型数据，对所述第一文本数据进行对应的情绪识别处理，生成第二情绪类型；若所述第一情绪类型不为空且所述第二情绪类型为中性情绪类型，则将所述第一情绪类型作为当前用户情绪类型；若所述第一情绪类型为空或所述第二情绪类型不为中性情绪类型，则将所述第二情绪类型作为所述当前用户情绪类型；若所述第一实体类型数据为未知实体类型，则根据所述当前用户情绪类型，执行对应的启发式应答处理或安抚式应答处理；若所述第一实体类型数据不为未知实体类型，则根据所述第一实体类型数据和所
述第一实体文本数据查询预设的第一实体内容数据库得到对应的第一实体内容记录集合；并从所述第一实体内容记录集合中抽取与所述当前用户情绪类型匹配的第一实体内容记录向用户进行推送。
[0005]优选的，所述第一情绪类型和所述第二情绪类型均至少包括负面情绪类型、中性情绪类型和正面情绪类型；所述实体词典包括多个实体词语数据元；所述实体词语数据元至少包括实体词语文本数据、实体词语词性标签和实体词语类型标签；所述实体词语类型标签至少包括人名实体类型、地名实体类型、产品/服务实体类型、知识实体类型和未知实体类型；所述第一实体内容数据库包括多个所述第一实体内容记录；所述第一实体内容记录至少包括第一类型字段、第一名称字段、第一内容字段、第一评分字段和第一更新时间字段。
[0006]优选的，所述对所述第一输入信息进行语音情绪识别处理，生成第一情绪类型，具体包括：对所述第一输入信息按预设采样频率进行语音信号采样处理，生成第一语音数据序列；对所述第一语音数据序列进行声谱图转换处理，生成第一声谱图矩阵；所述第一声谱图矩阵的横坐标为时间，纵坐标为频率，坐标点值为振幅；将所述第一声谱图矩阵输入训练成熟的语音情绪识别模型进行运算，生成多个第一输出情绪类型和对应的第一输出类型概率；所述语音情绪识别模型至少包括基于卷积循环神经网络CRNN的语音情绪识别模型；将概率值最大的所述第一输出类型概率对应的所述第一输出情绪类型，作为所述第一情绪类型。
[0007]优选的，所述对所述第一输入信息进行语音
‑
文本转换处理，生成第一文本数据，具体包括：对所述第一输入信息按预设采样频率进行语音信号采样处理，生成第二语音数据序列；对所述第二语音数据序列进行分帧处理，生成第一语音帧数据序列；将所述第一语音帧数据序列输入训练成熟的端到端语音
‑
文本转换模型进行运算，生成所述第一文本数据；所述端到端语音
‑
文本转换模型至少包括基于连接时序分类CTC方法的端到端语音
‑
文本转换模型、基于注意力机制的端到端语音
‑
文本转换模型和基于循环神经网络变换器RNN
‑
T方法的端到端语音
‑
文本转换模型。
[0008]优选的，所述根据预设的实体词典，对所述第一文本数据进行主语实体特征提取生成第一实体数据组，具体包括：将所述第一文本数据输入训练成熟的中文分词和词性标注模型进行运算，生成第一分词数据组序列；所述第一分词数据组序列包括多个第一分词数据组；所述第一分词数据组包括第一分词文本数据和第一分词词性数据；按预设的主语实体分析逻辑，对所述第一分词数据组序列的所述第一分词文本数据进行主语实体识别处理，并将识别为主语的所述第一分词文本数据对应的所述第一分词数据组作为主语分词数据组；
将所述主语分词数据组的所述第一分词文本数据作为所述第一实体文本数据；并将所述主语分词数据组的所述第一分词词性数据作为第一实体词性数据；查询所述实体词典，将所述实体词语文本数据与所述第一实体文本数据匹配的，且所述实体词语词性标签与所述第一实体词性数据匹配的所述实体词语数据元，作为主语实体词语数据元；并将所述主语实体词语数据元的所述实体词语类型标签，作为所述第一实体类型数据；由所述第一实体文本数据和所述第一实体类型数据，组成所述第一实体数据组。
[0009]优选的，所述根据所述第一实体类型数据，对所述第一文本数据进行对应的情绪识别处理，生成第二情绪类型，具体包括：若所述第一实体类型数据为未知实体类型，则对所述第一文本数据进行最大权重情绪词的情绪类型识别处理，生成第二情绪类型；若所述第一实体类型数据不为未知实体类型，则使用训练成熟的文本情绪识别模型对所述第一文本数据进行情绪识别处理，生成所述第二情绪类型。
[0010]进一步的，所述对所述第一文本数据进行最大权重情绪词的情绪类型识别处理，生成第二情绪类型，具体包括：对所述第一文本数据进行情绪词识别处理，生成对应的第一情绪词数据序列；所述第一情绪词数据序列包括多个第一情绪词数据；查询预设的情绪权重列表，将第一情绪词文本字段与各个所述第一情绪词数据匹配的情绪权重记录，标记为第一匹配情绪权重记录；所述情绪权重列表包括多个所述情绪权重记录；所述情绪权重记录包括所述第一情绪词文本字段和第一情绪词权重字段；在得到的多个所述第一匹配情绪权重记录中，提取所述第一情绪词权重字段的绝对值为最大值的所述第一匹配情绪权重记录的所述第一情绪词文本字段作为最大权重情绪词数据；查询预设的情绪类型列表，将第二情绪词文本字段与所述最大权重情绪词数据匹配的情绪类型记录的第一情绪类型字段作为所述第二情绪类型；所述情绪类型列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于用户情绪的智能交互方法，其特征在于，所述方法包括：获取用户的第一输入信息；若所述第一输入信息的信息类型为语音类型，则对所述第一输入信息进行语音情绪识别处理，生成第一情绪类型；并对所述第一输入信息进行语音
‑
文本转换处理，生成第一文本数据；若所述第一输入信息的信息类型为文本类型，则将所述第一输入信息作为所述第一文本数据；根据预设的实体词典，对所述第一文本数据进行主语实体特征提取生成第一实体数据组；所述第一实体数据组包括第一实体文本数据和第一实体类型数据；根据所述第一实体类型数据，对所述第一文本数据进行对应的情绪识别处理，生成第二情绪类型；若所述第一情绪类型不为空且所述第二情绪类型为中性情绪类型，则将所述第一情绪类型作为当前用户情绪类型；若所述第一情绪类型为空或所述第二情绪类型不为中性情绪类型，则将所述第二情绪类型作为所述当前用户情绪类型；若所述第一实体类型数据为未知实体类型，则根据所述当前用户情绪类型，执行对应的启发式应答处理或安抚式应答处理；若所述第一实体类型数据不为未知实体类型，则根据所述第一实体类型数据和所述第一实体文本数据查询预设的第一实体内容数据库得到对应的第一实体内容记录集合；并从所述第一实体内容记录集合中抽取与所述当前用户情绪类型匹配的第一实体内容记录向用户进行推送。2.根据权利要求1所述的基于用户情绪的智能交互方法，其特征在于，所述第一情绪类型和所述第二情绪类型均至少包括负面情绪类型、中性情绪类型和正面情绪类型；所述实体词典包括多个实体词语数据元；所述实体词语数据元至少包括实体词语文本数据、实体词语词性标签和实体词语类型标签；所述实体词语类型标签至少包括人名实体类型、地名实体类型、产品/服务实体类型、知识实体类型和未知实体类型；所述第一实体内容数据库包括多个所述第一实体内容记录；所述第一实体内容记录至少包括第一类型字段、第一名称字段、第一内容字段、第一评分字段和第一更新时间字段。3.根据权利要求1所述的基于用户情绪的智能交互方法，其特征在于，所述对所述第一输入信息进行语音情绪识别处理，生成第一情绪类型，具体包括：对所述第一输入信息按预设采样频率进行语音信号采样处理，生成第一语音数据序列；对所述第一语音数据序列进行声谱图转换处理，生成第一声谱图矩阵；所述第一声谱图矩阵的横坐标为时间，纵坐标为频率，坐标点值为振幅；将所述第一声谱图矩阵输入训练成熟的语音情绪识别模型进行运算，生成多个第一输出情绪类型和对应的第一输出类型概率；所述语音情绪识别模型至少包括基于卷积循环神经网络CRNN的语音情绪识别模型；将概率值最大的所述第一输出类型概率对应的所述第一输出情绪类型，作为所述第一情绪类型。
4.根据权利要求1所述的基于用户情绪的智能交互方法，其特征在于，所述对所述第一输入信息进行语音
‑
文本转换处理，生成第一文本数据，具体包括：对所述第一输入信息按预设采样频率进行语音信号采样处理，生成第二语音数据序列；对所述第二语音数据序列进行分帧处理，生成第一语音帧数据序列；将所述第一语音帧数据序列输入训练成熟的端到端语音
‑
文本转换模型进行运算，生成所述第一文本数据；所述端到端语音
‑
文本转换模型至少包括基于连接时序分类CTC方法的端到端语音
‑
文本转换模型、基于注意力机制的端到端语音
‑
文本转换模型和基于循环神经网络变换器RNN
‑
T方法的端到端语音
‑
文本转换模型。5.根据权利要求2所述的基于用户情绪的智能交互方法，其特征在于，所述根据预设的实体词典，对所述第一文本数据进行主语实体特征提取生成第一实体数据组，具体包括：将所述第一文本数据输入训练成熟的中文分词和词性标注模型进行运算，生成第一分词数据组序列；所述第一分词数据组序列包括多个第一分词数据组；所述第一分词数据组包括第一分词文本数据和第一分词词性数据；按预设的主语实体分析逻辑，对所述第一分词数据组序列的所述第一分词文本数据进行主语实体识别处理，并将识别为主语的所述第一分词文本数据对应的所述第一分词数据组作为主语分词数据组；将所述主语分词数据组的所述第一分词文本数据作为所述第一实体文本数据；并将所述主语分词数据组的所述第一分词词性数据作为第一实体词性数据；查询所述实体词典，将所述实体词语文本数据与所述第一实体文本数据匹配的，且所述实体词语词性标签与所述第一实体词性数据匹配的所述实体词语数据元，作为主语实体词语数据元；并将所述主语实体词语数据元的所述实体词语类型标签，作为所述第一实体类型数据；由所述第一实体文本数据和所述第一实体类型数据，组成所述第一实体数据组。6.根据权利要求1所述的基于用户情绪的智能交互方法，其特征在于，所述根据所述第一实体类型数据，对所述第一文本数据进行对应的情绪识别处理，生成第二情绪类型，具体包括：若所述第一实体类型数据为未知实体类型，则对所述第一文本数据进行最大权重情绪词的情绪类型识别处理，生成第二情绪类型；若所述第一实体类型数据不为未知实体类型，则使用训练成熟的文本情绪识别模型对所述第一文本数据进行情绪识别处理，生成所述第二情绪类型。7.根据权利要求6所述的基于用户情绪的智能交互方法，其特征在于，所述对所述第一文本数据进行最大权重情绪词的情绪类型识别处理，生成第二情绪类型，具体包括：对所述第一文本数据进行情绪词识别处理，生成对应的第一情绪词数据序列；所述第一情绪词数据序列包括多个第一情绪词数据；查询预设的情绪权重列表，将第一情绪词文本字段与各个所述第一情绪词数据匹配的情绪权重记录，标记为第一匹配情绪权重记录；所述情绪权重列表包括多个所述情绪权重记录；所述情绪权重记录包括所述第一情绪词文本字段和第一情绪词权重字段；在得到的多个所述第一匹配情绪权重记录中，提取所述第一情绪词权重字段的绝对值
为最大值的所述第一匹配情绪权重记录的所述第一情绪词文本字段作为最大权重情绪词数据；查询预设的情绪类型列表，将第二情绪词文本字段与所...

【专利技术属性】
技术研发人员：李响，高峰，杜正平，刘沛丰，
申请(专利权)人：北京博瑞彤芸科技股份有限公司，
类型：发明
国别省市：