用于在人机对话中识别用户情绪的方法及装置制造方法及图纸

本公开的实施例提供一种用于在人机对话中识别用户情绪的方法和装置。该方法包括：获取第一语音数据，其中，第一语音数据为用户在本轮的语音数据；从第一语音数据中提取表征情绪的第一音频特征和表征情绪的第一文本特征；获取第二文本特征和第二音频特征中的至少一个，其中，第二文本特征为用户在前N轮中的各轮中的文本特征的加权和，第二音频特征为用户在前N轮中的各轮中的音频特征的加权和，其中，N为正整数；将第一音频特征、第一文本特征、以及第二文本特征和第二音频特征中的至少一个拼接成拼接特征；以及通过经训练的多模态模型基于拼接特征来识别用户在本轮的第一情绪。于拼接特征来识别用户在本轮的第一情绪。于拼接特征来识别用户在本轮的第一情绪。

【技术实现步骤摘要】
用于在人机对话中识别用户情绪的方法及装置


[0001]本公开的实施例涉及计算机
，具体地，涉及用于在人机对话中识别用户情绪的方法及装置。

技术介绍

[0002]在心理学上，可以将人的情绪分为喜悦、愤怒、悲伤、恐惧、厌恶、惊奇、羡慕等七大类型。当用户和机器人在做人机交互的时候，机器人可针对用户当前输入的文本数据，识别用户当前的情绪，以给出适合的互动内容。这样可以提高用户在人机交互过程中的体验。

技术实现思路

[0003]本文中描述的实施例提供了一种用于在人机对话中识别用户情绪的方法、装置以及存储有计算机程序的计算机可读存储介质。
[0004]根据本公开的第一方面，提供了一种用于在人机对话中识别用户情绪的方法。该方法包括：获取第一语音数据，其中，第一语音数据为用户在本轮的语音数据；从第一语音数据中提取表征情绪的第一音频特征和表征情绪的第一文本特征；获取第二文本特征和第二音频特征中的至少一个，其中，第二文本特征为用户在前N轮中的各轮中表征情绪的文本特征的加权和，第二音频特征为用户在前N轮中的各轮中表征情绪的音频特征的加权和，其中，N为正整数；将第一音频特征、第一文本特征、以及第二文本特征和第二音频特征中的至少一个拼接成拼接特征；以及通过经训练的多模态模型基于拼接特征来识别用户在本轮的第一情绪。
[0005]在本公开的一些实施例中，在第二文本特征中各个文本特征的权重按照时间顺序依次递增。
[0006]在本公开的一些实施例中，在第二音频特征中各个音频特征的权重按照时间顺序依次递增。
[0007]在本公开的一些实施例中，方法还包括：获取第一视频数据，其中，第一视频数据包括用户在本轮的面部图像数据；从第一视频数据中提取表征情绪的第一图像特征；以及将第一图像特征拼接到拼接特征中。
[0008]在本公开的一些实施例中，方法还包括：获取第二图像特征，其中，第二图像特征为用户在前N轮中的各轮中表征情绪的图像特征的加权和；以及将第二图像特征拼接到拼接特征中。
[0009]在本公开的一些实施例中，方法还包括：获取第一生理特征数据，其中，第一生理特征数据为用户在本轮的生理特征数据；从第一生理特征数据中提取表征情绪的第一生理特征；以及将第一生理特征拼接到拼接特征中。
[0010]在本公开的一些实施例中，方法还包括：获取第二生理特征，其中，第二生理特征为用户在前N轮中的各轮中表征情绪的生理特征的加权和；以及将第二生理特征拼接到拼接特征中。
[0011]在本公开的一些实施例中，用户情绪包括情绪类别和情绪强度，情绪强度包括多个情绪强度等级，方法还包括：获取用户在前N轮中的各轮中的多个第二情绪；响应于多个第二情绪的情绪类别与第一情绪的情绪类别相同，根据多个第二情绪的情绪强度等级确定情绪强度等级变化曲线；以及响应于所确定的情绪强度等级变化曲线与预设的多个情绪强度等级变化曲线中的一个相同，根据所确定的情绪强度等级变化曲线来预测用户在本轮的情绪强度，以及基于所预测的情绪强度来调整第一情绪的情绪强度。
[0012]在本公开的一些实施例中，方法还包括：响应于多个第二情绪的情绪类别与第一情绪的情绪类别相同，根据多个第二情绪的情绪强度等级和第一情绪的情绪强度等级来预测情绪强度发展趋势；以及基于用户的第一情绪和所预测的情绪强度发展趋势来提供对用户的答复。
[0013]根据本公开的第二方面，提供了一种用于在人机对话中识别用户情绪的装置。该装置包括至少一个处理器；以及存储有计算机程序的至少一个存储器。当计算机程序由至少一个处理器执行时，使得装置获取第一语音数据，其中，第一语音数据为用户在本轮的语音数据；从第一语音数据中提取表征情绪的第一音频特征和表征情绪的第一文本特征；获取第二文本特征和第二音频特征中的至少一个，其中，第二文本特征为用户在前N轮中的各轮中表征情绪的文本特征的加权和，第二音频特征为用户在前N轮中的各轮中表征情绪的音频特征的加权和，其中，N为正整数；将第一音频特征、第一文本特征、以及第二文本特征和第二音频特征中的至少一个拼接成拼接特征；以及通过经训练的多模态模型基于拼接特征来识别用户在本轮的第一情绪。
[0014]在本公开的一些实施例中，计算机程序在由至少一个处理器执行时使得装置还：获取第一视频数据，其中，第一视频数据包括用户在本轮的面部图像数据；从第一视频数据中提取表征情绪的第一图像特征；以及将第一图像特征拼接到拼接特征中。
[0015]在本公开的一些实施例中，计算机程序在由至少一个处理器执行时使得装置还：获取第二图像特征，其中，第二图像特征为用户在前N轮中的各轮中表征情绪的图像特征的加权和；以及将第二图像特征拼接到拼接特征中。
[0016]在本公开的一些实施例中，计算机程序在由至少一个处理器执行时使得装置还：获取第一生理特征数据，其中，第一生理特征数据为用户在本轮的生理特征数据；从第一生理特征数据中提取表征情绪的第一生理特征；以及将第一生理特征拼接到拼接特征中。
[0017]在本公开的一些实施例中，计算机程序在由至少一个处理器执行时使得装置还：获取第二生理特征，其中，第二生理特征为用户在前N轮中的各轮中表征情绪的生理特征的加权和；以及将第二生理特征拼接到拼接特征中。
[0018]在本公开的一些实施例中，用户情绪包括情绪类别和情绪强度，情绪强度包括多个情绪强度等级，计算机程序在由至少一个处理器执行时使得装置还：获取用户在前N轮中的各轮中的多个第二情绪；响应于多个第二情绪的情绪类别与第一情绪的情绪类别相同，根据多个第二情绪的情绪强度等级确定情绪强度等级变化曲线；以及响应于所确定的情绪强度等级变化曲线与预设的多个情绪强度等级变化曲线中的一个相同，根据所确定的情绪强度等级变化曲线来预测用户在本轮的情绪强度，以及基于所预测的情绪强度来调整第一情绪的情绪强度。
[0019]在本公开的一些实施例中，计算机程序在由至少一个处理器执行时使得装置还：
响应于多个第二情绪的情绪类别与第一情绪的情绪类别相同，根据多个第二情绪的情绪强度等级和第一情绪的情绪强度等级来预测情绪强度发展趋势；以及基于用户的第一情绪和所预测的情绪强度发展趋势来提供对用户的答复。
[0020]根据本公开的第三方面，提供了一种存储有计算机程序的计算机可读存储介质，其中，计算机程序在由处理器执行时实现根据本公开的第一方面所述的方法的步骤。
附图说明
[0021]为了更清楚地说明本公开的实施例的技术方案，下面将对实施例的附图进行简要说明，应当知道，以下描述的附图仅仅涉及本公开的一些实施例，而非对本公开的限制，其中：
[0022]图1是根据本公开的实施例的用于在人机对话中识别用户情绪的方法的示例性流程图；
[0023]图2是根据本公开的实施例的用于在人机对话中识别用户情绪的进一步的步骤的示例性流程图；以及
[0024]图3是根据本公开的实施例的用于在人机对话中识别用户情绪的装置的示意性框图。
[0025]附图中的元素是示意性的，没有按比例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于在人机对话中识别用户情绪的方法，包括：获取第一语音数据，其中，所述第一语音数据为用户在本轮的语音数据；从所述第一语音数据中提取表征情绪的第一音频特征和表征情绪的第一文本特征；获取第二文本特征和第二音频特征中的至少一个，其中，所述第二文本特征为所述用户在前N轮中的各轮中表征情绪的文本特征的加权和，所述第二音频特征为所述用户在所述前N轮中的各轮中表征情绪的音频特征的加权和，其中，N为正整数；将所述第一音频特征、所述第一文本特征、以及所述第二文本特征和所述第二音频特征中的所述至少一个拼接成拼接特征；以及通过经训练的多模态模型基于所述拼接特征来识别所述用户在本轮的第一情绪。2.根据权利要求1所述的方法，其中，在所述第二文本特征中各个文本特征的权重按照时间顺序依次递增，和/或，在所述第二音频特征中各个音频特征的权重按照时间顺序依次递增。3.根据权利要求1所述的方法，还包括：获取第一视频数据，其中，所述第一视频数据包括所述用户在本轮的面部图像数据；从所述第一视频数据中提取表征情绪的第一图像特征；以及将所述第一图像特征拼接到所述拼接特征中。4.根据权利要求3所述的方法，还包括：获取第二图像特征，其中，所述第二图像特征为所述用户在所述前N轮中的各轮中表征情绪的图像特征的加权和；以及将所述第二图像特征拼接到所述拼接特征中。5.根据权利要求1至4中任一项所述的方法，还包括：获取第一生理特征数据，其中，所述第一生理特征数据为所述用户在本轮的生理特征数据；从所述第一生理特征数据中提取表征情绪的第一生理特征；以及将所述第一生理特征...

【专利技术属性】
技术研发人员：徐涛，
申请(专利权)人：浙江连信科技有限公司，
类型：发明
国别省市：