System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 人机交互方法、装置、计算机设备和存储介质制造方法及图纸_技高网

人机交互方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:41269731 阅读:14 留言:0更新日期:2024-05-11 09:24
本申请涉及一种人机交互方法、装置、计算机设备、存储介质和计算机程序产品,通过在用户与虚拟人视频对话的过程中,根据用户的当前情感数据和历史对话数据,生成目标特征向量,通过预先训练的情感识别模型对目标特征向量进行处理,得到用户的当前情感状态,能够准确识别用户的情感状态,并从预先构建的虚拟情感状态库中获取与用户的当前情感状态对应的虚拟情感状态,根据虚拟情感状态更新虚拟人的面部表情和语气状态,使得虚拟人能够根据用户的情感状态更准确地传达信息,从而更有效地回应用户的请求,提高沟通效果,满足用户个性化需求。

【技术实现步骤摘要】

本申请涉及人工智能,特别是涉及一种人机交互方法、装置、计算机设备和存储介质


技术介绍

1、随着数字化银行的兴起,用户越来越倾向于在银行网点内使用自助服务终端和智能虚拟人来办理业务。然而,用户的情感状态在办理业务时可能会有很大的变化。

2、由于虚拟人通常只提供标准化的服务,无法感知或回应这些情感,在与用户的互动过程中显得较为单调和机械化,无法满足用户在情感回应上的需求。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够满足用户个性化需求的人机交互方法、装置、计算机设备和存储介质。

2、第一方面,本申请提供了一种人机交互方法,包括:

3、在用户与虚拟人视频对话的过程中,根据用户的当前情感数据和历史对话数据,生成目标特征向量;

4、通过预先训练的情感识别模型对目标特征向量进行处理,得到用户的当前情感状态;

5、从预先构建的虚拟情感状态库中获取与用户的当前情感状态对应的虚拟情感状态;虚拟情感状态包括预设面部表情和预设语气状态;

6、根据虚拟情感状态更新虚拟人的面部表情和语气状态。

7、在其中一个实施例中,根据用户的当前情感数据和历史对话数据,生成目标特征向量的步骤,包括:

8、对用户的当前情感数据进行特征提取,得到对应的情感特征向量;

9、对历史对话数据进行特征编码,得到对应的画像特征向量;

10、根据情感特征向量和画像特征向量,生成目标特征向量。

11、在其中一个实施例中,当前情感数据包括表情图像、声音、以及语音文本;对用户的当前情感数据进行特征提取,得到对应的情感特征向量的步骤,包括:

12、分别对表情图像、声音、语音文本进行特征提取,得到相应的情感特征;

13、对所有的情感特征进行归一化和标准化处理,得到情感特征向量。

14、在其中一个实施例中,历史对话数据包括历史对话数据及对应的历史对话状态;对历史对话数据进行特征编码,得到对应的画像特征向量的步骤,包括:

15、对历史对话数据进行分割,得到至少一个对话轮次的对话数据;

16、针对每一个对话轮次,对对话轮次的对话数据进行文本编码,得到文本特征,对对话数据对应的历史对话状态进行数值转化,得到文本特征;

17、根据文本特征和文本特征,获取画像特征向量。

18、在其中一个实施例中,虚拟情感状态库的构建过程,包括:

19、根据历史对话状态,获取目标情感类型;

20、确定与目标情感类型对应的虚拟情感状态;

21、通过外观设计工具构建与虚拟情感状态相应的预设面部表情,通过文本转语音引擎构建与虚拟情感状态相应的预设语气状态;

22、基于所有的目标情感类型与相应的预设面部表情、预设语气状态,构建虚拟情感状态库。

23、在其中一个实施例中,该方法还包括:

24、确定用户的当前情感状态对应的情感强烈程度;

25、在情感强烈程度达到预设程度的情况下,触发告警信息,以指示工作人员介入视频对话。

26、第二方面,本申请还提供了一种人机交互装置,包括:

27、向量生成模块,用于在用户与虚拟人视频对话的过程中,根据用户的当前情感数据和历史对话数据,生成目标特征向量;

28、情感识别模块,用于通过预先训练的情感识别模型对目标特征向量进行处理,得到用户的当前情感状态;

29、情感获取模块,用于从预先构建的虚拟情感状态库中获取与用户的当前情感状态对应的虚拟情感状态;虚拟情感状态包括预设面部表情和预设语气状态;

30、情感更新模块,用于根据虚拟情感状态更新虚拟人的面部表情和语气状态。

31、第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现第一方面中任意一项的方法步骤。

32、第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现第一方面中任意一项的方法步骤。

33、第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面中任意一项的方法步骤。

34、上述人机交互方法、装置、计算机设备、存储介质和计算机程序产品,通过在用户与虚拟人视频对话的过程中,根据用户的当前情感数据和历史对话数据,生成目标特征向量,通过预先训练的情感识别模型对目标特征向量进行处理,得到用户的当前情感状态,能够准确识别用户的情感状态,并从预先构建的虚拟情感状态库中获取与用户的当前情感状态对应的虚拟情感状态,根据虚拟情感状态更新虚拟人的面部表情和语气状态,使得虚拟人能够根据用户的情感状态更准确地传达信息,从而更有效地回应用户的请求,提高沟通效果,满足用户个性化需求。

本文档来自技高网
...

【技术保护点】

1.一种人机交互方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述用户的当前情感数据和历史对话数据,生成目标特征向量,包括:

3.根据权利要求2所述的方法,其特征在于,所述当前情感数据包括表情图像、声音、以及语音文本;所述对所述用户的当前情感数据进行特征提取,得到对应的情感特征向量,包括:

4.根据权利要求2所述的方法,其特征在于,所述历史对话数据包括历史对话数据及对应的历史对话状态;所述对所述历史对话数据进行特征编码,得到对应的画像特征向量,包括:

5.根据权利要求4所述的方法,其特征在于,所述虚拟情感状态库的构建过程,包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.一种人机交互装置,其特征在于,所述装置包括:

8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种人机交互方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述用户的当前情感数据和历史对话数据,生成目标特征向量,包括:

3.根据权利要求2所述的方法,其特征在于,所述当前情感数据包括表情图像、声音、以及语音文本;所述对所述用户的当前情感数据进行特征提取,得到对应的情感特征向量,包括:

4.根据权利要求2所述的方法,其特征在于,所述历史对话数据包括历史对话数据及对应的历史对话状态;所述对所述历史对话数据进行特征编码,得到对应的画像特征向量,包括:

5.根据权利要求4所述的方法,其特征在于,所述虚拟情感状态库的...

【专利技术属性】
技术研发人员:赵璐张芬
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1