多模态情感交互方法、智能设备、系统、电子设备及介质技术方案

本发明专利技术涉及一种多模态情感交互方法、智能设备、系统、电子设备及介质，多模态情感交互方法包括确定表征用户情绪的多模态输入参数集合、根据多模态输入参数集合确定用户的当前情绪状态、根据用户的当前情绪状态及预设的情绪回应库，确定反馈给用户的行为表现；以及将确定的行为表现由硬件设备或者虚拟智能体反馈给用户。该多模态情感交互方法通过多通道分别采集表征用户情绪的多种模态参数，然后再通过对所采集的这些模态参数的融合处理，全面准确感知用户的当前面部情绪，避免了传统情感交互方法仅仅基于视觉等单通道识别用户情绪时的误判等不足。误判等不足。误判等不足。

【技术实现步骤摘要】
多模态情感交互方法、智能设备、系统、电子设备及介质


[0001]本专利技术涉及人机情感交互领域，尤其涉及一种多模态情感交互方法、智能设备、系统、电子设备及介质。

技术介绍

[0002]目前，人口老龄化的全球化趋势十分明显。随着人口老龄化程度加深，出现了越来越多的“空巢老人”家庭，这些老年人在日常生活中不仅面临着无人照顾的情况，而且还会面临着情感无人倾诉的困境，严重影响着老年人的身心健康。
[0003]为了解决老年人无人照顾的问题，目前市场上出现了照顾老年人的看护机器人。这些看护机器人虽然可以为老年人的日常生活提供一些护理和照顾，但价格较高且提供的看护功能十分有限，而且也不便于用户(如老年人)升级维护。另外，这些看护机器人往往缺乏多模态情感交互能力，很难与用户建立自然的情感交流，无法正确理解用户真实的情绪状态。
[0004]随着人工智能技术和虚拟现实技术的交叉融合发展，如何利用人工智能和虚拟现实技术，及时地针对用户(尤其是老年人用户)的情感交互给予及时、准确地反馈，已经成为当前情感识别交互领域需要解决的一个技术问题。
专利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多模态情感交互方法，其特征在于，包括如下步骤：确定表征用户情绪的多模态输入参数集合；其中，多模态输入参数集合至少包括表征用户情绪的面部表情信息、语音对话文本信息和肢体动作信息；根据确定的多模态输入参数集合，确定用户的当前情绪状态；根据用户的当前情绪状态以及预设的情绪回应库，确定反馈给用户的行为表现；其中，预设的情绪回应库包括多个预设的情绪状态以及与每一个预设的情绪状态相对应的行为表现，行为表现包括反馈给用户的面部表情、姿态动作、对话文本、对话语音以及音乐音频中的至少一种；将确定的行为表现反馈给用户；其中，该确定的行为表现由硬件设备或者虚拟智能体反馈给用户。2.根据权利要求1所述的多模态情感交互方法，其特征在于，所述多模态输入参数集合中的面部表情信息按照如下步骤a1～a3的方式确定得到：步骤a1，采集用户的面部图像；步骤a2，根据采集的面部图像，提取得到用户的面部特征参数；步骤a3，根据所得用户的面部特征参数以及训练好的表情分类器，得到用户的面部表情信息；其中，用户的面部表情信息包括面部表情类型和嘴部动作类型。3.根据权利要求1所述的多模态情感交互方法，其特征在于，所述多模态输入参数集合中的语音对话文本信息按照如下步骤b1～b3的方式确定得到：步骤b1，采集用户的语音文本信息；步骤b2，根据采集的语音文本信息做出初次判断处理：当采集的语音文本信息中含有预设的情感词汇时，识别出用户的语音文本信息所对应的情感类型；否则，转入步骤b3；步骤b3，根据所采集的语音文本信息做出二次判断处理：当采集的语音文本信息中含有预设的聊天话题词汇时，将该语音文本信息中含有的聊天话题词汇作为用户的语音对话信息，调用预设的聊天话题库；否则，转入步骤b4；步骤b4，调用预设的闲聊对话库，返回步骤b1。4.根据权利要求1所述的多模态情感交互方法，其特征在于，所述多模态输入参数集合中的肢体动作信息按照如下步骤c1～c3的方式确定得到：步骤c1，采集用户的肢体动作数据；其中，用户的肢体动作包括用户的手势动作和手臂动作的至少一种；肢体动作数据为记载有肢体动作的图像或者表征肢体动作的动作参数数据；步骤c2，根据采集的肢体动作数据，提取得到用户的肢体动作特征参数；步骤c3，根据所得用户的肢体动作特征参数以及预设的表征用户情绪的肢体动作特征参数，得到用户的肢体动作信息。5.根据权利要求1～4任一项所述的多模态情感交互方法，其特征在于，所述行为表现按照如下步骤d1～d7的方式确定得到：步骤d1，对所确定用户的当前情绪状态中有无面部表情做出判断：当用户当前情绪状态中没有面部表情时，转入步骤d2；否则，转入步骤d4；步骤d2，对所确定用户的当前情绪状态中有无对话语音...

【专利技术属性】
技术研发人员：刘箴，刘婷婷，柴艳杰，
申请(专利权)人：宁波大学，
类型：发明
国别省市：