本发明专利技术适用于机器人技术领域，提供了基于多元融合信息进行情感反馈及信息交互的导诊机器人，包括：硬件部分；对象情绪感知模块，对象情绪感知模块具体包括语音与声纹感知单元、视频图像感知单元和信息融合分析单元，声纹感知单元用于获取情感特征和语义特征；视频图像感知单元用于获取人脸表情特征和人体动作特征；信息融合分析单元用于结合语义特征、情感特征、人脸表情特征和人体动作特征分析得到用户的情绪感知信息；互动对话管理模块，用于根据情绪感知信息并利用头部LED灯、头部显示屏和头部转动关节进行互动表达。提供了一种可融合用户神态、动作和语音多模态信息进行情感反馈及信息交互的智能导诊机器人，提升患者就诊体验满意度。体验满意度。体验满意度。
【技术实现步骤摘要】
基于多元融合信息进行情感反馈及信息交互的导诊机器人
[0001]本专利技术涉及机器人
，具体是涉及一种基于多元融合信息进行情感反馈及信息交互的导诊机器人。
技术介绍
[0002]随着人工智能等技术地发展，智能机器人导诊被越来越多的人使用，但当前各个医院的智能导诊机器人还存在问答死板、交互复杂及无法与患者产生情感共鸣，极易导致患者生出急躁抵触情绪，降低就诊体验满意度和诊疗效率，这也是导致患者长时间滞留而引发医院人满为患问题的根源。例如申请号为201811520542.6的中国专利公开了一种智能问答方法、装置、设备及介质，仅仅能够提供语音的交互，无法识别用户的表情和情感，无法根据情感特征给予人性化的交互。因此，需要提供一种基于多元融合信息进行情感反馈及信息交互的导诊机器人，旨在解决上述问题。
技术实现思路
[0003]针对现有技术存在的不足，本专利技术的目的在于提供一种基于多元融合信息进行情感反馈及信息交互的导诊机器人，以解决上述
技术介绍
中存在的问题。
[0004]本专利技术是这样实现的，基于多元融合信息进行情感反馈及信息交互的导诊机器人，所述导诊机器人包括：硬件部分，硬件部分具体包括人体全方位探测器、头部LED灯、头部显示屏、头部转动关节、读卡器和控制运算单元；对象情绪感知模块，对象情绪感知模块具体包括语音与声纹感知单元、视频图像感知单元和信息融合分析单元，所述声纹感知单元用于基于声纹分析技术提取用户声纹里的情感特征，并利用语音识别技术，识别对象的语音内容，得到语义特征；所述视频图像感知单元用于获取人脸表情特征和人体动作特征；所述信息融合分析单元用于结合语义特征、情感特征、人脸表情特征和人体动作特征分析得到用户的情绪感知信息；互动对话管理模块，用于根据情绪感知信息并利用头部LED灯、头部显示屏以及头部转动关节进行互动表达，并进行语音输出。
[0005]作为本专利技术进一步的方案：所述头部转动关节包括电机，能够实现机器人头部的转动、点头和摇头。
[0006]作为本专利技术进一步的方案：所述头部LED灯能够显示多种颜色，通过不同的颜色表示机器人的不同情绪；所述头部显示屏用于展示机器人的表情和交互的图像文字。
[0007]作为本专利技术进一步的方案：所述人体全方位探测器由RGB
‑
D相机、彩色广角相机、麦克风和喇叭阵列组成，用于捕捉患者的神态、动作和语音信息；RGB
‑
D相机安装于头部，能够准确跟踪用户的脸部；彩色广角相机安装于机器人躯干。
[0008]作为本专利技术进一步的方案：所述视频图像感知单元能够根据近距离的RGB
‑
D图像，识别用户人脸特征标签和人脸表情特征；并根据RGB
‑
D图像和广角镜头图像，基于深度学习
的技术，识别用户的连续肢体动作得到人体动作特征。
[0009]作为本专利技术进一步的方案：所述结合语义特征、情感特征、人脸表情特征和人体动作特征分析得到用户的情绪感知信息的步骤，具体包括：对象情绪建模：设置若干个代表性反向情绪对，为每一个反向情绪对，建立区间为[
‑
1,+1]的量化表达，其中，
‑
1表示该情绪对的反面极端情绪，+1表示该情绪对的正面极端情绪；将对象情绪表示为：多个代表性反向情绪对所对应标量x1,x2,...，xn组成的向量，，其中，表示反向情绪对的个数；对象情绪的信息融合：将语义特征、情感特征、人脸表情特征和人体动作特征采用贝叶斯网络或者深度学习的方式进行辨识，统一表达成向量的形式，其中，将语义特征和情感特征表述为，将人脸表情特征表述为，将人体动作特征表述为，对、和进行信息融合，得到情绪感知信息。
[0010]作为本专利技术进一步的方案：所述对、和进行信息融合，得到情绪感知信息的步骤，具体包括：获取第n时间段的感知数据为获取第n时间段的感知数据为 ，计算相关性：其中，；计算权重：，，；以符号表示融合计算，其融合计算方式如下：其中：
其中，为固定阈值，融合结果为：，为限制运算，表示对向量的每一个元素，当其大于或者等于1时，限制为1，小于或者等于
‑
1时，限制为
‑
1。
[0011]作为本专利技术进一步的方案：所述互动对话管理模块包含DQN对话系统，互动对话管理模块执行步骤的流程为：感知到对象的当前状态S，将当前状态S输入到DQN对话系统中，计算得到执行A，根据执行A进行互动表达和语音输出；得到新的对象感知，包括反馈r和新状态S_；以新状态S_作为输入到DQN系统中，计算下一步的执行动作，依此循环。
[0012]作为本专利技术进一步的方案：执行A建模成：，其中，表示正常对话系统所要进行的语音输出，表示机器人需要做出的情绪表达，通过语音合成进行输出，通过机器人的头部LED灯、头部显示屏、头部转动关节进行输出。
[0013]作为本专利技术进一步的方案：机器人的情绪表达，由头部显示屏中表情的连续渐变表达和头部LED灯以及头部转动关节的分状态表达组合而成。
[0014]作为本专利技术进一步的方案：在每一次循环中，将{S，A，r，S_}作为知识，存放到存储器中，用于后续学习判断。
[0015]与现有技术相比，本专利技术的有益效果是：本专利技术提供了一种可融合用户神态、动作和语音多模态信息进行情感反馈及信息交互的智能导诊机器人，能够获取情绪感知信息并利用头部LED灯、头部显示屏以及头部转动关节进行互动表达，并进行语音输出，更加人性化，极大提升患者就诊体验满意度和就诊效率。
附图说明
[0016]图1为一种基于多元融合信息进行情感反馈及信息交互的导诊机器人的结构示意图。
[0017]图2为一种基于多元融合信息进行情感反馈及信息交互的导诊机器人确定用户的情绪感知信息的流程图。
具体实施方式
[0018]为了使本专利技术的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并
不用于限定本专利技术。
[0019]以下结合具体实施例对本专利技术的具体实现进行详细描述。
[0020]如图1所示，本专利技术实施例提供了一种基于多元融合信息进行情感反馈及信息交互的导诊机器人，所述导诊机器人包括：硬件部分100，硬件部分100具体包括人体全方位探测器、头部LED灯、头部显示屏、头部转动关节、读卡器和控制运算单元；对象情绪感知模块200，对象情绪感知模块200具体包括语音与声纹感知单元、视频图像感知单元和信息融合分析单元，所述声纹感知单元用于基于声纹分析技术提取用户声纹里的情感特征，并利用语音识别技术，识别对象的语音内容，得到语义特征；所述视频图像感知单元用于获取人脸表情特征和人体动作特征；所述信息融合分析单元用于结合语义特征、情感特征、人脸表情特征和人体动作特征分析得到用户的情绪感知信息；互动对话管理模块300，用于根据情绪感知信息并利用头部LED灯、头部显示屏以及头部转动关节进行互动表达，并进行语音输出。...
【技术保护点】
【技术特征摘要】
1.基于多元融合信息进行情感反馈及信息交互的导诊机器人，其特征在于，所述导诊机器人包括：硬件部分，硬件部分具体包括人体全方位探测器、头部LED灯、头部显示屏、头部转动关节、读卡器和控制运算单元；对象情绪感知模块，对象情绪感知模块具体包括语音与声纹感知单元、视频图像感知单元和信息融合分析单元，所述声纹感知单元用于基于声纹分析技术提取用户声纹里的情感特征，并利用语音识别技术，识别对象的语音内容，得到语义特征；所述视频图像感知单元用于获取人脸表情特征和人体动作特征；所述信息融合分析单元用于结合语义特征、情感特征、人脸表情特征和人体动作特征分析得到用户的情绪感知信息；互动对话管理模块，用于根据情绪感知信息并利用头部LED灯、头部显示屏以及头部转动关节进行互动表达，并进行语音输出。2.根据权利要求1所述的基于多元融合信息进行情感反馈及信息交互的导诊机器人，其特征在于，所述结合语义特征、情感特征、人脸表情特征和人体动作特征分析得到用户的情绪感知信息的步骤，具体包括：对象情绪建模：设置若干个代表性反向情绪对，为每一个反向情绪对，建立区间为[
‑
1,+1]的量化表达，其中，
‑
1表示该情绪对的反面极端情绪，+1表示该情绪对的正面极端情绪；将对象情绪表示为：多个代表性反向情绪对所对应标量x1,x2,...，xn组成的向量，，其中，表示反向情绪对的个数；对象情绪的信息融合：将语义特征、情感特征、人脸表情特征和人体动作特征采用贝叶斯网络或者深度学习的方式进行辨识，统一表达成向量的形式，其中，将语义特征和情感特征表述为，将人脸表情特征表述为，将人体动作特征表述为，对、和进行信息融合，得到情绪感知信息。3.根据权利要求2所述的基于多元融合信息进行情感反馈及信息交互的导诊机器人，其特征在于，所述对、和进行信息融合，得到情绪感知信息的步骤，具体包括：获取第n时间段的感知数据为获取第n时间段的感知数据为获取第n时间段的感知数据为，计算相关性：
其中，；计算权重：，，；以符号表示融合计算，其融合计算方式如下：其中：其中，为固定阈值，融合结果为：，为限制运算，表示对向量的每一个元素，当其大于或者等于1时，限制为1，小于或者等于
‑
1时，限制为<...
【专利技术属性】
技术研发人员：彭盼，彭能，陈放，丁磊，柏晓乐，王玮琪，
申请(专利权)人：深圳市神州云海智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。