一种人机交互机器人制造技术

本发明专利技术公开一种人机交互机器人，涉及人机交互技术领域，该机器人包括：图像检测模块对输入的图像进行用户位置信息识别和用户表情识别；所述用户位置信息包括中心坐标、景深、在画面中所占面积和用户位置与相机之间的距离；声音识别模块对输入的用户声音进行用户情绪识别；用户界面显示用户位置信息、用户表情和用户情绪；大语言模型根据用户位置信息、用户表情和用户情绪输出反馈信息；反馈信息包括文字信息和语音信息；机械臂根据反馈信息从设定动作库中提取与反馈信息匹配的反馈动作并输出；设定动作库用于存储多个反馈动作，且各反馈动作绑定多个信息关键字。本发明专利技术可实现文字、语音和动作多模态的信息交互，提高了信息交互的多样性。交互的多样性。交互的多样性。

【技术实现步骤摘要】
一种人机交互机器人


[0001]本专利技术涉及人机交互
，特别是涉及一种人机交互机器人。

技术介绍

[0002]当前，智能服务机器人与服务对象的交互主要是通过语音实现。智能服务机器人与服务对象的交互方式单一，不能与用户进行多模态的信息交互。

技术实现思路

[0003]本专利技术的目的是提供一种人机交互机器人，可实现文字、语音和动作多模态的信息交互，提高了信息交互的多样性。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种人机交互机器人，包括：
[0006]相机，用于获取用户图像；
[0007]图像检测模块，用于对输入的用户图像进行用户位置信息识别和用户表情识别；所述用户位置信息包括中心坐标、景深、在画面中所占面积和用户位置与所述相机之间的距离；
[0008]声音识别模块，用于对采集的用户声音进行用户情绪识别；
[0009]用户界面，用于显示所述图像检测模块输出的用户位置信息和用户表情，还用于显示所述声音识别模块输出的用户情绪；
[0010]大语言模型，用于根据用户位置信息、用户表情和用户情绪，输出反馈信息；所述反馈信息包括文字信息和语音信息；
[0011]机械臂，用于根据反馈信息从设定动作库中提取与所述反馈信息匹配的反馈动作并输出；所述设定动作库用于存储多个反馈动作，且各反馈动作绑定多个信息关键字。
[0012]可选地，所述图像检测模块包括目标识别模型，所述目标识别模型是根据训练集对yolov5网络进行训练得到的，所述训练集中样本数据包括输入数据和标签数据，所述输入数据为包含样本目标图像，标签数据为样本目标图像对应的目标框。
[0013]可选地，所述图像检测模块还包括人脸识别模型，所述人脸识别模型用于识别用户表情，所述人脸识别模型包括Facerecognition。
[0014]可选地，所述声音识别模块包括声音识别模型，所述声音识别模型为Speechrecognition。
[0015]可选地，所述反馈信息包括反馈文字信息和反馈表情，所述反馈表情为从设定表情库中提取的与所述反馈文字信息匹配的表情，所述设定表情库用于预设多种表情，且每种表情绑定多个表情关键字。
[0016]可选地，所述用户界面还用于输入用户需求信息，所述用户需求信息包括用户情绪。
[0017]可选地，所述大语言模型包括ChatGPT。
[0018]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0019]本专利技术通过大语言模型根据用户位置信息、用户表情和用户情绪，输出反馈信息；所述反馈信息包括文字信息和语音信息；通过机械臂根据反馈信息从设定动作库中提取与所述反馈信息匹配的反馈动作并输出，实现了机器人与用户文字、语音和动作的多模态的信息交互，提高了信息交互的多样性，进而提高了用户体验。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021]图1为本专利技术实施例提供的一种人机交互机器人结构示意图；
[0022]图2为本专利技术实施例提供的一种人机交互机器人硬件结构示意图。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]本专利技术的目的是提供一种人机交互机器人，可实现文字、语音和动作多模态的信息交互，提高了信息交互的多样性。
[0025]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0026]如图1所示，本专利技术提供的一种人机交互机器人，包括依次连接的图像检测模块、声音识别模块、用户界面、大语言模型和机械臂。
[0027]一种人机交互机器人还包括相机，相机设置在所述机械臂上，所述相机用于获取用户图像。
[0028]图像检测模块，用于对输入的用户图像进行用户位置信息识别和用户表情识别；所述用户位置信息包括中心坐标、景深、在画面中所占面积、以及用户位置与相机之间的距离。
[0029]声音识别模块，用于对采集的用户声音进行用户情绪识别。
[0030]用户界面，用于显示所述图像检测模块输出的用户位置信息和用户表情，还用于显示所述声音识别模块输出的用户情绪。
[0031]所述用户界面还用于输入用户需求信息，所述用户需求信息包括用户情绪。
[0032]大语言模型，用于根据用户位置信息、用户表情和用户情绪，输出反馈信息；所述反馈信息包括文字信息和语音信息。
[0033]用户表情包括微笑、大笑、难过、伤心和哭泣等。
[0034]用户情绪包括开心、难过、愤怒和恐惧等。
[0035]用户位置信息、用户表情和用户情绪通过文字形式输入到大语言模型。大语言模
型对输入的文字信息进行逻辑分析，输出反馈信息，实现与人的交互。
[0036]机械臂，用于根据反馈信息从设定动作库中提取与所述反馈信息匹配的反馈动作并输出；所述设定动作库用于存储多个反馈动作，且各反馈动作绑定多个信息关键字。
[0037]机械臂包括音频设备，所述音频设备用于机械臂输出反馈动作时，输出与反馈动作相匹配的音乐。反馈动作和音乐是事先匹配好的。
[0038]机械臂能够调整相机与拍摄主体的距离，相机与拍摄主体的距离通过拍摄主体所占画面的像素点的数量决定，或者由相机自动对焦的距离参数决定。
[0039]所述大语言模型包括ChatGPT(ChatGenerativePre
‑
trainedTransformer，生成式预训练转化器)。
[0040]如图2所示，本专利技术一种人机交互机器人还包括机器人底座300，机器人底座300设置在地面上，机械臂200设置在机器人底座上。机器人底座300可以为移动平台。机械臂200搭载相机100。
[0041]作为具体实施方式，在实际实施中相机固定在机械臂末端，跟随机械臂运动，相机、机械臂和机器人底座等形成一体化的系统；当然相机也可以放置在机械臂以外的固定位置。
[0042]所述图像检测模块包括目标识别模型，所述目标识别模型是根据训练集对yolov5网络进行训练得到的，所述训练集中样本数据包括输入数据和标签数据，所述输入数据为包含样本目标图像，标签数据为样本目标图像对应的目标框。
[0043]所述图像检测模块还包括人脸识别模型，所述人脸识别模型用于识别用户表情，所述人脸识别模型包括Facerecognition。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人机交互机器人，其特征在于，包括：相机，用于获取用户图像；图像检测模块，用于对输入的用户图像进行用户位置信息识别和用户表情识别；所述用户位置信息包括中心坐标、景深、在画面中所占面积和用户位置与所述相机之间的距离；声音识别模块，用于对采集的用户声音进行用户情绪识别；用户界面，用于显示所述图像检测模块输出的用户位置信息和用户表情，还用于显示所述声音识别模块输出的用户情绪；大语言模型，用于根据用户位置信息、用户表情和用户情绪，输出反馈信息；所述反馈信息包括文字信息和语音信息；机械臂，用于根据反馈信息从设定动作库中提取与所述反馈信息匹配的反馈动作并输出；所述设定动作库用于存储多个反馈动作，且各反馈动作绑定多个信息关键字。2.根据权利要求1所述的人机交互机器人，其特征在于，所述相机设置在所述机械臂上。3.根据权利要求1所述的人机交互机器人，其特征在于，所述图像检测模块包括目标识别模型，所述目标识别模型是根据训练集对yolov5网络进行训练得到的，所...

【专利技术属性】
技术研发人员：朱国牛，包泽宇，谈金林，王邵丰，丁文超，管宇翔，甘中学，白卫邦，
申请(专利权)人：复旦大学，
类型：发明
国别省市：