机器人对话方法、系统、机器人和存储介质技术方案

本申请提供一种机器人对话方法、系统、机器人和存储介质，系统包括：机器人，用于采集说话者的语音信号和说话者所在位置的场景图像，确定语音信号对应的第一文本以及场景图像对应的第二文本，并将第一文本和第二文本发送至云端服务器；云端服务器，用于基于预设提示模板获取第一文本和第二文本对应的提示文本，并将提示文本输入至大语言模型，得到与提示文本对应的对话内容，将对话内容发送至机器人，以使得机器人基于对话内容与说话者进行对话交互；预设提示模板用于限定对第一文本和第二文本进行描述的内容格式，提示文本用于引导大语言模型进行推理，这样降低了端到端之间的时延，同时还可以使得机器人更智能地与说话者进行对话。

【技术实现步骤摘要】

本专利技术涉及人工智能，尤其涉及一种机器人对话方法、系统、机器人和存储介质。

技术介绍

1、近年来，随着人工智能技术的快速发展，机器人成为产业界关注的一个热点，各种机器人层出不穷。目前用户主要通过语音对话的方式与机器人进行交互，其对话方案主要在云端完成，然而，对话方案中的特征提取与模型推理等操作耗时较大，在语音对话过程中机器人端到云端之间有一定时延，不能满足语音交互实时性的要求，用户体验不佳。因此，如何降低用户与机器人语音对话过程中机器人端到云端之间时延成为亟需解决的技术问题。

技术实现思路

1、本专利技术实施例提供一种机器人对话方法、系统、机器人和存储介质，用以提高机器人对话系统的性能，不仅降低了用户与机器人语音对话过程中的端到端之间的时延，还可以使得机器人可以更智能地与用户进行对话交互。

2、第一方面，本专利技术实施例提供一种机器人对话系统，所述系统包括：

3、机器人和云端服务器；

4、所述机器人，用于采集说话者的语音信号和所述说话者所在位置的场景图像，确定所述语音信号本文档来自技高网...

【技术保护点】

1.一种机器人对话系统，其特征在于，包括：

2.根据权利要求1所述的系统，其特征在于，所述机器人具体用于：利用语音识别模型对所述语音信号进行文本转换处理，以获得与所述语音信号对应的第一文本。

3.根据权利要求1所述的系统，其特征在于，所述机器人具体用于：利用图像语义分割模型对所述场景图像进行语义分割处理，以获得所述场景图像中各个对象对应的语义信息以及所述各个对象对应的位置信息，并基于所述语义信息和所述位置信息确定所述场景图像对应的第二文本。

4.根据权利要求1所述的系统，其特征在于，所述云端服务器具体于：对所述第二文本添加标签，获得添加标签后的第二文本...

【技术特征摘要】

1.一种机器人对话系统，其特征在于，包括：

2.根据权利要求1所述的系统，其特征在于，所述机器人具体用于：利用语音识别模型对所述语音信号进行文本转换处理，以获得与所述语音信号对应的第一文本。

3.根据权利要求1所述的系统，其特征在于，所述机器人具体用于：利用图像语义分割模型对所述场景图像进行语义分割处理，以获得所述场景图像中各个对象对应的语义信息以及所述各个对象对应的位置信息，并基于所述语义信息和所述位置信息确定所述场景图像对应的第二文本。

4.根据权利要求1所述的系统，其特征在于，所述云端服务器具体于：对所述第二文本添加标签，获得添加标签后的第二文本，基于预设思维链提示模板获取所述第一文本和所述添加标签后的第二文本对应的提示文本；所述标签用于表征场景图像中所包括的各个对象对应的类别，所述预设提示模版包括所述预设思维链提示模版。

5.根据权利要求1所述的系统，其特征在于，所述云端服务器具体用于：利用多模态模型对所述第二文本进行图像视觉信息与语音信息对齐处理，生成与所述语音信号相关联的第三文本，并基于预设思维链提示模板获取所述第一文本和所述第三文本对应的提示文本；所述多模态模型用于理解第二文本的语义，建立图像视觉信息与语音信息之间的关联关系，以...

【专利技术属性】
技术研发人员：李鑫，
申请(专利权)人：达闼机器人股份有限公司，
类型：发明
国别省市：