一种具身机器人视觉交互方法、系统、终端及介质技术方案

技术编号:43549905 阅读:22 留言:0更新日期:2024-12-03 12:32
本申请涉及一种具身机器人视觉交互方法、系统、终端及介质,包括获取机器人的视觉图像数据,视觉图像数据包括RGB图像、深度图像和红外图像;将视觉图像数据输入至预先训练好的图像处理模型中进行处理,得到得到视觉图像数据的特征点数据;使用多模态特征融合算法对视觉图像数据的特征点数据进行深度融合,生成机器人周围环境的空间感知数据;基于空间感知数据,进行三维重建和场景分析,得到识别分析结果;根据识别分析结果,生成机器人的交互方案,交互方案包括路径规划、与物体的交互动作和语音语调;根据机器人的交互方案,调整机器人的行为策略。本申请具有提高具身机器人视觉交互的准确性的效果。

【技术实现步骤摘要】

本申请涉及电机控制的,尤其是涉及一种具身机器人视觉交互方法、系统、终端及介质


技术介绍

1、目前,随着机器人技术的快速发展,具身机器人已在多个领域得到应用。在具身智能机器人的发展过程中,视觉系统作为其核心组成部分,对机器人的环境感知、场景理解和智能交互起着至关重要的作用。传统机器人视觉系统多采用平面成像技术,面临空间感知精度低、复杂场景理解受限等问题,影响了用户体验。

2、上述中的现有技术方案存在以下缺陷:目前,市场上主流的具身机器人通常采用基于传统计算机视觉算法进行交互,这些算法在处理复杂场景时的识别精度低,因此存在改善空间。


技术实现思路

1、为了提高具身机器人视觉交互的准确性,本申请提供一种具身机器人视觉交互方法、系统、终端及介质。

2、本申请的上述专利技术目的一是通过以下技术方案得以实现的:

3、一种具身机器人视觉交互方法,所述一种具身机器人视觉交互方法包括:

4、获取机器人的视觉图像数据,所述视觉图像数据包括rgb图像、深度图像和红外图像;

<本文档来自技高网...

【技术保护点】

1.一种具身机器人视觉交互方法,其特征在于,所述一种具身机器人视觉交互方法包括:

2.根据权利要求1所述的一种具身机器人视觉交互方法,其特征在于,所述获取机器人的视觉图像数据包括:

3.根据权利要求1所述的一种具身机器人视觉交互方法,其特征在于,在所述将所述视觉图像数据输入至预先训练好的图像处理模型中进行处理,得到所述得到所述视觉图像数据的特征点数据之前,所述一种具身机器人视觉交互方法还包括:

4.根据权利要求1所述的一种具身机器人视觉交互方法,其特征在于,所述将所述视觉图像数据输入至预先训练好的图像处理模型中进行处理,得到所述得到所述视觉图像数据的特...

【技术特征摘要】

1.一种具身机器人视觉交互方法,其特征在于,所述一种具身机器人视觉交互方法包括:

2.根据权利要求1所述的一种具身机器人视觉交互方法,其特征在于,所述获取机器人的视觉图像数据包括:

3.根据权利要求1所述的一种具身机器人视觉交互方法,其特征在于,在所述将所述视觉图像数据输入至预先训练好的图像处理模型中进行处理,得到所述得到所述视觉图像数据的特征点数据之前,所述一种具身机器人视觉交互方法还包括:

4.根据权利要求1所述的一种具身机器人视觉交互方法,其特征在于,所述将所述视觉图像数据输入至预先训练好的图像处理模型中进行处理,得到所述得到所述视觉图像数据的特征点数据包括:

5.根据权利要求1所述的一种具身机器人视觉交互方法,其特征在于,所述基于所述空间感知数据,进行三维重建和场景分析,识别所述机器人所处环境中的关键交互对象和障...

【专利技术属性】
技术研发人员:张永攀
申请(专利权)人:上海归墟机器人科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1