System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 障碍物检测方法、装置、机器人及计算机可读存储介质制造方法及图纸_技高网

障碍物检测方法、装置、机器人及计算机可读存储介质制造方法及图纸

技术编号:40793009 阅读:4 留言:0更新日期:2024-03-28 19:22
本申请实施例提供一种障碍物检测方法、装置、机器人及计算机可读存储介质,属于机器人技术领域。该方法包括:根据深度相机内参将深度图片转化为机器人坐标系下的点云数据;根据点云数据中各个像素点的法向量及预设障碍检测区域,从点云数据中获取障碍物点云;通过图片识别模型对普通图片进行物体识别,得到动静态物体分割结果;根据普通图片与深度图片的映射关系,将动静态物体分割结果进行映射,得到深度图片的动静态物体掩码图片;根据动静态物体掩码图片和障碍物点云确定动静态障碍物。这样,能提供丰富、准确的障碍物点云,能够识别细小障碍物及近距离障碍物,并对障碍物点云进行语义信息分割,得到动静态两类障碍物信息。

【技术实现步骤摘要】

本申请涉及机器人,尤其涉及一种障碍物检测方法、装置、机器人及计算机可读存储介质


技术介绍

1、机器人在导航过程中,需要识别障碍物并及时规划路径进行避让,以保证机器周围环境中人、物、以及机器人自身的安全。在复杂场景中,障碍物种类丰富包含静态物体和动态物体,静态物体例如桌子、椅子、吧台和柜子等,以及动态物体例如人及机器人等。由于机器人使用的相机数量有限,单个相机的视野(field of view,fov)有限,导致机器人与障碍物相隔较远时,机器人可以检测到障碍物。随着机器人靠近,障碍物离开相机的视野范围,障碍物信息不全,无法准确定位障碍物位置,不能确定障碍物动静太类别,导致障碍物在盲区容易发生碰撞。


技术实现思路

1、为了解决上述技术问题,本申请实施例提供了一种障碍物检测方法、装置、机器人及计算机可读存储介质。

2、第一方面,本申请实施例提供了一种障碍物检测方法,所述方法包括:

3、根据深度相机内参将深度图片转化为机器人坐标系下的点云数据;

4、根据所述点云数据中各个像素点的法向量及预设障碍检测区域,从所述点云数据中获取障碍物点云;

5、通过图片识别模型对普通图片进行物体识别,得到动静态物体分割结果;

6、根据所述普通图片与所述深度图片的映射关系,将所述动静态物体分割结果进行映射,得到所述深度图片的动静态物体掩码图片;

7、根据所述动静态物体掩码图片和所述障碍物点云确定动静态障碍物。在一实施方式中,所述根据所述动静态物体掩码图片和所述障碍物点云确定动静态障碍物,包括:

8、根据时间戳从所述动静态物体掩码图片和所述障碍物点云中搜索时间对齐的动静态物体掩码图片和障碍物点云;

9、根据动静态物体掩码图片对与其时间对齐的障碍物点云进行空间对齐,并进行动静态物分割,得到所述动静态障碍物。

10、在一实施方式中,根据深度相机内参确定所述深度图片的每个像素在深度相机坐标系下的三维坐标;

11、获取所述机器人坐标系与所述深度相机坐标系的坐标转化关系;

12、根据所述坐标转化关系及所述深度图片的每个像素在深度相机坐标系下的三维坐标,确定所述深度图片的每个像素在所述机器人坐标系下的点云数据。

13、在一实施方式中,所述根据所述点云数据中各个像素点的法向量及预设障碍检测区域,从所述点云数据中获取障碍物点云,包括:

14、将所述点云数据中各个像素点的法向量分解到所述机器人坐标系下的各方向轴上,得到各个像素点的各方向轴上的分量;

15、根据各个像素点的各方向轴上的分量从所述点云数据中确定位于所述预设障碍检测区域的障碍物点云。

16、在一实施方式中,所述通过图片识别模型对普通图片进行物体识别,得到动静态物体分割结果,包括:

17、通过所述图片识别模型对所述普通图片进行特征提取,得到图片特征信息;

18、根据所述图片特征信息对所述普通图片进行物体分割,得到所述物体分割结果。

19、在一实施方式中,获取所述点云数据中各个像素点的法向量,包括:

20、采用最近邻法估计所述点云数据中各个像素点的法向量。

21、在一实施方式中,获取所述图片识别模型,包括:

22、向预设神经网络模型输入动静态图片训练集进行训练,以输出物体识别概率,所述动静态图片训练集包括多个动静态图片,各动静态图片设置动静态对象标签;

23、对比所述物体识别概率和所述动静态对象标签,确定识别结果概率损失;

24、利用梯度下降法对所述预设神经网络模型进行优化,以使得所述识别结果概率到达收敛条件,得到所述图片识别模型。

25、第二方面,本申请实施例提供了一种障碍物检测装置,所述障碍物检测装置包括:

26、转化模块,用于根据深度相机内参将深度图片转化为机器人坐标系下的点云数据;

27、获取模块,用于根据所述点云数据中各个像素点的法向量及预设障碍检测区域,从所述点云数据中获取障碍物点云;

28、识别模块,用于通过图片识别模型对普通图片进行物体识别,得到动静态物体分割结果;

29、处理模块,用于根据所述普通图片与所述深度图片的映射关系,将所述动静态物体分割结果进行映射,以得到所述深度图片的动静态物体掩码图片;

30、确定模块,用于根据所述动静态物体掩码图片和所述障碍物点云确定动静态障碍物。

31、第三方面,本申请实施例提供了一种机器人,包括存储器以及处理器,所述存储器用于存储计算机程序,所述计算机程序在所述处理器运行时执行第一方面提供的障碍物检测方法。

32、第四方面,本申请实施例提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序在处理器上运行时执行第一方面提供的障碍物检测方法。

33、上述本申请提供的障碍物检测方法、装置、机器人及计算机可读存储介质,根据深度相机内参将深度图片转化为机器人坐标系下的点云数据;根据所述点云数据中各个像素点的法向量及预设障碍检测区域,从所述点云数据中获取障碍物点云;通过图片识别模型对普通图片进行物体识别,得到动静态物体分割结果;根据所述普通图片与所述深度图片的映射关系,将所述动静态物体分割结果进行映射,得到所述深度图片的动静态物体掩码图片;根据所述动静态物体掩码图片和所述障碍物点云确定动静态障碍物。这样,根据所述点云数据中各个像素点的法向量及预设障碍检测区域,从所述点云数据中获取障碍物点云,能提供丰富、准确的障碍物点云,能够识别细小障碍物及近距离障碍物,获取空间物体表面足够多的障碍物点云信息能够保证障碍物提取完全,并对障碍物点云进行语义信息分割,分割得到为动态和静态两类障碍物信息,提供保障导航不碰撞所需要的足够分割后的障碍物点云。

本文档来自技高网...

【技术保护点】

1.一种障碍物检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述动静态物体掩码图片和所述障碍物点云确定动静态障碍物,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据深度相机内参将深度图片转化为机器人坐标系下的点云数据,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述点云数据中各个像素点的法向量及预设障碍检测区域,从所述点云数据中获取障碍物点云,包括:

5.根据权利要求1所述的方法,其特征在于,所述通过图片识别模型对普通图片进行物体识别,得到动静态物体分割结果,包括:

6.根据权利要求1-5任一项所述的方法,其特征在于,获取所述点云数据中各个像素点的法向量,包括:

7.根据权利要求1-5任一项所述的方法,其特征在于,获取所述图片识别模型,包括:

8.一种障碍物检测装置,其特征在于,所述装置包括:

9.一种机器人,其特征在于,包括存储器以及处理器,所述存储器存储有计算机程序,所述计算机程序在所述处理器运行时执行权利要求1至7中任一项所述的障碍物检测方法。

10.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的障碍物检测方法。

...

【技术特征摘要】

1.一种障碍物检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述动静态物体掩码图片和所述障碍物点云确定动静态障碍物,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据深度相机内参将深度图片转化为机器人坐标系下的点云数据,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述点云数据中各个像素点的法向量及预设障碍检测区域,从所述点云数据中获取障碍物点云,包括:

5.根据权利要求1所述的方法,其特征在于,所述通过图片识别模型对普通图片进行物体识别,得到动静态物体分割结果,包括:

【专利技术属性】
技术研发人员:熊金冰张申阮丽霞焦继超赖有仿
申请(专利权)人:深圳市优必行科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1