System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种墙角族语义尺寸链构建系统及方法技术方案_技高网

一种墙角族语义尺寸链构建系统及方法技术方案

技术编号:40602459 阅读:4 留言:0更新日期:2024-03-12 22:07
本发明专利技术提出了一种墙角族语义尺寸链构建系统及方法。机器人融合多传感器信息并基于yolo算法获取物体和墙角的语义信息,根据对应时刻室内环境中每个物体和墙角的位置、类别以及彩色图像的深度信息映射到语义映射图上;机器人通过gmapping算法构建二维栅格地图,再将语义映射图和二维栅格地图合并得到合并后的语义地图;机器人根据合并语义地图中各墙角之间、墙角与室内物体之间的类别和位置关系构建墙角族语义尺寸链,并得到相应的检索表;机器人实时在室内环境中移动,根据识别到的墙角数量、墙角与室内物体之间的类别和位置关系在检索表中查找,查找成功后进行预定位。本发明专利技术为机器人定位提供丰富且稳定的信息,对移动机器人领域具有重要的意义。

【技术实现步骤摘要】

本专利技术属于机器人平台建图定位导航,具体涉及一种墙角族语义尺寸链构建系统及方法


技术介绍

1、随着移动机器人技术的不断发展,其应用范围也越来越广泛,尤其是在室内智能服务、物流仓储等领域。当今室内移动机器人领域最重要的问题是如何准确且快速地实现机器人的定位导航。在实际场景下,移动机器人需要获取周围环境的信息,以实现自主导航、路径规划等功能。而作为定位核心的slam技术取得了良好的效果,但如何提高移动机器人定位的实时性和鲁棒性一直是业界探索的焦点。


技术实现思路

1、为了解决现有技术问题,本专利技术提出一种墙角族语义尺寸链构建系统及方法。

2、墙角作为室内环境中的稳定特征,能为机器人提供更加准确的定位参考。首先融合机器人多传感器信息并基于gmapping算法构建二维栅格地图,其次基于yolov5的目标检测方法提取室内环境的墙角语义和物体语义信息,结合grabcut算法和贝叶斯方法增量式构建语义映射地图,然后将二维栅格地图和语义映射图合并得到语义地图。根据场景中各物体之间的距离关系构建出墙角族语义尺寸链,并基于墙角族语义尺寸链进行全局预定位。

3、本专利技术系统的技术方案为一种墙角族语义尺寸链构建系统,包括:

4、机器人平台底盘、主控机、深度相机、激光雷达、电子罗盘;

5、所述的机器人平台底盘装载所述的主控机、深度相机、激光雷达、电子罗盘;

6、所述主控机分别与所述的机器人平台底盘、深度相机、激光雷达、电子罗盘通过有线方式依次连接;

7、本专利技术方法的技术方案为一种墙角族语义尺寸链构建方法,包括以下步骤:

8、通过深度相机连续采集多个时刻的彩色图像,通过激光雷达连续采集多个时刻的点云数据,通过电子罗盘连续采集多个时刻的航向角;

9、机器人通过yolo目标检测算法获取物体的语义信息、墙角的语义信息,根据对应时刻室内环境中每个物体的位置、类别以及彩色图像的深度信息,通过坐标转换映射到语义映射图上;根据对应时刻室内环境中每个墙角的位置、类别以及彩色图像的深度信息,通过坐标转换映射到语义映射图上;

10、机器人通过gmapping算法构建二维栅格地图;将语义映射图和二维栅格地图原点重合、位置对齐以及坐标转换的操作后,再将语义映射图和二维栅格地图合并得到合并后的语义地图;

11、机器人根据合并语义地图中各墙角之间、墙角与室内物体之间的类别和位置关系,以顺时针为正方向沿墙构建墙角族语义尺寸链,并得到相应的检索表;

12、机器人实时在室内环境中移动,当深度相机识别到的墙角数量大于等于墙角数量阈值时,根据墙角的类别和两墙角之间的距离在检索表中查找,查找成功后进行预定位;当识别到的墙角数量为1时,根据墙角的类别和墙角周围物体的类别在检索表中查找,查找成功后进行预定位。

13、步骤1:机器人选取室内边缘的一处凹墙角为起点,沿着该墙角的一面墙壁出发,通过深度相机连续采集多个时刻的彩色图像,通过激光雷达连续采集多个时刻的点云数据,通过电子罗盘连续采集多个时刻的航向角,遍历整个室内环境,直至回到起点;

14、步骤2:机器人通过yolo目标检测算法获取物体的语义信息、墙角的语义信息,若对应时刻彩色图像存在物体,则标记出对应时刻室内环境中每个物体的位置、类别;若对应时刻彩色图像存在墙角,则标记出对应时刻室内环境中每个墙角的位置、类别,并结合对应时刻的航向角以及激光雷达的点云数据区分对应时刻彩色图像中每个墙角的方向性;根据对应时刻室内环境中每个物体的位置、类别以及彩色图像的深度信息,通过坐标转换映射到语义映射图上;根据对应时刻室内环境中每个墙角的位置、类别以及彩色图像的深度信息,通过坐标转换映射到语义映射图上;

15、步骤3:机器人通过gmapping算法构建二维栅格地图;将语义映射图和二维栅格地图原点重合、位置对齐以及坐标转换的操作后,再将语义映射图和二维栅格地图合并得到合并后的语义地图。

16、步骤4:机器人根据合并语义地图中各墙角之间、墙角与室内物体之间的类别和位置关系,以顺时针为正方向沿墙构建墙角族语义尺寸链,并得到相应的检索表,检索表中存储了每个墙角各自的类别属性,还有上游墙角、下游墙角、上下游墙角的距离信息以及墙角周围物体信息。

17、步骤5:机器人实时在室内环境中移动,通过深度相机采集当前时刻的彩色图像,通过激光雷达采集当前时刻的点云数据,通过电子罗盘获取当前时刻机器人的航向角;当深度相机识别到的墙角数量大于等于墙角数量阈值时,根据墙角的类别和两墙角之间的距离在检索表中查找,查找成功后进行预定位;当识别到的墙角数量为1时,根据墙角的类别和墙角周围物体的类别在检索表中查找,查找成功后进行预定位。

18、作为优选,步骤2所述物体的类别为:门、柜子、垃圾桶、椅子、凳子;

19、步骤2所述墙角的类别为:分为凹墙角和凸墙角;

20、步骤2所述结合对应时刻航向角区分对应时刻彩色图像中每个墙角方向性的算法为:

21、机器人对室内墙面主方向进行判断,以步骤1中所选的起点凹墙角为基准,将机器人视角下左墙壁作为x轴正方向,右墙壁作为y轴正方向,将机器人平行于y轴正方向的航向角置为0°;

22、所述墙面的方向角定义为:机器人平行于墙面延申方向时电子罗盘所示的航向角。当机器人识别到墙角时,将对应时刻电子罗盘所示的航向角记为yawt。将雷达提取到的墙面点云信息进行直线拟合,通过直线的斜率来确定墙面为左墙面还是右墙面;

23、当直线的斜率大于0时,该墙面为左墙壁。当识别到的墙角为凹墙角时,利用下式计算该墙壁的方向角,式中βt,k表示对应时刻识别到第k个墙壁的方向角,θt,k表示对应时刻机器人朝向与第k个墙壁形成的夹角,θt,k的范围在0°-90°,当未识别到墙角时将θt,k置为0:

24、βt,k=yawt+θt,k+180°

25、当识别到的墙角为凸墙角时,利用下式计算该墙壁的方向角:

26、βt,k=yawt-θt,k+180°

27、当直线的斜率小于0时,该墙面为右墙壁。当识别到的墙角为凸墙角时,利用下式计算该墙壁的方向角,式中βt,k表示对应时刻识别到第k个墙壁的方向角,θt,k表示对应时刻机器人朝向与第k个墙壁形成的夹角,θt,k的范围在0°-90°,当未识别到墙角时将θt,k置为0:

28、βt,k=yawt-θt,k+180°

29、当识别到的墙角为凹墙角时,利用下式计算该墙壁的方向角:

30、βt,k=yawt+θt,k+180°

31、每个墙角的方向角定义为构成墙角的两个墙面方向角之和的一半;将第一类墙角的方向角定义为225°,给正负10°的允许误差,则其方向角的检索范围为215°-235°;将第二类墙角的方向角定义为135°,给正负10°的允许误差,则其方向角的检索范围为125°-145°;将第三本文档来自技高网...

【技术保护点】

1.一种墙角族语义尺寸链构建系统,其特征在于,包括:

2.一种应用于权利要求1所述的墙角族语义尺寸链构建系统的墙角族语义尺寸链构建方法,其特征在于:包括以下步骤:

3.根据权利要求2所述的墙角族语义尺寸链构建方法,其特征在于:步骤2所述物体的类别为:门、柜子、垃圾桶、椅子、凳子;

4.根据权利要求3所述的墙角族语义尺寸链构建方法,其特征在于:步骤4所述构建墙角族尺寸链,具体如下:

5.根据权利要求4所述的墙角族语义尺寸链构建方法,其特征在于:步骤5所述全局预定位的流程为:

【技术特征摘要】

1.一种墙角族语义尺寸链构建系统,其特征在于,包括:

2.一种应用于权利要求1所述的墙角族语义尺寸链构建系统的墙角族语义尺寸链构建方法,其特征在于:包括以下步骤:

3.根据权利要求2所述的墙角族语义尺寸链构建方法,其特征在于:步骤2所述物...

【专利技术属性】
技术研发人员:蒋林杨文琦李云飞雷斌蒋俊
申请(专利权)人:武汉科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1