一种基于点云语义地图的定位方法、装置及机器人制造方法及图纸

本发明专利技术提供了一种基于点云语义地图的定位方法，S1，获取机器人实时获取的实时图像；S2，使用目标检测算法识别所述实时图像中的目标物；S3，从语义地图中语义信息表，获取与所述目标物对应的语义；S4，将所述目标物对应的语义的全部点云根据定位结果进行重投影处理获取重投影后的图像；S5，由所述重投影后的图像与实时获取的目标物构建定位结果优化代价函数；S6，获取轮式里程计给出定位结果的粗值，利用牛顿

【技术实现步骤摘要】
一种基于点云语义地图的定位方法、装置及机器人


[0001]本专利技术涉及机器人
，具体来说，涉及一种基于点云语义地图的定位方法、装置及机器人。

技术介绍

[0002]自主移动机器人要求机器人能实现自主寻径行走能力，实现这一能力前提是机器人知道自己所在位置。因此自主移动机器人的定位技术是近年来研究热点技术之一。目前广泛应用在自主导航移动机器人的定位方式主要为基于点云地图的激光定位方式或者融合GPS提高室外的定位鲁棒性。
[0003]但单独基于点云地图的激光定位，在动态物体(比如车多)的情况下，容易出现定位精度下降甚至位置丢失；此外，在空旷处可以融合GPS定位方式，但同时带来成本的上升，也不能在园区类似有遮挡的场景内使用。
[0004]本文提供的背景描述用于总体上呈现本公开的上下文的目的。除非本文另外指示，在该章节中描述的资料不是该申请的权利要求的现有技术并且不要通过包括在该章节内来承认其成为现有技术。

技术实现思路

[0005]针对相关技术中的上述技术问题，本专利技术提出一种基于点云语义地图的定位方法，其包括如下步骤：
[0006]S1，获取机器人实时获取的实时图像；
[0007]S2，使用目标检测算法识别所述实时图像中的目标物；
[0008]S3，从语义地图中语义信息表，获取与所述目标物对应的语义；
[0009]S4，将所述目标物对应的语义的全部点云根据定位结果进行重投影处理获取重投影后的图像；
[0010]S5，由所述重投影后的图像与实时获取的目标物构建定位结果优化代价函数；
[0011]S6，获取轮式里程计给出定位结果[R|t]的粗值，利用牛顿
‑
高斯法不断调整定位结果[R|t]值，直至定位结果优化代价函数Err([R|t])达到最小，得到最优的定位结果[R|t]。
[0012]具体的，所述步骤S2中的目标检测算法是YOLO。
[0013]具体的，所述语义信息表中记录了语义的类别，位置，大小。
[0014]具体的，所述定位结果优化代价函数为：具体的，所述定位结果优化代价函数为：
[0015]其中pixel(u
Ai
,v
Ai
)表示获取语义A中第i个点云的像素值，因为点云语义每个点都已经带有颜色；pixel(u
ai
,v
ai
)表示获取图像目标物a中第i个点云的像素值。
[0016]第二方面，本专利技术的另一个实施例公开了一种基于点云语义地图的定位装置，其
包括如下单元：
[0017]实时图像获取单元，用于获取机器人实时获取的实时图像；
[0018]目标物检测单元，用于使用目标检测算法识别所述实时图像中的目标物；
[0019]语义获取单元，用于从语义地图中语义信息表，获取与所述目标物对应的语义；
[0020]重投影单元，用于将所述目标物对应的语义的全部点云根据定位结果进行重投影处理获取重投影后的图像；
[0021]定位结果优化代价函数构建单元，用于使用所述重投影后的图像与实时获取的目标物构建定位结果优化代价函数；
[0022]迭代优化单元，用于获取轮式里程计给出定位结果[R|t]的粗值，利用牛顿
‑
高斯法不断调整定位结果[R|t]值，直至定位结果优化代价函数Err([R|t])达到最小，得到最优的定位结果[R|t]。
[0023]具体的，所述目标物检测单元中的目标检测算法是YOLO。
[0024]具体的，所述语义信息表中记录了语义的类别，位置，大小。
[0025]具体的，所述定位结果优化代价函数为：具体的，所述定位结果优化代价函数为：
[0026]其中pixel(u
Ai
,v
Ai
)表示获取语义A中第i个点云的像素值，因为点云语义每个点都已经带有颜色；pixel(u
ai
,v
ai
)表示获取图像目标物a中第i个点云的像素值。
[0027]第三方面，本专利技术的另一个实施例公开了一种非易失性存储器，所述存储器上存储有指令，所述指令被处理器执行时，用于实现如上所述的一种基于点云语义地图的定位方法。
[0028]第四方面，本专利技术的另一个实施例公开了一种机器人，其包括一视觉传感器，一底盘，还包括如上所述的基于点云语义地图的定位装置。
[0029]本专利技术使用图像神经网络算法来识别实时图像中目标物，能鲁棒地检测目标物；此外，本专利技术利用点云语义进行定位(点云语义一般为一些固定物体)，避免受到动态物体的干扰。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1是本专利技术实施例提供的一种基于点云语义地图的定位方法流程图；
[0032]图2是本专利技术实施例提供的点云地图与点云语义地图示意图；
[0033]图3是本专利技术实施例提供的一种基于点云语义地图的定位装置示意图；
[0034]图4是本专利技术实施例提供的一种基于点云语义地图的定位设备示意图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]实施例一
[0037]参考图1，本实施例公开了一种基于点云语义地图的定位方法，其包括如下步骤：
[0038]参考图2，图2(a)是一点云地图，其中在图2(a)左上是一个门，图2(b)是点云语义地图，在图2(b)左上角对应的门使用绿色来表示。点云语义地图是在点云地图上进行改造，一是对每个点云进行赋予实际颜色，使点云地图更真实反映实际场景，二是人工在点云地图进行了特定目标物(即点云语义)的标记，记为语义信息表，其中语义信息表包括语义是属于什么，语义的大小，语义包括的全部点。
[0039]本实施例的语义一般是固定的物体，例如门，建筑物等可以避免动态物体的干扰。
[0040]本实施例的机器人搭载激光雷达或毫米波雷达，一视觉传感器，其中视觉传感器用于实时获取图像，激光雷达或毫米波雷达用于获取点云数据，更为具体的本实施例的机器人还包括一处理单元，一底盘，其中处理单元可以接收指令或者根据激光雷达或毫米波雷达的数据，控制机器人的底盘进行自主行走。本领域技术人员知晓，本实施例的机器人还包括电源单元，用于为机器人提供电力，具体的电源单元可以是锂离子电池等。更为一般的情况，本实施例还包括其他用于实现机器人功能的部件，本实施例不在赘述。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云语义地图的定位方法，其包括如下步骤：S1，获取机器人实时获取的实时图像；S2，使用目标检测算法识别所述实时图像中的目标物；S3，从语义地图中语义信息表，获取与所述目标物对应的语义；S4，将所述目标物对应的语义的全部点云根据定位结果进行重投影处理获取重投影后的图像；S5，由所述重投影后的图像与实时获取的目标物构建定位结果优化代价函数；S6，获取轮式里程计给出定位结果[R|t]的粗值，利用牛顿
‑
高斯法不断调整定位结果[R|t]值，直至定位结果优化代价函数Err([R|t])达到最小，得到最优的定位结果[R|t]。2.根据权利要求1所述的方法，所述步骤S2中的目标检测算法是YOLO。3.根据权利要求1所述的方法，所述语义信息表中记录了语义的类别，位置，大小。4.根据权利要求1的方法，所述定位结果优化代价函数为：4.根据权利要求1的方法，所述定位结果优化代价函数为：其中pixel(u
Ai
,v
Ai
)表示获取语义A中第i个点云的像素值，因为点云语义每个点都已经带有颜色；pixel(u
ai
,v
ai
)表示获取图像目标物a中第i个点云的像素值。5.一种基于点云语义地图的定位装置，其包括如下单元：实时图像获取单元，用于获取机器人实时获取的实时图像；目标物检测单元，用于使用目标检测算法识别所述实时图像中的目标物；语义获取单元，用于从语义地图中语义信息表，...

【专利技术属性】
技术研发人员：袁国斌，柏林，刘彪，舒海燕，袁添厦，沈创芸，祝涛剑，王恒华，方映峰，
申请(专利权)人：广州高新兴机器人有限公司，
类型：发明
国别省市：