仓储机器人定位与地图构建方法、机器人及存储介质技术

本申请实施例提供一种仓储机器人定位与地图构建方法、机器人及存储介质。在本申请实施例中，预先构建仓储环境的语义地图，语义地图包括仓储环境中存在的多个对象及其语义信息；在定位过程中，仓储机器人利用自身图像传感器采集周围环境的图像或视频数据，并识别图像或视频数据中的目标对象及其语义信息，得到该目标对象与仓储机器人的相对位置关系，进而基于该相对位置关系和该目标对象的语义信息，定位仓储机器人在语义地图中的位置。该方法利用基于视觉语义定位的方式，由于直接检测的是明确的目标，检测速度快，语义信息丰富，不容易受其他干扰因素的影响，摆脱了对仓储环境中标志标识的依赖，定位灵活度较高。

【技术实现步骤摘要】
仓储机器人定位与地图构建方法、机器人及存储介质
本申请涉及仓储机器人
，尤其涉及一种仓储机器人定位与地图构建方法、机器人及存储介质。
技术介绍
随着人工智能技术的发展，出现了物流仓储机器人。物流仓储机器人通常工作在仓储环境中，仓储环境通常具有很多货架以及堆放在地面上的物体，环境相对较为复杂。为了辅助仓储机器人定位，在仓储环境中会设置反光条、二维码等标志标识；在建图时，仓储机器人遍历仓储环境，采用即时定位与地图构建(SimultaneousLocalizationandMapping，SLAM)技术构建环境地图，并标注“标志标识”在环境地图上的位置。在定位时，仓储机器人通过检测标志标识相对于机器人本体的位置关系，结合标志标识在环境地图上的位置，推导出仓储机器人在环境地图中的位置。现有仓储定位方法需要在仓储环境中预先布设标志标识，对标志标识的依赖性较强，导致定位灵活度较差。
技术实现思路
本申请的多个方面提供一种仓储机器人定位与地图构建方法、机器人及存储介质，用以摆脱了对仓储环境中标志标识的依赖。本申请实施例提供一种仓储机本文档来自技高网...

【技术保护点】
1.一种仓储机器人定位方法，其特征在于，包括：/n在仓储机器人移动过程中，利用仓储机器人上的图像传感器采集周围仓库环境的图像或视频数据；/n对所述周围仓储环境的图像或视频数据进行目标检测和语义识别，得到仓储机器人周围仓储环境中存在的目标对象及其语义信息；/n基于传感器坐标系和机器人坐标系之间的转换关系，计算所述目标对象与所述仓储机器人的相对位置关系；/n根据所述目标对象与所述仓储机器人的相对位置关系和所述目标对象的语义信息，定位所述仓储机器人在语义地图中的位置，所述语义地图包括仓储环境中存在的多个对象及其语义信息。/n

【技术特征摘要】
1.一种仓储机器人定位方法，其特征在于，包括：
在仓储机器人移动过程中，利用仓储机器人上的图像传感器采集周围仓库环境的图像或视频数据；
对所述周围仓储环境的图像或视频数据进行目标检测和语义识别，得到仓储机器人周围仓储环境中存在的目标对象及其语义信息；
基于传感器坐标系和机器人坐标系之间的转换关系，计算所述目标对象与所述仓储机器人的相对位置关系；
根据所述目标对象与所述仓储机器人的相对位置关系和所述目标对象的语义信息，定位所述仓储机器人在语义地图中的位置，所述语义地图包括仓储环境中存在的多个对象及其语义信息。


2.根据权利要求1所述的方法，其特征在于，基于传感器坐标系和机器人坐标系之间的转换关系，计算所述目标对象与所述仓储机器人的相对位置关系，包括：
计算所述目标对象上的像素点在传感器坐标系下的三维坐标；
基于传感器坐标系和机器人坐标系之间的转换关系，将所述目标对象上的像素点在传感器坐标系下的三维坐标转换到机器人坐标系下；
根据所述目标对象上的像素点在机器人坐标系下的三维坐标，计算出所述目标对象与所述仓储机器人的相对位置关系。


3.根据权利要求2所述的方法，其特征在于，所述图像传感器为单目相机，所述目标对象是与地平面相交的对象或位于地平面上的对象，则计算所述目标对象上的像素点在传感器坐标系下的三维坐标，包括：结合所述单目相机的摄影几何学，计算所述目标对象上与地平面相交的像素点在地平面上的三维坐标；
或者
所述图像传感器为双目相机，则计算所述目标对象上的像素点在传感器坐标系下的三维坐标，包括：采用双目立体匹配算法计算所述目标对象上的像素点在传感器坐标系下的三维坐标；
或者
所述图像传感器为红绿蓝深度图RGBD摄像头，则计算所述目标对象上的像素点在传感器坐标系下的三维坐标，包括：根据采集到的包含所述目标对象的RGB图像和深度图像的匹配关系，计算所述目标对象上的像素点在传感器坐标系下的三维坐标。


4.根据权利要求1所述的方法，其特征在于，根据所述目标对象与所述仓储机器人的相对位置关系和所述目标对象的语义信息，定位所述仓储机器人在语义地图中的位置，包括：
根据所述目标对象的语义信息，确定所述目标对象在语义地图中的位置；
根据所述目标对象与所述仓储机器人的相对位置关系和所述目标对象在语义地图中的位置，定位所述仓储机器人在语义地图中的位置。


5.根据权利要求4所述的方法，其特征在于，根据所述目标对象的语义信息，确定所述目标对象在语义地图中的位置，包括：
基于所述仓储机器人上其它传感器数据，计算所述仓储机器人在语义地图中的初始位置；
根据所述目标对象的语义信息，在所述语义地图中所述初始位置周围查找所述目标对象的位置。


6.根据权利要求5所述的方法，其特征在于，基于所述仓储机器人上其它传感器数据，计算所述仓储机器人在语义地图中的初始位置，包括：
基于所述仓储机器人上的激光传感器数据、惯性测量单元IMU数据以及里程计数据中的至少一种，计算所述仓储机器人在语义地图中的初始位置。


7.根据权利要求1-6中任一项所述的方法，其特征在于，还包括：
在仓储机器人遍历所述仓储环境过程中，利用仓储机器人上的图像传感器采集所述仓储环境的图像或视频数据；
对所述仓储环境的图像或视频数据进行目标检测和语义识别，得到所述仓储环境中存在的多个对象及其语义信息；
基于传感器坐标系和机器人坐标系之间的转换关系，分别计算所述多个对象与所述仓储机器人的相对位置关系；
根据所述多个对象与所述仓储机器人的相对位置关系和所述仓储机器人在采集所述仓储环境的图像或视频数据时在基础环境地图中的位置，将所述多个对象的语义信息添加到所述基础环境地图中以得到仓储环境的语义地图。


8.根据权利要求7所述的方法，其特征在于，在采集所述仓储环境的图像或...

【专利技术属性】
技术研发人员：张广鹏，
申请(专利权)人：灵动科技北京有限公司，
类型：发明
国别省市：北京;11