机器人及其感知方法技术

本发明专利技术公开一种机器人及其感知方法。该机器人包括主体、设于主体顶部的摄像双目模组及与摄像双目模组电连接的感知模块，其中，摄像双目模组相对于主体顶面的设置角度使其垂直视场包括所述主体顶面所在水平面以上的部分和水平面以下的部分，并使其水平视场覆盖主体的正面行进方向。该机器人的感知方法包括：接收双目摄像模组采集的同一目标不同角度的图像，形成目标的立体图像；检测立体图像中的特征，并根据特征进行跟踪；根据所跟踪的特征，进行机器人的位姿估计。这种机器人及其感知方法将摄像双目模组设在机器人顶部，由于采用双目结构，可避免单目的尺度模糊性，由于放置在机器人顶部，可识别到更丰富的环境信息，可提高视觉SLAM等算法的效果。视觉SLAM等算法的效果。视觉SLAM等算法的效果。

【技术实现步骤摘要】
机器人及其感知方法


[0001]本专利技术涉及机器人的物体识别和自身定位技术，尤其涉及一种机器人及其感知方法。

技术介绍

[0002]机器人比如扫地机器人作为解放双手的智能家居设备，越来越受到消费者的认可。扫地机器人要在室内环境进行清扫工作，需要实时地感知自身和环境的信息，进行物体识别，自身定位，实时建图，避开障碍物，路径规划，回环检测，以及在遇到机器人“绑架”问题时进行全局重定位。从信息论的角度上看，获取的信息越多，信息越丰富，就越能为以上的机器人作业任务提供更多的线索，结合对应的感知算法，进而提高扫地机器人的工作效率、清扫质量及用户体验。
[0003]目前主流的扫地机器人环境感知方案包括2D
‑
Lidar感知方案、单目感知方案、以及双目水平前置感知方案。
[0004]2D
‑
Lidar是通过向环境发射激光，并通过接收返回激光的时间或者相位信息，计算离障碍物的距离。2D
‑
lidar是对环境信息的降采样，信息量少，会严重丢失环境的结构化信息以及显著特征，不容易识别较小的障碍物，同时由于信息量少，很难提取稳定的环境特征点，因此在部署回环检测算法以及在位置丢失进行重定位时会遇到非常大的挑战，导致扫地机器人的工作的鲁棒性较差。
[0005]单目感知方案包括单目水平侧面设置以及置顶设置方式。图1A和图1B分别为现有技术中一种单目水平侧面设置方式的机器人的顶视图和侧视图。图2A和图2B分别为现有技术中一种单目置顶设置方式的机器人的顶视图和侧视图。如图1A、1B、2A和2B所示，单目摄像头通过水平放置在侧面以及置顶往上看，单目摄像头相对于2D
‑
Lidar可以感知到环境更多的结构化信息、颜色信息，扫地机器人可以充分利用这些信息，例如利用通过提取SIFT/SURF/ORB特征进行机器人位姿估计，利用DBoW模型进行回环检测和重定位，极大地提高了系统的鲁棒性。但是，单目缺乏尺度信息，在长期的清扫工作中，容易尺度模糊，进而影响位姿估计的精度、建图的效果、以及导航准确度。
[0006]在意识到单目方案的缺陷后，陆续有人提出双目方案，将双目安装在机器人侧面。图3A和图3B分别为现有技术中一种双目侧面设置方式的机器人的顶视图和侧视图。双目方案具有单目方案所拥有的所有优点，同时，由于双目的存在，在同一时刻对同一物体有两次观测信息，可以通过视差信息得到深度信息，使得在设计滤波器或者优化算法对尺度信息进行估计时，原本不可观测的尺度信息变得可观。但是目前的双目方案都是前置水平放置，由于扫地机器人特别低，并且工作在地面，导致双目的视野大部分是观测到地面，无法看到墙角、天花板等信息，感知的信息非常有限，极大限制了后端算法性能的提高。
[0007]2D
‑
Lidar存在信息量过少、很难部署回环检测和重定位算法；单目方案缺乏尺度信息、存在尺度模糊等严重问题；水平前置的双目方案存在视野受限，极大降低了环境感知能力。

技术实现思路

[0008]本专利技术要解决的技术问题是提供一种机器人及其感知方法，由于采用双目可以避免尺度模糊性，双目安装在机器人顶部，相比安装在机器人侧面，可以获取更丰富的环境信息。
[0009]为解决上述技术问题，本专利技术采用如下技术方案：
[0010]一方面，本专利技术提出一种机器人。所述机器人包括主体、设于所述主体顶部的摄像双目模组、以及与所述摄像双目模组电连接的感知模块，其中，所述摄像双目模组相对于所述主体顶面的设置角度使其垂直视场包括所述主体顶面所在水平面以上的部分和水平面以下的部分，并且使其水平视场覆盖所述主体的行进方向。
[0011]可选地，对于所述机器人，所述摄像双目模组中的前置摄像头可以为270
°
摄像头。
[0012]可选地，所述机器人还包括里程计和/或惯性测量单元。
[0013]可选地，对于所述机器人，所述摄像双目模组的两个摄像装置的中心连线相对于所述机器人主体的前后方向平行。
[0014]可选地，对于所述机器人，所述摄像双目模组的两个摄像装置的中心连线相对于所述机器人主体的左右方向平行。
[0015]可选地，对于所述机器人，所述摄像双目模组包括普通摄像双目模组、广角摄像双目模组、以及鱼眼摄像双目模组中至少一种双目模组。
[0016]另一方面，本专利技术提出一种机器人的感知方法。所述机器人的感知方法包括：接收双目摄像模组采集的同一目标不同角度的图像，形成目标的立体图像；检测立体图像中的特征，并根据特征进行跟踪；根据所跟踪的特征进行机器人的位姿估计。
[0017]可选地，所述机器人的感知方法还包括：接收里程计和/或惯性测量单元检测的数据并进行航机推算，预测机器人的位姿；所述根据所跟踪的特征进行机器人的位姿估计包括：根据所跟踪的特征，结合预测的机器人的位姿信息，进行机器人的位姿估计。
[0018]可选地，对于所述机器人的感知方法，在根据所跟踪的特征进行机器人的位姿估计之后，还包括：根据位姿和特征，建立地图以实现机器人定位和重定位。
[0019]可选地，对于所述机器人的感知方法，根据特征进行跟踪包括根据光流特征进行跟踪。
[0020]可选地，对于所述机器人的感知方法，接收双目摄像模组采集的同一目标不同角度的图像，形成目标的立体图像，包括：对于目标的立体图像的第一帧进行初始化。
[0021]可选地，对于所述机器人的感知方法，接收双目摄像模组采集的同一目标不同角度的图像，形成目标的立体图像，包括：从目标的立体图像中识别目标。
[0022]与现有技术相比，本专利技术技术方案主要的优点如下：
[0023]本专利技术实施例的机器人及其感知方法将摄像双目模组部署在机器人的顶部，由于采用双目结构，可以避免单目的尺度模糊性，由于放置在机器人顶部，可以识别到更加丰富的环境信息，可以极大提高视觉SLAM等算法的效果。
附图说明
[0024]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术
的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0025]图1A和图1B分别为现有技术中一种单目水平侧面设置方式的机器人的顶视图和侧视图；
[0026]图2A和图2B分别为现有技术中一种单目置顶设置方式的机器人的顶视图和侧视图；
[0027]图3A和图3B分别为现有技术中一种双目侧面设置方式的机器人的顶视图和侧视图；
[0028]图4A和图4B分别为本专利技术一个示例提供的双目置顶且前后设置方式的机器人的顶视图和侧视图；
[0029]图5A和图5B分别为本专利技术一个示例提供的双目置顶且左右设置方式的机器人的顶视图和侧视图；
[0030]图6A和图6B分别为本专利技术一个示例提供的鱼眼摄像双目模组置顶设置的机器人的顶视图和侧视图；
[0031]图7A和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人，其特征在于，包括主体、设于所述主体顶部的摄像双目模组、以及与所述摄像双目模组电连接的感知模块，其中，所述摄像双目模组相对于所述主体顶面的设置角度使其垂直视场包括所述主体顶面所在水平面以上的部分和水平面以下的部分，并且使其水平视场覆盖所述主体的行进方向。2.如权利要求1所述的机器人，其特征在于，所述摄像双目模组中的前置摄像头为270
°
摄像头。3.如权利要求1所述的机器人，其特征在于，所述主体中还设置有里程计和/或惯性测量单元。4.如权利要求1所述的机器人，其特征在于，所述摄像双目模组中的两个摄像装置的中心连线相对于所述机器人主体的前后方向平行。5.如权利要求1所述的机器人，其特征在于，所述摄像双目模组中的两个摄像装置的中心连线相对于所述机器人主体的左右方向平行。6.如权利要求1所述的机器人，其特征在于，所述摄像双目模组包括：普通摄像双目模组、广角摄像双目模组、以及鱼眼摄像双目模组中至少一种...

【专利技术属性】
技术研发人员：吴震，彭伟，于炀，陈佳搏，
申请(专利权)人：北京石头创新科技有限公司，
类型：发明
国别省市：