超宽带与视觉融合的室内机器人定位与自主导航方法技术

本发明专利技术公开一种超宽带与视觉融合的室内机器人定位与自主导航方法，包括以下步骤：(1)通过UWB定位系统获取并解算机器人绝对位置信息；(2)通过深度相机获取机器人的相对位置信息后；再通过融合定位方式得到机器人的精确位置信息；(3)通过避障导航模块获取方向信息控制驱动机器人完成导航；具体包括：(301)通过目标检测网络获取障碍物信息；(302)通过强化学习训练机器人完成避障导航。

【技术实现步骤摘要】
超宽带与视觉融合的室内机器人定位与自主导航方法
本专利技术涉及室内机器人定位与导航
，特别是涉及一种超宽带与视觉融合的室内机器人定位与自主导航方法。
技术介绍
室内定位导航解决的是导航技术最后一公里的问题，应用广泛，尤其在大型复杂的室内环境中，如博物馆、机场、超市、医院、地下矿井等区域，人们对位置服务有迫切需求。但是由于室内环境复杂，易受到遮挡和多径效应的影响，因此，获取精确的位置信息是当前的研究热点与难点。超宽带(UltraWideBand，UWB)定位技术是一种基于极窄脉冲无线技术，UWB射频信号与生俱来的物理特性使得UWB技术从一开始就被明确定义：能够实现实时、超精确、超可靠的定位和通信。它能够非常准确地测量无线电信号的飞行时间，从而实现厘米精度的距离/位置测量。UWB定位系统的精度可以达到15cm，测距范围达150m，数据更新频率最快可以达到10Hz。但是UWB定位技术的缺点是易受非视距误差的影响，室内环境下障碍物较为密集，移动标签与基站之间的信号无法直线传播，需要经过反射和衍射才能到达接收端，从而无法估算出准确的传播距离。自主定位导航是机器人实现智能化的前提之一，是赋予机器人感知和行动能力的关键因素。机器人实现自主定位导航，需要对周围环境进行分析、判断和选择，规划路径，进而完成导航任务。目前，自主定位导航技术有多种，视觉定位导航技术因其简单方便在各个领域中广泛应用。视觉定位导航主要借助视觉传感器完成，机器人借助单目、双目摄像头、深度摄像机、视频信号数字化设备或基于DSP(DigitalSignalProcessing)的快速信号处理器等其他外部设备获取图像，然后对周围的环境进行光学处理，将采集到的图像信息进行压缩，反馈到由神经网络和统计学方法构成的学习子系统，然后由子系统将采集到的图像信息与机器人的实际位置联系起来，完成定位。UWB定位技术是一种绝对定位方式，可以获得三维空间的坐标信息，视觉定位是一种相对定位方式。因此，将两种不同信息源的数据融合在一起，可以实现优势互补，提供鲁棒性更好、精度更高的定位信息。深度强化学习适合于复杂环境下的连续决策任务，因此非常适合解决机器人问题，近几年，在机器人抓取、导航等任务中研究非常广泛。因此，结合深度强化学习可以完成移动机器人的导航控制问题，实现自主导航。
技术实现思路
本专利技术的目的是为了克服现有技术中的不足，提供一种超宽带与视觉融合的室内机器人定位与自主导航方法，通过采用UWB技术与视觉信息融合的方式，达到了优势互补的效果，实现了高精度定位，同时将获取的位置信息与障碍物信息作为先验知识，结合深度强化学习模型，实现无地图式的机器人自主导航，准确率高，鲁棒性好，且易于实现，可以应用到医疗，养老，商场等多个领域。本专利技术的目的是通过以下技术方案实现的：一种超宽带与视觉融合的室内机器人定位与自主导航方法，包括以下步骤：(1)通过UWB定位系统获取并解算机器人绝对位置信息；(2)通过深度相机获取机器人的相对位置信息后；再通过融合定位方式得到机器人的精确位置信息；(3)通过避障导航模块获取方向信息控制驱动机器人完成导航；具体包括：(301)通过目标检测网络获取障碍物信息；在避障导航模块中，将RGB-D相机获取的图像信息进行特征提取，放入到目标检测网络中检测出当前视图中的目标物体，然后根据当前图像的深度信息计算出目标物体与移动机器人的距离，由此得到当前的障碍物信息(302)通过强化学习训练机器人完成避障导航；在不依赖地图信息情况下，将得到的精确位置信息与障碍物信息作为先验知识，输入到深度强化学习模型—A3C(AsynchronousAdvantageActor-Critic)算法框架中，将速度与转角的数值作为控制输出，然后送入到机器人微控制器中，驱动输出下一步的动作，完成机器人的自主导航。进一步的，步骤(1)中UWB定位系统由4个固定的基站点和1个可移动的标签点组成；将4个基站固定放置在房间的四个角，将1个UWB标签放置在移动机器人上；UWB定位系统通过组合标签点到四个基站的距离，最终计算出标签点在三维空间的坐标。进一步的，步骤(2)中移动机器人上装有RGB-D相机，用于直接获取空间点的深度信息，从而根据深度信息得到每张图片中每个像素点的3d位置。进一步的，步骤(2)中的融合定位方式为：(201)以UWB定位系统在定位过程中所使用的世界坐标系作为全局坐标系，将深度相机获取的相对位置信息经过空间变换，转换到世界坐标系下；(202)将两个位置坐标输入到一个3层(2×3×1)神经网络中进行数据融合。进一步的，所述目标检测网络包括YOLO、Faster-RCNN与现有技术相比，本专利技术的技术方案所带来的有益效果是：1.本专利技术融合UWB定位技术与视觉定位技术，弥补UWB定位技术易受非视距的影响，可以实现厘米级别的定位精度，得到更精确的定位。2.本专利技术将位置信息和障碍物信息作为先验知识，结合深度强化学习模型进行机器人导航，实现无地图式的自主导航。3.本方法适用于当前各类室内机器人定位与导航应用，尤其是在需要精确定位的复杂的室内场景中，比如商场、博物馆、医院、地下矿井等区域，鲁棒性强，稳定性好。同时本专利技术适用于无地图式的复杂场景中，可以实现自主导航。附图说明图1是UWB室内定位示意图。图2是图片坐标系与相机坐标系的关系示意图。图3是强化学习框架图。图4是机器人融合定位与导航框架图。具体实施方式以下结合附图和具体实施例对本专利技术作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供一种超宽带与视觉融合的室内机器人定位与自主导航方法。该方案整体框架如图4所示。硬件结构主要分为两部分，UWB系统与移动机器人。方案主体围绕移动机器人展开。步骤1：通过UWB定位技术获取并解算机器人绝对位置信息。本实施例中UWB定位系统由4个固定的基站点和1个可移动的标签点组成。具体分布如图1所示。本实施例中将4个基站固定放置在房间的四个角，将1个UWB标签放置在移动机器人上。系统通过组合标签点到四个基站的距离，从而计算出标签点在三维空间的坐标。本实施例使用TOF的测距方式，飞行时间法(Timeofflight，TOF)是一种双向测距技术，它通过测量UWB信号在基站与标签之间往返的飞行时间来计算距离。基站与标签点之间的距离表示为：dat＝c(tt-ta)(1)其中，c为光速，tt为标签信号发射时间，ta为基站信号接收时间。标签与基站之间的距离di(i＝1,2,3,4)与标签在世界坐标系中的坐标位置有如下关系：其中，(xi,yi,zi),(i＝1,2,3,4)是基站的已知位置，(x0,y0,z0)为待求解的标签点位置。三个未知数和四个表达式(非线性相关)的方程无法直接求解，本文档来自技高网...

【技术保护点】
1.超宽带与视觉融合的室内机器人定位与自主导航方法，其特征在于，包括以下步骤：/n(1)通过UWB定位系统获取并解算机器人绝对位置信息；/n(2)通过深度相机获取机器人的相对位置信息后；再通过融合定位方式得到机器人的精确位置信息；/n(3)通过避障导航模块获取方向信息控制驱动机器人完成导航；具体包括：/n(301)通过目标检测网络获取障碍物信息；在避障导航模块中，将RGB-D相机获取的图像信息进行特征提取，放入到目标检测网络中检测出当前视图中的目标物体，然后根据当前图像的深度信息计算出目标物体与机器人的距离，由此得到当前的障碍物信息/n(302)通过强化学习训练机器人完成避障导航；在不依赖地图信息情况下，将得到的精确位置信息与障碍物信息作为先验知识，输入到深度强化学习模型中，将速度与转角的数值作为控制输出，然后送入到机器人微控制器中，驱动输出下一步的动作，完成机器人的自主导航。/n

【技术特征摘要】
1.超宽带与视觉融合的室内机器人定位与自主导航方法，其特征在于，包括以下步骤：
(1)通过UWB定位系统获取并解算机器人绝对位置信息；
(2)通过深度相机获取机器人的相对位置信息后；再通过融合定位方式得到机器人的精确位置信息；
(3)通过避障导航模块获取方向信息控制驱动机器人完成导航；具体包括：
(301)通过目标检测网络获取障碍物信息；在避障导航模块中，将RGB-D相机获取的图像信息进行特征提取，放入到目标检测网络中检测出当前视图中的目标物体，然后根据当前图像的深度信息计算出目标物体与机器人的距离，由此得到当前的障碍物信息
(302)通过强化学习训练机器人完成避障导航；在不依赖地图信息情况下，将得到的精确位置信息与障碍物信息作为先验知识，输入到深度强化学习模型中，将速度与转角的数值作为控制输出，然后送入到机器人微控制器中，驱动输出下一步的动作，完成机器人的自主导航。


2.根据权利要求1所述超宽带与视觉融合的室内机器人定位与自主导航方法，其特征在于，步骤(1)中UWB定位系统...

【专利技术属性】
技术研发人员：刘凯燕，金杰，何政蕊，郭如意，姜诗祺，陈志华，周梦伊，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12