当前位置: 首页 > 专利查询>浙江大学专利>正文

基于无人机地图与地面双目信息的移动机器人定位方法技术

技术编号:30435551 阅读:23 留言:0更新日期:2021-10-24 17:35
本发明专利技术公开了一种基于无人机地图与地面双目信息的移动机器人定位方法,属于移动机器人定位领域。该方法利用移动机器人自带的双目相机获取其所在位置的地面点云图像,同时利用车载传感器确定的位置粗估值从无人机鸟瞰地图中截取局部图像,两类图像通过深度相位相关网络得到相位相关图并转换为概率分布图,由此通过粒子滤波定位算法即可实现机器人的准确定位。该方法可以对GPS、里程计等车载传感器确定的位置粗估值进行校正,排除光照、遮挡物等外部因素对于定位结果的不利影响,大大提高了移动机器人自主定位的鲁棒性。移动机器人自主定位的鲁棒性。移动机器人自主定位的鲁棒性。

【技术实现步骤摘要】
基于无人机地图与地面双目信息的移动机器人定位方法


[0001]本专利技术属于移动机器人定位领域,具体涉及一种基于无人机地图与地面双目信息的移动机器人定位方法。

技术介绍

[0002]自定位技术是移动机器人系统中非常重要的部分。尤其在一些救援场景,如地震、山体滑坡等场景。地面移动机器人由于负载大以及运动方式等特点,导致其运动过程中有较大的限制,遇到障碍物需要避开绕行。然而,在具有很多障碍物的救援情况下,如何定位导航就比较困难,因为障碍物的原因,机器人的视野被遮挡,很难对环境进行较大范围的感知,也就无法进行导航规划。因此无人机的协同就显得非常重要。无人机较为灵活,视野大,但是负载小。在地面机器人和空中机器人协同中,无人机可以起到探路的作用。
[0003]根据上述介绍,设计一套使移动机器人能够借助无人机构建的地图和车载双目相机进行定位的方法,是现有技术中亟待解决的技术问题。

技术实现思路

[0004]本专利技术的目的在于解决现有技术中存在的问题,并提供一种基于无人机地图与双目相机信息的移动机器人定位方法。<br/>[0005]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机地图与地面双目信息的移动机器人定位方法,其特征在于,步骤如下:S1:利用无人机对机器人移动区域进行全覆盖探测,得到的下视相机图像序列及飞行过程中的参数,通过稀疏点云地图恢复机器人移动区域的鸟瞰地图;S2:利用移动机器人上搭载的双目相机对所在位置前方区域进行探测形成富含纹理信息的地面点云,以鸟瞰视角对该地面点云进行观测得到地面点云图像;S3:移动机器人根据自带的传感器估计自身所处位置,并从所述鸟瞰地图中以自身所处位置为中心,截取与所述地面点云图像相同大小的局部鸟瞰地图;S4:将所述地面点云图像与所述局部鸟瞰地图输入深度相位相关网络中,通过卷积操作提取所述地面点云图像和局部鸟瞰地图中的鲁棒特征,再通过反卷积操作将提取的特征转换为与原图大小一致的特征图,然后对地面点云图像的特征图与局部鸟瞰地图的特征图通过傅里叶变换操作去除平移分量,再通过对数极性变换操作将旋转分量转换为平移,最后通过相位相关操作得到一张相位相关图;S5:对所述相位相关图进行Softmax操作使其转变为0

1的分布,得到概率分布图;S6:在概率分布图基础上,基于粒子滤波定位方法对移动机器人在地图上的准确位置进行定位。2.如权利要求1所述的基于无人机地图与地面双目信息的移动机器人定位方法,其特征在于,所述S1中,无人机首先对机器人移动区域进行探测,在所需要探测区域的上表飞行一段距离并且覆盖该区域后返回,将得到的下视相机图像序列、飞行IMU以及相机参数信息回传给地面工作站,地面工作站通过SLAM技术首先估测出图像序列中每帧图像的位姿,再通过特征点匹配构建出地面的稀疏点云地图,最终利用图像对稀疏点云进行插值以及构建Mesh面,恢复出需要探测区域的鸟瞰地图。3.如权利要求1所述的基于无人机地图与地面双目信息的移动机器人定位方法,其特征在于,所述S2中,利用移动机器人上搭载的双目相机估测所在位置前方区域的深度信息并且形成点云,将左目相机的图像信息以纹理的形式赋予给所形成的点云,构成富含纹理信息的地面点云,以鸟瞰视角对该地面点云进行观测,得到鸟瞰视角下的地面点云图像。4.如权利要求1所述的基于无人机地图与地面双目信息的移动机器人定位方法,其特征在于,所述S3中,所述移动机器人根据GPS或者里程计估计自身所处位置。5.如权利要求1所述的基于无人机地图与地面双目信息的移动机器人定位方法,其特征在于,所述的S4中,深度相位相关网络包含8个不同的U

Net网络,其中对输入的地面点云图像与局部鸟瞰地图输出相位相关图的具体方法如下:S401:以预先经过训练的第一U

Net网络和第二U

Net网络作为两个特征提取器,分别以局部鸟瞰地图和地面点云图像作为两个特征提取器各自的原始输入图片,提取两张原始输入图片中的同构特征,得到同构的第一特征图和第二特征图;S402:将S401中得到的第一特征图和第二特征图分别进行傅里叶变换后取各自的幅度谱;S403:将S402中得到的两个幅度谱分别进行对数极坐标变换,使其从笛卡尔坐标系转换到对数极坐标系中,从而使两个幅度谱之间笛卡尔坐标系下的旋转变换被映射成对数极坐标系中y方向上的平移变换;
S404:将S403中两个坐标变换后的幅度谱进行相位相关求解,得到二者之间的平移变换关系,再按照S403中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换,得到所述局部鸟瞰地图和所述地面点云图像之间的旋转变换关系;S405:以预先经过训练的第三U

Net网络和第四U

Net网络作为两个特征提取器,分别以局部鸟瞰地图和地面点云图像作为两个特征提取器各自的原始输入图片,提取两张原始...

【专利技术属性】
技术研发人员:王越许学成陈泽希熊蓉
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1