当前位置: 首页 > 专利查询>东南大学专利>正文

基于果园环境下融合GCNv2网络的双目视觉SLAM方法技术

技术编号:42078114 阅读:18 留言:0更新日期:2024-07-19 16:57
本发明专利技术公开了一种基于果园环境下融合GCNv2网络的双目视觉SLAM方法,采用融合的GCNv2网络从中提取深度信息并输入当前帧,再并行运行跟踪线程、局部建图线程和闭环检测线程三大线程。最后进入全局优化线程,更新所有关键帧的位姿和地图点,得到实时性好、高精度和稳定的农机自动驾驶定位轨迹和点云地图。基于本发明专利技术方法能够实现果园农机自动驾驶的实时定位,依托双目视觉传感器,结合GCNv2网络和闭环检测等功能,实现了定位方法的低成本、实时性、高精度和稳定性,可广泛用于果园复杂环境的视觉SLAM。

【技术实现步骤摘要】

本专利技术属于视觉导航定位领域,涉及双目视觉slam技术,尤其涉及一种基于果园环境下融合gcnv2网络的双目视觉slam方法。


技术介绍

1、随着计算机视觉技术的迅速发展,利用视觉图像进行定位的理论研究和实际应用取得了巨大的进展。相机作为一种价格便宜、提供丰富环境信息的传感器,被广泛应用于农业机器人导航定位领域。

2、视觉slam技术通过相机捕获三维世界的二维图像信息,根据提取的特征信息或像素灰度推断相机的位姿状态,并构建周围环境的地图。虽然视觉slam可使用单目相机实现,但仅通过一个摄像机无法获取深度信息,导致地图比例和轨迹估计未知。为解决这些问题,采用双目立体相机可提供可靠的视觉slam解决方案。

3、视觉slam主要分为视觉前端和优化后端,前者也称为视觉里程计。视觉里程计会随着时间推移产生漂移,因此只能得到粗略的相机间运动关系。而slam中加入了后端优化方法、建图功能,且能利用闭环检测消除累积误差,得到全局一致性轨迹和地图。现有slam方法可分为稀疏(基于特征)和密集(直接)方法,鉴于果园定位的实时性和计算效率要求,通常采用基本文档来自技高网...

【技术保护点】

1.一种基于果园环境下融合GCNv2网络的双目视觉SLAM方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于果园环境下融合GCNv2网络的双目视觉SLAM方法,其特征在于,所述步骤1中对原始图像进行校正,通过双目图像匹配获取视差图,将视差图转换为深度图的过程包括:

3.根据权利要求1所述的基于果园环境下融合GCNv2网络的双目视觉SLAM方法,其特征在于,所述步骤2具体包括如下过程:

4.根据权利要求3所述的基于果园环境下融合GCNv2网络的双目视觉SLAM方法,其特征在于,当跟踪失效时,计算当前帧图像的词袋向量,利用词典选取若干备选关键帧...

【技术特征摘要】

1.一种基于果园环境下融合gcnv2网络的双目视觉slam方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于果园环境下融合gcnv2网络的双目视觉slam方法,其特征在于,所述步骤1中对原始图像进行校正,通过双目图像匹配获取视差图,将视差图转换为深度图的过程包括:

3.根据权利要求1所述的基于果园环境下融合gcnv2网络的双目视觉slam方法,其特征在于,所述步骤2具体包括如下过程:

4.根据权利要求3所述的基于果园环境下融合gcnv2网络的双目视觉slam方法,其特征在于,当跟踪失效时,计算当前帧图像的词袋向量,利用词典选取若干备选关键帧,对备选关键帧依次执行pnp算法计算当前帧位姿,直到找到一个位姿能覆盖足够多的有效点,此时通过全局重定位初始化位姿。

5.根据权利要求3所述的基于果园环境下融合gcnv2网络的双目视觉slam方法,其特征在于,gcnv2网络由卷积神经网络与循环神经网络相结合后训练而成,以实现同时预测...

【专利技术属性】
技术研发人员:陈熙源祝永琳
申请(专利权)人:东南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1