【技术实现步骤摘要】
本专利技术涉及无人机实时定位与建图的，尤其涉及一种基于无人机视觉slam动态建图的方法。
技术介绍
1、近年来，随着计算机控制技术、计算机视觉技术以及人工智能技术的飞速发展，不仅使得无人机从传统的军事领域逐步融入到民用领域的各个方面，而且在无人机的工作方式上也发生了巨大的变化，从以前传统的手动遥控方式到现在的完全自主化控制方式逐渐过渡，使得无人机在执行任务时变得更智能、高效，提高了精准性和适应性。
2、无人机的智能化与自主化发展离不开自主定位与建图(slam)技术，传统的slam系统主要采用视觉或者激光雷达的方式来实现；当无人机进入某些特殊环境作业时，易受到环境的干扰使得gps信号变弱或者完全失效，为此，提出基于视觉slam的无人机自主建图解决上述问题。此外，当前在无人机视觉slam建图中，绝大多数方法和数据集都假设环境是静态的。因此，只能通过将其分类为静态模型的异常值来处理动态内容的小部分，这些从动态对象中获得的异常值会严重影响算法的准确性和稳定性。尽管静态假设对于某些机器人应用是成立的，但它限制了视觉slam在许多相关案例中的适用性。在视觉slam中，检测和处理动态物体对于建图和跟踪都带来了几个挑战，包括：(1)如何在图像中检测到这些动态物体；(2)如何完成被动态物体临时遮挡的部分三维地图。基于上述叙述，本专利技术提出基于神经网络和多视角几何的方法解决上述建图问题。
3、申请号为20211086550.9的专利技术专利公开了一种基于slam的移动机械臂推车任务规划与控制方法，包括以下步骤：步骤s1：使
技术实现思路
1、针对现有slam动态建图方法鲁棒性差的技术问题，本专利技术提出一种基于无人机视觉slam动态建图的方法，融合多视角几何和卷积神经网络进行slam语义建图，以视觉相机作为唯一的无人机平台传感器，在解决视觉slam动态建图鲁棒性差的基础上，提高了建图的鲁棒性和实用性。
2、为了达到上述目的，本专利技术的技术方案是这样实现的：一种基于无人机视觉slam动态建图的方法，其步骤如下：
3、步骤1：搭建轻小型无人机平台，在无人机平台前端搭载双目相机传感器，获取无人机周围场景图像，并进行实时slam建图；
4、步骤2：通过实时的动态目标特征点检测算法对双目相机传感器采集的无人机周围场景图像进行处理，检测动态物体和静态物体；
5、步骤3：结合slam建图输出的定位信息，完成动态环境下的实时语义点云建图。
6、优选地，所述步骤1的实现方法为：
7、步骤1.1，搭建无人机的智能飞行平台，选择小轴四旋翼无人机作为飞行平台，在无人机前端搭载双目相机传感器；
8、步骤1.2，利用针孔相机模型对双目相机传感器的参数进行标定，利用rantan畸变模型校正相机畸形；
9、步骤1.3，利用标定和畸形校正后的双目相机传感器获取无人机周围场景图像并实时传输至机载电脑上，基于特征点点云进行实时slam建图。
10、优选地，所述小轴四旋翼无人机竖直方向结构分为四层，层间以双通铝柱和内六角螺丝紧密连接；自下往上，第一层在pcb板上通过两层双面胶粘有飞控的fmu pwm out模块、遥控器接收模块和dc-dc降压电源模块，飞控通过连接fmu pwm out模块控制无人机的四个电调，继而控制四个机臂的电机的输出；遥控器接收模块用以接收遥控器的指令；dc-dc降压电源模块用以将无人机电池电压转化为5v，为飞控供电；所述fmu pwm out模块和遥控器接收模块均通过pcb板的孔径与飞控连接，增加缓冲泡棉保护无人机底层；第二层在机臂末尾安装4个电机和电调，通过机臂的走线连接到fmu pwm out模块的输出上面，且内置电池仓；第三层安装飞控，飞控通过双层双面胶固定在碳板上；第四层安装设有孔径的碳板以及机载电脑和双目相机传感器，碳板通过铝柱与主体上的碳板固定连接，机载电脑通过双层双面胶与第三层的碳板固定，双目相机传感器相机通过双层双面胶与机载电脑固定，双目相机传感器相机通过usb接口与机载电脑相连接，飞控通过usb接口与机载电脑相连接。
11、优选地，所述小轴四旋翼无人机的主体的机臂采用pa66+玻纤材料一体成型，机臂下部设有螺丝孔，螺丝孔用带有沉金工艺的pcb板通过内六角螺丝连接4个机臂；所述pcb板中间设有方便走线的孔洞，机臂上部设有螺丝孔，3k全碳纤维板通过内六角螺丝穿过螺丝孔连接4个机臂，3k全碳纤维板中间设有孔洞；
12、所述小轴四旋翼无人机的轴距缩小到290mm；采用电池作为供电电源，电池接口最近的机臂下处通过扎带安装了一个bb响，电调上接飞控中的fmu pwm out模块，电调下接电机，电池同时为飞控和机载电脑供电，双目相机传感器由机载电脑供电；所述机载电脑上运行有ros系统，飞控和双目相机传感器均通过ros系统来实现与机载电脑之间的通信。
13、优选地，所述针孔相机模型利用透镜进行聚光成像的相机使用的模型，且：
14、
15、其中，[x,y,z]t是在相机坐标系下表示的三维坐标系的坐标值，u,v是在图像上的像素坐标，fx、fy、cx、cy为相机传感器的内参数；
16、所述randan畸变模型包括径向畸变和切向畸变，径向畸变是由于透镜的形状引起的畸变，切向畸变是相机传感器的感光原件与透镜不平行而造成的；同时考虑考虑径向畸变和切向畸变进行矫正的实现方法为：
17、
18、其中，[xdistorted,ydistorted]t是校正后的点坐标，p1，p2为相机传感器的切向畸变系数，k1，k2，k3为相机传感器的径向畸变系数，r为现实世界的空间点p与相机光心o的距离，归一化平面上任意一点对应的坐标为[x,y]t；
19、将校正后的点通过内参数矩阵投影到像素平面，得到校正后的在图像上的正确位置[u,v]t为：
20、
21、其中，fx，fy，cx，cy为相机传感器的内参数。
22、优选地，所述步骤1.3的实时slam建图的方法为：使用orb-slam2系统实时提取双目相机传感器采集的图像的特征点估计相机位姿，并结合深度信息生成实时的本文档来自技高网...
【技术保护点】
1.一种基于无人机视觉SLAM动态建图的方法，其特征在于，其步骤如下：
2.根据权利要求1所述的基于无人机视觉SLAM动态建图的方法，其特征在于，所述步骤1的实现方法为：
3.根据权利要求2所述的基于无人机视觉SLAM动态建图的方法，其特征在于，所述小轴四旋翼无人机竖直方向结构分为四层，层间以双通铝柱和内六角螺丝紧密连接；自下往上，第一层在PCB板上通过两层双面胶粘有飞控的FMU PWM OUT模块、遥控器接收模块和DC-DC降压电源模块，飞控通过连接FMU PWM OUT模块控制无人机的四个电调，继而控制四个机臂的电机的输出；遥控器接收模块用以接收遥控器的指令；DC-DC降压电源模块用以将无人机电池电压转化为5V，为飞控供电；所述FMU PWM OUT模块和遥控器接收模块均通过PCB板的孔径与飞控连接，增加缓冲泡棉保护无人机底层；第二层在机臂末尾安装4个电机和电调，通过机臂的走线连接到FMU PWM OUT模块的输出上面，且内置电池仓；第三层安装飞控，飞控通过双层双面胶固定在碳板上；第四层安装设有孔径的碳板以及机载电脑和双目相机传感器，碳板通过铝柱与主体
4.根据权利要求3所述的基于无人机视觉SLAM动态建图的方法，其特征在于，所述小轴四旋翼无人机的主体的机臂采用PA66+玻纤材料一体成型，机臂下部设有螺丝孔，螺丝孔用带有沉金工艺的PCB板通过内六角螺丝连接4个机臂；所述PCB板中间设有方便走线的孔洞，机臂上部设有螺丝孔，3K全碳纤维板通过内六角螺丝穿过螺丝孔连接4个机臂，3K全碳纤维板中间设有孔洞；
5.根据权利要求2所述的基于无人机视觉SLAM动态建图的方法，其特征在于，所述针孔相机模型利用透镜进行聚光成像的相机使用的模型，且：
6.根据权利要求2-5中任意一项所述的基于无人机视觉SLAM动态建图的方法，其特征在于，所述步骤1.3的实时SLAM建图的方法为：使用ORB-SLAM2系统实时提取双目相机传感器采集的图像的特征点估计相机位姿，并结合深度信息生成实时的稠密特征点云，实现实时的SLAM建图，从而获取无人机的位姿及场景信息。
7.根据权利要求6所述的基于无人机视觉SLAM动态建图的方法，其特征在于，所述实时的动态目标特征点检测算法包括：利用YOLOv5网络模型对无人机周围场景图像中的移动目标进行目标检测；使用多视角几何方法对潜在的对象进行语义分割。
8.根据权利要求7所述的基于无人机视觉SLAM动态建图的方法，其特征在于，所述YOLOv5网络模型分析相邻两无人机周围场景图像中同一目标的相对位姿信息，确认目标为动态物体；YOLOv5网络模型输出每个像素点的动静概率并传递给ORB-SLAM2的跟踪线程，从而进行像素级的语义分割。
9.根据权利要求8所述的基于无人机视觉SLAM动态建图的方法，其特征在于，所述YOLOv5网络模型包括输入端、基准网络、Neck网络与Head输出端，输入端接收输入的无人机周围场景图像，并对图像进行缩放和归一化；基准网络是分类器网络，采用CSPDarknet53和Focus结构作为基准网络，CSPDarknet53通过提高特征表示维度来提升主干网络的性能，Focus结构通过Slice操作对输入的图片进行裁剪，将原始的无人机周围场景图像转换为304*304*12的特征映射，经过一个通道数为32的Conv层，输出一个304*304*32大小的特征映射；Neck网络位于基准网络和Head输出端之间，通过在网络的中间阶段引入交叉连接和部分网络促进信息流动和特征融合；Head输出端完成目标识别结果的输出；
10.根据权利要求9所述的基于无人机视觉SLAM动态建图的方法，其特征在于，在YOLOv5网络模型训练阶段，采用Mosaic数据增强操作将四个不同图像块拼接成一个大图像；YOLOv5网络模型采用GIOU_Loss函数；
...【技术特征摘要】
1.一种基于无人机视觉slam动态建图的方法，其特征在于，其步骤如下：
2.根据权利要求1所述的基于无人机视觉slam动态建图的方法，其特征在于，所述步骤1的实现方法为：
3.根据权利要求2所述的基于无人机视觉slam动态建图的方法，其特征在于，所述小轴四旋翼无人机竖直方向结构分为四层，层间以双通铝柱和内六角螺丝紧密连接；自下往上，第一层在pcb板上通过两层双面胶粘有飞控的fmu pwm out模块、遥控器接收模块和dc-dc降压电源模块，飞控通过连接fmu pwm out模块控制无人机的四个电调，继而控制四个机臂的电机的输出；遥控器接收模块用以接收遥控器的指令；dc-dc降压电源模块用以将无人机电池电压转化为5v，为飞控供电；所述fmu pwm out模块和遥控器接收模块均通过pcb板的孔径与飞控连接，增加缓冲泡棉保护无人机底层；第二层在机臂末尾安装4个电机和电调，通过机臂的走线连接到fmu pwm out模块的输出上面，且内置电池仓；第三层安装飞控，飞控通过双层双面胶固定在碳板上；第四层安装设有孔径的碳板以及机载电脑和双目相机传感器，碳板通过铝柱与主体上的碳板固定连接，机载电脑通过双层双面胶与第三层的碳板固定，双目相机传感器相机通过双层双面胶与机载电脑固定，双目相机传感器相机通过usb接口与机载电脑相连接，飞控通过usb接口与机载电脑相连接。
4.根据权利要求3所述的基于无人机视觉slam动态建图的方法，其特征在于，所述小轴四旋翼无人机的主体的机臂采用pa66+玻纤材料一体成型，机臂下部设有螺丝孔，螺丝孔用带有沉金工艺的pcb板通过内六角螺丝连接4个机臂；所述pcb板中间设有方便走线的孔洞，机臂上部设有螺丝孔，3k全碳纤维板通过内六角螺丝穿过螺丝孔连接4个机臂，3k全碳纤维板中间设有孔洞；
5.根据权利要求2所述的基于无人机视觉slam动态建图的方法，其特征在于，所述针孔相机模型利用透镜进行聚光成像的相机使用的模型，且：
6.根据权利要求2-5中任意一项所述的...
【专利技术属性】
技术研发人员：姚利娜，王耀政，张书源，王健豪，孙源呈，
申请(专利权)人：郑州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。