基于视觉和imu的无人机自主定位方法技术

本发明专利技术涉及ROS系统、计算机视觉、图像处理等领域，为提出一种针对无人机的自主定位方法。为此，本发明专利技术采用的技术方案是，基于视觉和imu的无人机自主定位方法，利用单目摄像机采集无人机前方的图像；利用imu读取无人机加速度和角速度的信息，且单目相机和imu是硬件同步，进一步地具体步骤如下：首先通过无人机上搭载的摄像头来感知周围环境获取图像信息，然后采用光流的方法来对图像进行处理，实现运动追踪。本发明专利技术主要用于无人机自主控制场合。

【技术实现步骤摘要】
基于视觉和imu的无人机自主定位方法
本专利技术涉及ROS系统、计算机视觉、图像处理等领域，涉及一种基于单目相机的无人机自主定位方法，解决在无信号环境中无人机的定位问题。
技术介绍
无人机具有极高的灵活性和自主性，能够在没有人类干预或者较少干预的情况下执行任务，帮助人类完成具有危险性或者重复性的劳动。近年来，无人机技术的快速发展使其在军事和民用领域得到了广泛的应用，在情报探测、战场救援、抗震救灾、火警监控等方面发挥了重要作用。由于无人机应用场景的多样性与飞行任务的复杂性，以小型与微型无人机为典型代表，具备自主定位功能的智能无人机正逐渐成为当前无人机发展的重要趋势。GPS(全球定位系统)与高精度imu(惯性测量单元)是大中型无人机实现自主定位的有效工具。相对于大中型无人机，小型与微型无人机的负载与飞行能力有限，飞行环境的复杂性无法保证GPS信号的可靠接收与解算，所搭载的低精度imu无法满足其自主定位的需求。视觉-惯性里程计(Visual-InertialOdomtry，VIO)是无人机与计算机视觉领域的一个重要研究方向，被认为是实现无人机在陌生环境下自主定位导航的关键技术。通过自身携带的传感器对周围环境的观测，无人机可以实时估计自身在空间中的位置。由于无人机的应用场景复杂多样，对在未知环境中自身位置的精确估计是影响其发展的一个很重要的因素，只有在此
有所突破，无人机才能够有更长远的发展，而VIO是目前解决这一问题优选方案，也是目前的前沿热点问题，通过研究这一技术可以较好的解决无人机在多障碍等复杂环境中自主定位问题，具有极大地研究意义。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种针对无人机的自主定位方法。为此，本专利技术采用的技术方案是，基于视觉和imu的无人机自主定位方法，利用单目摄像机采集无人机前方的图像；利用imu读取无人机加速度和角速度的信息，且单目相机和imu是硬件同步，进一步地具体步骤如下：首先通过无人机上搭载的摄像头来感知周围环境获取图像信息，然后采用光流的方法来对图像进行处理，实现运动追踪，在图像中提取角点用于初始化，初始化采用极线约束的方法，对图像中获取的角点进行匹配，基于此求解出基于图像的位置信息；对于imu传感器获取到的加速度和角速度信息，将加速度信息和角速度信息进行预积分处理，求解出基于imu的位置信息；接下来将视觉求解出的位置信息和imu求解出的位置信息基于手眼标定法进行配准，从而解决imu的漂移和单目相机中的尺度问题，然后基于滑动窗口中进行非线性优化，同时在系统中进行回环检测并进行回环校正从而减小累积误差，最终求得无人机的精确位姿。在数据预处理部分，首先是对imu获取到的加速度信息和角速度信息的预积分处理。来自与IMU的原始陀螺仪和加速度计的测量值为：其中，bat为在体坐标系中的加速度偏置，bωt为角速度偏置，为世界坐标系到体坐标系的转换矩阵，gω为重力加速度值，na为加速度噪声，nω为角速度噪声。对imu的信息进行预积分处理，得到的结果为：其中，P为位置信息，V为速度信息，q为旋转信息。bk+1和bk为两帧图像，ω为角速度信息。由上式可以看出，经过预积分处理后，可以得到位置信息、速度信息和旋转信息。第二部分为初始化部分。在初始化部分，首先利用视觉的信息去进行一个初始化求解。利用极限约束方程，采用五点法对其进行求解，最终得到两帧之间的相对平移和旋转信息。然后对两帧中匹配的特征点进行三角化恢复深度。得到3D信息之后即可进行PnP方法对滑动窗口中的其他帧的位姿进行求解。在基于视觉信息求解出位姿信息之后，将其与imu预积分得到的信息进行配准，首先是对重力偏置的校准，在bk和bk+1两帧之间，通过图像信息可以得到旋转四元数和通过imu的信息进行预积分能够得到相对的旋转，根据陀螺仪偏差线性化IMU预积分项，并最小化以下成本函数：为陀螺仪偏差的一阶近似，为雅各比矩阵，以此来更新陀螺仪偏差。同理可对加速度的偏置进行校准，最终得出较为准确的偏置值。基于计算得出的偏置值来更新预积分的值，到此整个初始化部分结束。第三部分为滑动窗口中进行非线性优化。在此部分，我们使用视觉-惯性BA优化(BundleAdjustment，光束平差法)，我们最小化所有测量残差的先验和马氏范数之和，以获得最大后验估计：其中Huber函数定义为：和分别是imu和图像的测量残差。B代表所有的imu测量，C代表在当前滑动窗口中所提取的所有特征点，{rp,Hp}是边缘化的先验信息,χ为姿态信息。通过非线性优化，可以得到优化后的位姿信息。最后一步为回环检测部分，利用词袋模型来进行回环检测，对图像中再一次进行提取角点，将角点数量增加至400个，利用二进制描述子来表示每一个角点，当检测到回环时，通过检索特征的对应关系建立本地滑动窗口和闭环候选帧之间的连接，直接通过描述子之间的匹配来进行回环检测可能会导致有大量的异常值存在，因此利用RANSAC算法去除异常值，当内点的数量达到一定的阈值之后，将该候选帧视为正确的回环检测，接下来进行闭环修复。本专利技术的特点及有益效果是：由于视觉设备具有成本较低，并且能够采集到丰富的环境信息，随着社会的发展以及无人机行业应用的拓展，基于视觉传感器的自主定位技术已经成为了计算机视觉以及无人机领域的研究热点。近年来随着无人机浪潮的兴起，无人机的相关研究得到了高度的关注，针对无人机的自主定位成为重要的应用研究方向。此项专利技术提出一种基于视觉和imu的自主定位方法，对于无人机自主定位的研究具有十分重要的意义。该项专利技术计算量较小，精度较高，鲁棒性好，稳定性强，具有很高的可靠性。总而言之随着社会需求的提高，无人机有越来越多的功能需求及应用场景，要求无人机需要拥有更强的感知、决策以及执行能力，无人机自主定位的研究成为解决该问题的关键。本专利技术主要具有如下特点和优点：(1)无人机自主定位：本专利技术提出了一种基于视觉和imu的无人机自主定位方法，实现无人机的自主定位，为后续无人机进行轨迹规划、任务分配、避障等任务奠定了基础。(2)定位精度高：本专利技术中提出的自主定位方法对图像信息和imu信息采用紧耦合的方法来进行融合，能够更好的融合图像和imu信息，使imu信息能够在高速旋转的情况下补偿图像信息，且能够利用图像信息求解出的运动来对imu产生的漂移进行消除从而提高算法的定位精度，并且提高算法的稳定性。(3)定位方法效率高：由于无人机飞行具有高速的特点，因此在本专利技术中提出了应用稀疏光流法来进行运动追踪的自主定位方法，本方法提取图像中的角点，节省了大量的计算时间并减小了计算量。稀疏光流法基于图像中提取的角点来进行运动追踪，基于角点的光度不变假设来进行求解。采用此方法减小了算法的复杂度并且节省了计算空间，且在一定程度上缩短了计算时间，提高了算法的效率，能够满足无人机高速飞行时的需求，提供精确的位置信息。附图说明：附图1基于视觉和imu的无人机自主定位系统。附图2基于视觉和imu的无人机自主定位方法流程图。附图3自主定位方法实现效果图。附图4无人机自主定位效果图。具体实施方式针对现有技术中的问题，本专利技术旨在提供一种针对中小型无人机的自主定位方法。无人机搭载摄像头和imu感知设备，搭载NUC处理器，首先通过无人机上搭载的摄像头本文档来自技高网...

【技术保护点】
1.一种基于视觉和imu的无人机自主定位方法，其特征是，利用单目摄像机采集无人机前方的图像；利用imu读取无人机加速度和角速度的信息，且单目相机和imu是硬件同步，进一步地具体步骤如下：首先通过无人机上搭载的摄像头来感知周围环境获取图像信息，然后采用光流的方法来对图像进行处理，实现运动追踪，在图像中提取角点用于初始化，初始化采用极线约束的方法，对图像中获取的角点进行匹配，基于此求解出基于图像的位置信息；对于imu传感器获取到的加速度和角速度信息，将加速度信息和角速度信息进行预积分处理，求解出基于imu的位置信息；接下来将视觉求解出的位置信息和imu求解出的位置信息基于手眼标定法进行配准，从而解决imu的漂移和单目相机中的尺度问题，然后基于滑动窗口中进行非线性优化，同时在系统中进行回环检测并进行回环校正从而减小累积误差，最终求得无人机的精确位姿。

【技术特征摘要】
1.一种基于视觉和imu的无人机自主定位方法，其特征是，利用单目摄像机采集无人机前方的图像；利用imu读取无人机加速度和角速度的信息，且单目相机和imu是硬件同步，进一步地具体步骤如下：首先通过无人机上搭载的摄像头来感知周围环境获取图像信息，然后采用光流的方法来对图像进行处理，实现运动追踪，在图像中提取角点用于初始化，初始化采用极线约束的方法，对图像中获取的角点进行匹配，基于此求解出基于图像的位置信息；对于imu传感器获取到的加速度和角速度信息，将加速度信息和角速度信息进行预积分处理，求解出基于imu的位置信息；接下来将视觉求解出的位置信息和imu求解出的位置信息基于手眼标定法进行配准，从而解决imu的漂移和单目相机中的尺度问题，然后基于滑动窗口中进行非线性优化，同时在系统中进行回环检测并进行回环校正从而减小累积误差，最终求得无人机的精确位姿。2.如权利要求1所述的基于视觉和imu的无人机自主定位方法，其特征是，在数据预处理部分，首先是对imu获取到的加速度信息和角速度信息的预积分处理，来自与IMU的原始陀螺仪和加速度计的测量值为：其中，bat为在体坐标系中的加速度偏置，bωt为角速度偏置，为世界坐标系到体坐标系的转换矩阵，gω为重力加速度值，na为加速度噪声，nω为角速度噪声。3.如权利要求1所述的基于视觉和imu的无人机自主定位方法，其特征是，：对imu的信息进行预积分处理，得到的结果为：其中，P为位置信息，V为速度信息，q为旋转信息。bk+1和bk为两帧图像，ω为角速度信息。由上式可以看出，经过预积分处理后，可以得到位置信息、速度信息和旋转信息。4.如权利要求1所述的基于视觉和imu的无人机自主定位方法，其特征是，第二部分为初始化部分。在初始化部分，首先利用视觉的信息去进行一个初始化求解。利用极限约束方程，采用五...

【专利技术属性】
技术研发人员：宗群，刘彤，窦立谦，韩天瑞，霍新友，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12