一种未知环境中基于BundleAdjustment的双目相机目标定位方法技术

本发明专利技术涉及目标定位技术领域，尤其是一种未知环境中基于BundleAdjustment的双目相机目标定位方法。由无人机获取机载传感器数据，包括环境的双目图像信息和无人机的IMU信息，构建视觉惯性里程计来获取无人机自身的位姿信息。对视觉图像进行目标检测，以检测框的形心作为位置点，对目标的双目图像进行立体测距。根据投影方程得到目标在相机坐标系下的坐标，同步无人机位姿和图像的时间信息，得到检测到目标的图像帧的位姿信息，通过位姿变换将目标在相机坐标系下的坐标转换为世界坐标系下的坐标。根据Bundle Adjustment优化多帧估计结果，得到目标坐标的最优估计。得到目标坐标的最优估计。得到目标坐标的最优估计。

【技术实现步骤摘要】
一种未知环境中基于Bundle Adjustment的双目相机目标定位方法


[0001]本专利技术涉及目标定位
，尤其是一种未知环境中基于Bundle Adjustment的双目相机目标定位方法。

技术介绍

[0002]灾难场景下的救援活动往往具有危险性，充分利用无人设备代替人们执行危险场景下的任务得到长足的发展。随着无人设备的发展和相关技术的智能化，无人机和各类其他机器人被广泛应用于灾难场景下的搜索、救援等活动。无人机具有机动性强、视野开阔等特点，地面机器人具有载重量大、稳定等特点，两者之间的协同配合能充分发挥各自的优势，使得在灾难场景下可以快速实施搜索、救援等任务。对无人设备的控制需要其位置信息，然而在室内、野外等灾难环境中，GPS及其他有源定位技术精度较差甚至失效，导致无人机与地面机器人无法获取自身位姿信息，执行任务受阻。
[0003]同步定位与建图(SLAM)技术使得机器人在未知环境中的定位成为可能。机器人利用搭载的IMU、雷达、相机等传感器，记录自身的位姿，并对周围环境进行感知建图。根据传感器的类型不同，SLAM可以分为雷达SLAM、视觉SLAM和多传感器融合的SLAM，由于雷达设备价格昂贵，成本较小的相机往往作为机器人进行位姿估计的载体。而纯视觉SLAM在快速运动等场景下容易出现跟踪丢失，价格低廉的IMU可以弥补相机在快速运动场景下跟踪丢失的情况。视觉与IMU相互融合的SLAM精度较高，可以达到自身定位的需求。但在定位目标测量深度时，深度相机探测距离较短，而激光测距仪价格昂贵、且会额外无人机的负载。同时地面机器人在未知环境中执行搜索任务时，往往耗时较长，尤其是多机器人执行多任务的情况，对环境中的同一位置可能会执行多次搜索，造成资源上的浪费，而多机器人协同建图的效果又难以达到导航的需求。如果地面机器人在面对不属于自己执行的任务时，由于机器人各自地图坐标系不统一，就无法将任务位置发送给执行该任务的机器人，那么在最差的情况下，每个机器人在找到自己的目标时都要遍历一次任务区域，使得执行任务的时间代价增加。

技术实现思路

[0004]本专利技术的技术解决问题是：克服现有技术的不足，提出一种未知环境中基于Bundle Adjustment的双目相机目标定位方法，该方法充分利用无人设备的优势，使得机器人可以在无GPS的未知环境中快速执行搜索、救援等任务，无人机通过自身搭载的传感器进行位姿估计、感知周围环境。在定位目标时，不需要激光测距仪等其他额外设备。为了避免单帧估计可能产生误差较大情况，优化多帧目标定位估计结果。
[0005]为实现上述目的，本专利技术所提供的技术方案为：
[0006]一种未知环境中基于Bundle Adjustment的双目相机目标定位方法，包括以下步骤：
[0007]步骤一，由无人机获取机载传感器数据，包括双目图像信息和IMU信息，然后根据获取的传感器数据构建视觉惯性里程计，最后根据构建的视觉惯性里程计获取无人机自身的位姿信息；
[0008]步骤二，对步骤一中传感器数据中的双目图像信息进行目标检测，得到检测框，以检测框的形心作为目标的位置，并对目标的位置进行立体测距；
[0009]步骤三，根据投影方程得到步骤二中确定的目标的位置在相机坐标系下的坐标，将步骤一获取的无人机自身的位姿信息与双目图像信息进行时间同步，得到包含目标图像帧的位姿信息，并通过得到的包含目标图像帧的位姿信息将目标在相机坐标系下的坐标转换为世界坐标系下的坐标，得到未知环境中双目相机的单帧估计的目标坐标值；
[0010]步骤四，根据Bundle Adjustment优化多帧估计结果，得到多帧优化的目标坐标值。
[0011]所述的步骤一中，无人机上搭载有双目相机和IMU，通过搭载的双目相机获取双目图像信息，通过IMU获取IMU信息；
[0012]构建视觉惯性里程计的方法为：提取双目图像信息的Harris角点，构建图像金字塔，利用光流跟踪构建起相邻图像帧之间的数据关联，利用RANSAC去除其中的误匹配，同时计算IMU数据的预积分增量，双目图像信息和IMU信息采用紧耦合的方式估计位姿，构建滑动窗口，采取非线性优化提高位姿估计的精度，在GPS精度不高，或者无GPS的未知环境中对无人机的自身姿态进行位姿估计，以获取双目相机及无人机自身的位姿信息，并保留飞行过程的轨迹信息，用于后续的位姿变换；
[0013]所述的步骤二中，无人机接收机载双目相机图像信息进行目标检测，具体方法为：以二维码作为需要识别的对象，检测步骤包括：对传感器采集的双目图像信息进行平滑滤波和二值化预处理后提取图像轮廓，选取有两个子轮廓特征的轮廓，从选取的轮廓中选择面积相近的三个来作为二维码的定位角点；根据二维码的定位角点的位置，对图像进行透视矫正，确定二维码四个顶点的坐标，并根据二维码四个顶点的坐标得到检测框，计算检测框的形心坐标作为目标的位置，对目标的位置进行立体测距获取目标的深度值s；
[0014]所述的步骤三中，根据投影方程确定目标的位置在相机坐标系下的坐标的方法为：当无人机检测到某时刻的两个相机图像都含有任务目标时，获取目标在像素坐标系下的坐标p＝(u，v，1)
T
，通过事先标定好的相机内参矩阵K，将像素坐标转换为归一化坐标系下的归一化坐标p1＝(x，y，1)
T
，再根据目标的深度值s得到目标位于相机坐标系下的坐标；
[0015]无人机自身的位姿信息与双目图像信息进行时间同步的方法为：将相机的位姿估计时间戳与含有任务目标的两个相机图像的时间戳进行时间同步，以获取在该时刻下相机的位姿信息，得到该时刻相机位姿与世界坐标系的关系，通过位姿变换得到目标在世界坐标系下的坐标，在搜索过程中所有的目标坐标都统一于世界坐标系下；
[0016]所述的步骤四中，考虑到单帧估计的不确定性，通过最小化重投影误差的方式，优化多帧估计结果，得到目标的最优估计。
[0017]有益效果
[0018](1)相比于基于UWB定位技术需要极高的硬件成本和基于Wi
‑
Fi的定位技术的鲁棒性差、定位精度低，本专利技术的方法充分发挥了无人设备的优势，利用无人机机载设备进行定位，不需要提前部署环境，可以应对突发状况。
[0019](2)本专利技术的方法利用无人机的机动性和广阔的视野对目标进行检测并感知周围环境，在无GPS的情况下可以估计自身位姿并定位目标，采用双目立体测距估计目标的深度值，不需要激光测距仪等额外设备。
[0020](3)本专利技术的方法采用多帧定位的方式，避免了单帧估计出现的误差较大的情况，通过最小化重投影误差得到目标的最优估计。
[0021](4)地面机器人在完成定位后，通过本专利技术的方法可以快速到达指定目标点执行救援任务。在多机器人执行多任务的情况下，减少了机器人探索环境所耗费的时间，使得机器人可以快速确定各自的目标位置。
[0022](5)本专利技术的方法首先由无人机获取机载传感器数据，包括环境的双目图像信息和无人机的IMU信息，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种未知环境中基于Bundle Adjustment的双目相机目标定位方法，其特征在于包括以下步骤：步骤一，由无人机获取机载传感器数据，包括双目图像信息和IMU信息，然后根据获取的传感器数据构建视觉惯性里程计，最后根据构建的视觉惯性里程计获取无人机自身的位姿信息；步骤二，对步骤一中传感器数据中的双目图像信息进行目标检测，得到检测框，以检测框的形心作为目标的位置，并对目标的位置进行立体测距；步骤三，根据投影方程得到步骤二中确定的目标的位置在相机坐标系下的坐标，将步骤一获取的无人机自身的位姿信息与双目图像信息进行时间同步，得到包含目标图像帧的位姿信息，并通过得到的包含目标图像帧的位姿信息将目标在相机坐标系下的坐标转换为世界坐标系下的坐标；步骤四，优化多帧估计结果，得到多帧优化的目标坐标值。2.根据权利要求1所述的一种未知环境中基于Bundle Adjustment的双目相机目标定位方法，其特征在于：所述的步骤一中，无人机上搭载有双目相机和IMU，通过搭载的双目相机获取双目图像信息，通过IMU获取IMU信息。3.根据权利要求1或2所述的一种未知环境中基于Bundle Adjustment的双目相机目标定位方法，其特征在于：构建视觉惯性里程计的方法为：提取双目图像信息的Harris角点，构建图像金字塔，利用光流跟踪构建起相邻图像帧之间的数据关联，利用RANSAC去除其中的误匹配，同时计算IMU数据的预积分增量，双目图像信息和IMU信息采用紧耦合的方式估计位姿，构建滑动窗口，采取非线性优化对无人机的自身姿态进行位姿估计，以获取双目相机及无人机自身的位姿信息。4.根据权利要求1或3所述的一种未知环境中基于Bundle Adjustment的双目相机目标定位方法，其特征在于：所述的步骤二中，无人机接收机载双目相机图像信息进行目标检测，具体方法为：以二维码作为需要识别的对象，检测步骤包括：对传感器...

【专利技术属性】
技术研发人员：彭志红，张楠，陈杰，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：