一种无人机飞行路径的处理方法技术

一种无人机飞行路径的处理方法，无人机固定安装有双目相机，双目相机包括左相机和右相机，包括步骤：获取双目相机当前帧图像；检测当前帧图像与已记录路径的关键帧图像是否相似，若相似，根据当前帧图像和关键帧图像计算双目相机的相对位姿，并根据双目相机的相对位姿计算无人机的相对位姿，并对无人机的相对位姿进行修正；若不相似，判断当前帧图像是否为关键帧图像，若是，将当前帧图像存储为关键帧图像。由于根据关键帧图像存储无人机的飞行路径，大大减少了视觉定位算法的计算量，通过记录的路径使得无人机或其他配置了摄像机的无人机能够按路径飞行，并且，在按路径飞行的过程中，通过对无人机的位置漂移的修正，能达到精准的跟踪效果。

Method for processing flight path of unmanned aerial vehicle

A processing method of UAV flight path, UAV fixed binocular camera binocular cameras including the left camera and the right camera binocular camera comprises the following steps: obtaining the current frame image; detecting the current frame image and the recorded path key frame images are similar, if similar, according to the relative pose of the current frame of binocular camera the image and key frame image calculation, and according to the relative position of binocular camera relative position calculation of the UAV, the UAV relative pose correction; if not similar, judge whether the current frame image as the key frame image, if the current image is stored as a key frame image. The flight path based on key frame storage of UAV, which greatly reduces the computation of visual localization algorithm, by recording the UAV path or other UAV according to the flight path, and the configuration of the camera, in the process by the flight path, by modifying the position drift of UAV, can achieve accurate tracking results.

【技术实现步骤摘要】
一种无人机飞行路径的处理方法
本专利技术涉及无人机
，具体涉及一种无人机飞行路径的处理方法。
技术介绍
目前，无人机在复杂环境下(如室内、丛林里、洞穴等等)的导航是极其困难的，特别是无人机自主返航、精准的路径跟随等功能的实现是十分困难的，在这种情况下使用现有的加速度计和光流计作为里程计，并且使用图像匹配进行实时的路径误差修正是一个可行的办法。但是，目前的视觉定位算法一般计算量偏大，如SLAM等算法，很难在机载系统上实时运行，因此，选择合适的方法来融合视觉信息对无人机飞行路径进行处理是必须要考虑的。
技术实现思路
针对如何记录无人机飞行路径，及实现路径跟踪的问题，本申请提供一种无人机飞行路径的处理方法，无人机固定安装有双目相机，双目相机包括左相机和右相机，包括步骤：获取双目相机当前帧图像；检测当前帧图像与已记录路径的关键帧图像是否相似，若相似，根据当前帧图像和关键帧图像计算双目相机的相对位姿，并根据双目相机的相对位姿计算无人机的相对位姿，并对无人机的相对位姿进行修正；若不相似，判断当前帧图像是否为关键帧图像，若是，将当前帧图像存储为关键帧图像。一种实施例中，根据双目相机的相对位姿计算无人机的相对位姿，具体为：根据优化函数获取无人机的相对位姿，优化函数为：其中，Ti(t)表示t时刻第i幅关键帧时无人机的相对位姿，ρ指的是欧氏距离的平方，是3D点和2D图像点的对应关系集合，Vi是第i幅关键帧里面的特征点集合，PWC指的是双目相机的相对位姿，X指的是三维坐标点。一种实施例中，对无人机的相对位姿进行修正，包括步骤：保存双目相机的内参参数、外参参数、畸变参数，并将双目相机中的左相机的中心设置为双目相机的中心点；利用fast或Shi-Tomas角点提取算法提取左相机图像中的角点xl，及利用Lucas-Kanade算法提取右相机图像中的对应点xr，并且计算出角点xl和对应点xr计算点对；利用RANSAC算法计算单应性矩阵Hlr和基础矩阵Flr，并根据单应性矩阵Hlr和基础矩阵Flr剔除异常点对；对保留的点对计算对应的三维坐标点，并计算所有三维坐标点距离双目相机的平均距离；根据关键帧图像和无人机的相对位姿构建参考关键帧，并由参考关键帧变换成临时中间帧图像，通过Lucas-Kanade算法对临时中间帧图像和当前帧图像进行点对匹配，并计算临时中间帧图像的相机坐标；根据临时中间帧图像的相机坐标计算出临时中间帧图像的世界坐标；根据临时中间帧图像的世界坐标通过优化函数计算无人机的相对位姿，并通过卡尔曼滤波器更新无人相的相对位姿。一种实施例中，根据单应性矩阵Hlr和基础矩阵Flr剔除异常点对，具体为：若双目相机的图像场景是平面或接近平面，判断角点xl和对应点xr是否满足公式xl＝Hlrxr，若不满足，则剔除导常点对；若双目相机的图像场景复杂，判断角点xl和对应点xr是否满足公式xlFlrxr＝0，若不满足，则剔除导常点对。一种实施例中，计算临时中间帧图像的相机坐标，具体为：其中，K为相机的内参参数，davg为三维坐标点距离双目相机的平均距离，为位移，和为旋转矩阵，和xR分别是临时中间帧图像的相机坐标和世界坐标。一种实施例中，判断当前帧图像是否为关键帧图像，包括步骤：判断当前帧图像与前一帧图像的位置差是否超过预设的Dmax，若超过，则当前帧图像为关键帧图像；否则，判断当前帧图像与前一帧图像的朝向夹角是否超过预设的δψmax，若超过，则当前帧图像为关键帧图像；否则，判断当前帧图像与前一帧图像的轨迹切向方向夹角是否超过Θmax，若超过，则当前帧图像为关键帧图像；否则，判断当前帧图像与前一帧图像的匹配特征点是否少于预设的Nmin，若少于，则当前帧图像为关键帧图像，否则，当前帧图像不是关键帧图像。一种实施例中，Dmax＝0.5m，δψmax＝π/9，Θmax＝π/4，Nmin＝10。依据上述实施例的无人机飞行路径的处理方法，由于根据关键帧图像存储无人机的飞行路径，大大减少了视觉定位算法的计算量，通过记录的路径使得无人机或其他配置了摄像机的无人机能够按路径飞行，并且，在按路径飞行的过程中，通过对无人机的位置漂移的修正，能达到精准的跟踪效果。附图说明图1为无人机飞行路径的处理方法流程图；图2为双目相机坐标系的示意图；图3为关键帧图像和当前帧图像的特征点匹配及临时帧图像示意图；图4为无人机路径跟踪示意图；图5为路径记录的示意图；图6为路径记录的效果分析示意图。具体实施方式下面通过具体实施方式结合附图对本专利技术作进一步详细说明。针对安装有双目相机的无人机的路径记录与回放的问题，本例提供一种无人机飞行路径的处理方法，其流程图如图1所示，具体包括如下步骤。S1：获取双目相机当前帧图像。由于无人机固定安装有双目相机，双目相机包括左相机和右相机，当无人机飞行过程中，可以获取双目相机当前帧图像，根据当前帧图像对无人机的飞行路径作相应的处理。本例中，假设获得的当前帧图像已经是去畸变的图像，并设世界坐标系为相机坐标系表示为那么左相机的姿态可以表示成一个3×4的矩阵该矩阵包含了相机的旋转和平移，同时使用矩阵K来表示左相机的内参，该K矩阵包括了相机的焦距和相机的中心点。因此，三维世界的点投影在向平面，可以表达成：其中，r表示将投影结果转换为齐次坐标的比列系数，x＝[x，y，1]T，X＝[X，Y，Z，1]T分别表示二维坐标点和三维坐标点。通过双目相机系统的两幅图像，可以获得空间中的三维坐标点，双目相机坐标系的示意图如图2所示，表达式如下：表达式中xl和xr分别指左右两幅不同图像中相对应的二维点，通过结合左右两个图像的(1)表达式可以求出对应三维空间中该点的坐标。S2：检测当前帧图像与已记录路径的关键帧图像是否相似，若相似，根据当前帧图像和关键帧图像计算双目相机的相对位姿，并根据双目相机的相对位姿计算无人机的相对位姿，并对无人机的相对位姿进行修正。在三维坐标点被给出之后，通过不同时刻左边相机所拍摄的图像来获取左边相机两个不同时刻的相对位姿，本例中，采用触发方法进行图像匹配和计算无人机的相对运动姿态，具体的，当轨迹规划模块检测到当前帧图像与记录的关键帧图像相似的时候，开始选取出对应的关键帧图像进行计算相机位姿，这样可以节约寻找最合适关键帧的时间。由于双目相机和无人机是固定连接的，那么由此可以获得无人机在这两个时刻的相对位姿。相对位姿使用Ti(t)∈SE(3)，下标i表示这是第i个关键帧，t表示时刻。Ti(t)就给出了因此当3D点云和图像上的2D点的对应关系被给出之后，求Ti(t)等效于一个优化问题，进一步，本例根据优化函数获取无人相的相对位姿，优化函数为：其中，Ti(t)表示t时刻第i幅关键帧时无人机的相对位姿，ρ指的是欧氏距离的平方，是3D点和2D图像点的对应关系集合，Vi是第i幅关键帧里面的特征点集合，PWC指的是双目相机的相对位姿，X指的是三维坐标点。通过公式(3)获得无人机的相对位姿后，为达到无人机精准按记录的关键帧图像飞行，还要对该无人机的相对位姿进行修正，修正的步骤为：1)保存双目相机的内参参数、外参参数、畸变参数，并将双目相机中的左相机的中心设置为双目相机的中心点。2)利用fast或Shi-Tomas角点提取算法提取左相机图像中的角点xl，及利用L本文档来自技高网...

【技术保护点】
一种无人机飞行路径的处理方法，其特征在于，无人机固定安装有双目相机，所述双目相机包括左相机和右相机，包括步骤：获取双目相机当前帧图像；检测所述当前帧图像与已记录路径的关键帧图像是否相似，若相似，根据所述当前帧图像和关键帧图像计算双目相机的相对位姿，并根据所述双目相机的相对位姿计算无人机的相对位姿，并对所述无人机的相对位姿进行修正；若不相似，判断所述当前帧图像是否为关键帧图像，若是，将所述当前帧图像存储为关键帧图像。

【技术特征摘要】
1.一种无人机飞行路径的处理方法，其特征在于，无人机固定安装有双目相机，所述双目相机包括左相机和右相机，包括步骤：获取双目相机当前帧图像；检测所述当前帧图像与已记录路径的关键帧图像是否相似，若相似，根据所述当前帧图像和关键帧图像计算双目相机的相对位姿，并根据所述双目相机的相对位姿计算无人机的相对位姿，并对所述无人机的相对位姿进行修正；若不相似，判断所述当前帧图像是否为关键帧图像，若是，将所述当前帧图像存储为关键帧图像。2.如权利要求1所述的处理方法，其特征在于，所述根据双目相机的相对位姿计算无人机的相对位姿，具体为：根据优化函数获取无人机的相对位姿，所述优化函数为：其中，Ti(t)表示t时刻第i幅关键帧时无人机的相对位姿，ρ指的是欧氏距离的平方，是3D点和2D图像点的对应关系集合，Vi是第i幅关键帧里面的特征点集合，PWC指的是双目相机的相对位姿，X指的是三维坐标点。3.如权利要求2所述的处理方法，其特征在于，所述对无人机的相对位姿进行修正，包括步骤：保存双目相机的内参参数、外参参数、畸变参数，并将双目相机中的左相机的中心设置为双目相机的中心点；利用fast或Shi-Tomas角点提取算法提取左相机图像中的角点xl，及利用Lucas-Kanade算法提取右相机图像中的对应点xr，并且计算出所述角点xl和对应点xr计算点对；利用RANSAC算法计算单应性矩阵Hlr和基础矩阵Flr，并根据所述单应性矩阵Hlr和基础矩阵Flr剔除异常点对；对保留的点对计算对应的三维坐标点，并计算所有三维坐标点距离双目相机的平均距离；根据所述关键帧图像和无人机的相对位姿构建参考关键帧，并由所述参考关键帧变换临时中间帧图像，通过Lucas-Kanade算法对所述临时中间帧图像...

【专利技术属性】
技术研发人员：缪瑞航，邹丹平，裴凌，刘佩林，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31