基于无人机母车的无人机全景图像拼接方法技术

本发明专利技术提供一种基于无人机母车的无人机全景图像拼接方法，包括：无人机母车获取无人机拍摄的图像；将获取的图像进行柱面投影获取柱面投影图像；对柱面投影图像进行角点检测获取角点；根据获取的角点对柱面投影图像进行特征提取和特征匹配，获取拼接图像的特征匹配点对；根据提取的特征匹配点对柱面投影图像进行拼接融合，形成全景图像。本发明专利技术提供的技术方案中，通过无人机母车在全景图像拼接时能够提供成像的实时性，并且通过对拼接算法的改进，能够在不增加计算复杂度的情况下提升全景图像的拼接效果。像的拼接效果。像的拼接效果。

【技术实现步骤摘要】
基于无人机母车的无人机全景图像拼接方法


[0001]本专利技术涉及无人机全景图像拼接领域，特别是涉及一种基于无人机母车的 人机全景图像拼接方法。

技术介绍

[0002]近年来随着技术的发展进步，由于惯性导航控制、高精度姿态传感器、小 型伺服电机等技术的发展，无人机技术也随之日渐成熟，自动化和智能化的程 度均有明显提高。而收集证据需要多个视角的图像，能够提供更全面，更准确 图像，需要对多个角度的图像进行拼接，以展示给用户提供有力证据。但新阶 段，全景拼接算法较为复杂，计算量大，较难做到实时处理。

技术实现思路

[0003]基于现有技术中存在的缺陷，本专利技术提供一种基于无人机母车的无人机 全景图像拼接方法，包括：无人机母车获取无人机拍摄的图像；
[0004]将获取的图像进行柱面投影获取柱面投影图像；对柱面投影图像进行角点 检测获取角点；根据获取的角点对柱面投影图像进行特征提取和特征匹配，获 取拼接图像的特征匹配点对；
[0005]根据提取的特征匹配点对柱面投影图像进行拼接融合，形成全景图像。
[0006]其中，对柱面投影图像进行二值化获取二值化图像；
[0007]根据自适应阈值对二值化图像进行轮廓检测，获取检测到的轮廓坐标；
[0008]根据轮廓坐标在柱面投影图像进行截取轮廓坐标所包围的区域图像，形成 新的柱面投影图像；
[0009]从特征匹配点对中获取到最佳匹配点对，通过最佳匹配点对进行图像拼接。
[0010]一种基于无人机母车的无人机全景图像拼接方法，进一步优选的，对拼 接后全景图像进行端对端校正；对校正后的全景图像进行裁切获得最终的全景 图像。
[0011]一种基于无人机母车的无人机全景图像拼接方法，进一步优选的，在进 行柱面投影前，对图像进行预处理；
[0012]预处理至少包括：获取每幅图像对应的相机位姿和无人机位姿，构建正投 影转化矩阵；通过正投影转化矩阵，将图像转化为正投影方向。
[0013]一种基于无人机母车的无人机全景图像拼接方法，进一步优选的，角点 检测至少包括：
[0014]获取所有每个角点的坐标以及角点特征值，形成第一角点矩阵；
[0015]设置过滤条件，对第一角点矩阵进行过滤，将不满足条件的角点删除，形 成第二角点矩阵；
[0016]设置固定大小的第一窗口，将第一窗口遍历第二角点矩阵，若窗口区域的 所有坐标对应的角点特征值的总和不为0，获取窗口区域中最大特征值的角点 对应的坐标值；
[0017]以最大特征值的角点为中心，形成第一窗口所围区域，获取所围区域对应 的坐标feature_coordinate，通过对应坐标在柱面投影图像截取对应区域的像素 值，记为feature_value。
[0018]一种基于无人机母车的无人机全景图像拼接方法，进一步优选的，第一 角点矩阵获取至少包括：
[0019]获取x方向、y方向以及xy方向的强度因子Dx,Dy,Dxy；
[0020]对获取的强度因子Dx,Dy,Dxy进行预设规则滤波；
[0021]预设规则滤波包括：在预设的窗口区域，计算窗口区域的所有点的Dx或 Dy或Dxy之和，如果数值之和超过255，则置窗口区域中心点的Dx或Dy或 Dxy为255；依次遍历整个图像，获取滤波后的强度因子Dx
’
,Dy
’
,Dxy
’
；
[0022]通过强度因子计算候选角点的特征值，当候选角点特征值大于预设阈值时， 记录角点坐标和角点特征值，形成第一角点矩阵。
[0023]一种基于无人机母车的无人机全景图像拼接方法，进一步优选的，对第 一角点矩阵进行过滤条件包括：
[0024]将第一角点矩阵中的角点特征值与预设阈值相比较，获取大于预设阈值的 所有角点，然后将小于预设阈值的角点特征值置0；将预设边缘区域的角点特 征值置0，形成第二角点矩阵。
[0025]一种基于无人机母车的无人机全景图像拼接方法，进一步优选的，特征 匹配点对的获取包括：
[0026]通过角点对柱面投影图像进行特征提取；
[0027]针对相邻第i幅图像和第i+1幅图像，以第i幅图像的角点特征值的yi坐 标为比较基准，在第i+1图像中遍历角点的特征值处于以yi坐标为中心，预设 长度为C4所包围的方形区域，获取满足条件的所有角点，记为候选特征点，；
[0028]分别计算第i幅图像中特征点与对应的候选特征点的相似距离，形成第一 距离矩阵；
[0029]获取第一矩阵中相似距离最小的前2个元素dmin、dmin1，比较dmin与 dmin1，若满足第二预设条件，则第一距离矩阵相应元素对应的第i幅图像的特 征点和第i+1幅图像的候选特征点为相互匹配的特征点。
[0030]一种基于无人机母车的无人机全景图像拼接方法，进一步优选的，针对 第i幅图像与第i+1幅相邻图像的拼接，在以第i幅图像沿着y轴以特征坐标 feature_coordinate的yj值进行遍历；
[0031]若i+1幅图像中第一特征坐标矩阵中对应特征点的y坐标的数值处于[yj
‑ꢀ
range,yj+range]范围内，则计算第i幅图像中特征点坐标feature_coordinate对应 的feature_value值与第i+1幅图像中所有的特征点的坐标feature_coordinate内 对应feature_value值之间的距离，形成第一距离矩阵。
[0032]一种基于无人机母车的无人机全景图像拼接方法，进一步优选的，相互 匹配的特征点获取包括：
[0033]对第一距离矩阵中的元素按照从大到小就行排序，根据排序结果获取从最 小值dmin和第二小的值dmin1；
[0034]若dmin/dmin1<＝C1中，将第i幅图中的特征点坐标以及对应的i+1幅图中 的特征点坐标进行存储，形成第一配对矩阵中的元素；
[0035]依次遍历所有特征点，分别获取所有处于第i幅图像中与第i+1幅图像中 相互匹配的坐标，形成最终的第一配对矩阵，第一配对矩阵存储有第i幅图像 与第i+1幅图像中相互匹配的特征点对应的坐标。
[0036]一种基于无人机母车的无人机全景图像拼接方法，进一步优选的，拼接 图像的特征匹配点集中于计算y轴方向的最佳匹配点对，最佳匹配点对的获取 包括：
[0037]获取第一配对矩阵，在第一配对矩阵中每一个元素包含有相互匹配的特 征点，进行计算获得shifted_value值，然后在第一配对矩阵的所有元素中分别 取出第一匹配点分别减去shifted_value,分别获得n个diff_value，由n个不同diff_value的集合记为difference；
[0038]依次遍历第一配对矩阵的所有元素，找出使得inpoint取得最大值对应的相 互匹配特征点，定义为最佳匹配特征点，最佳匹配特征点对应的shift_value为 获得最佳本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机母车的无人机全景图像拼接方法，其特征在于，包括：无人机母车获取无人机拍摄的图像；将获取的图像进行柱面投影获取柱面投影图像；对柱面投影图像进行角点检测获取角点；根据获取的角点对柱面投影图像进行特征提取和特征匹配，获取拼接图像的特征匹配点对；根据提取的特征匹配点对柱面投影图像进行拼接融合，形成全景图像；其中，对柱面投影图像进行二值化获取二值化图像；根据自适应阈值对二值化图像进行轮廓检测，获取检测到的轮廓坐标；根据轮廓坐标在柱面投影图像进行截取轮廓坐标所包围的区域图像，形成新的柱面投影图像；从特征匹配点对中获取到最佳匹配点对，通过最佳匹配点对进行图像拼接。2.如权利要求1所述一种基于无人机母车的无人机全景图像拼接方法，其特征在于，对拼接后全景图像进行端对端校正；对校正后的全景图像进行裁切获得最终的全景图像。3.如权利要求1所述一种基于无人机母车的无人机全景图像拼接方法，其特征在于，在进行柱面投影前，对图像进行预处理；预处理至少包括：获取每幅图像对应的相机位姿和无人机位姿，构建正投影转化矩阵；通过正投影转化矩阵，将图像转化为正投影方向。4.如权利要求1所述一种基于无人机母车的无人机全景图像拼接方法，其特征在于，角点检测至少包括：获取所有每个角点的坐标以及角点特征值，形成第一角点矩阵；设置过滤条件，对第一角点矩阵进行过滤，将不满足条件的角点删除，形成第二角点矩阵；设置固定大小的第一窗口，将第一窗口遍历第二角点矩阵，若窗口区域的所有坐标对应的角点特征值的总和不为0，获取窗口区域中最大特征值的角点对应的坐标值；以最大特征值的角点为中心，形成第一窗口所围区域，获取所围区域对应的坐标feature_coordinate，通过对应坐标在柱面投影图像截取对应区域的像素值，记为feature_value。5.如权利要求4所述一种基于无人机母车的无人机全景图像拼接方法，其特征在于，第一角点矩阵获取至少包括：获取x方向、y方向以及xy方向的强度因子Dx,Dy,Dxy；对获取的强度因子Dx,Dy,Dxy进行预设规则滤波；预设规则滤波包括：在预设的窗口区域，计算窗口区域的所有点的Dx或Dy或Dxy之和，如果数值之和超过255，则置窗口区域中心点的Dx或Dy或Dxy为255；依次遍历整个图像，获取滤波后的强度因子Dx
’
,Dy
’
,Dxy
’
；通过强度因子计算候选角点的特征值，当候选角点特征值大于预设阈值时，记录角点坐标和角点特征值，形成第一角点矩阵。6.如权利要求4所述一种基于无人机母车的无人机全景图像拼接方法，其特征在于，对第一角点矩阵进行过滤条件包括：将第一角点矩阵中的角点特征值与预设阈值相比较，获取大于预设阈值的所有角点，
然后将小于预设阈值的角点特征值置0；将预设边缘区域的角点特征值置0，形成第二角点矩阵。7.如权利要求1所述一种基于无人机母车的无人机全景图像拼接方法，其特征在于，特征匹配点对的获取包括：通过角点对柱面投影图像进行特征提取；针对相邻第i幅图像和第i+1幅图像，以第i幅图像的角点特征值的yi坐标为比较基准，在第i+1图像中遍历角点的特征值处于以yi坐标为中心，预设长度为C4所包围的方形区域，获取满足条件的所有角点，记为候选特征点，；分别计算第i幅图像中特征点与对应的候选特征点的相似距离，形成第一距离矩阵；获取第一矩阵中相似距离最小的前2个元素dmin、dmin1，比较dmin与dmin1，若满足第二预设条件，则第一距离矩阵相应元素对应的第i幅图像的特征点和第i+1幅图像的候选特征点为相互匹配的特征点。8.如权利要求7所述一种基于无人机母车的无人机全景图像拼接方法，其特征在于，针对第i幅图像与第i+1幅相邻图像的拼接，在以第i幅图像沿着y轴以特征坐标feature_coordinate的yj值进行遍历；若i+1幅图像中第一特征坐标矩阵中对应特征点的y坐标的数值处于[yj
‑
range,yj+range]范围内，则计算第i幅图像中特征点坐标feature_coordinate对应的feature_value值与第i+1幅图像中所有的特征点的坐标feature_coordinate内对应feature_value值之间的距离，形成第一距离矩阵。9.如权利要求7所述一种基于无人机母车的无人机全景图像拼接方法，其特征在于，相互匹配的特征点获取包括：对第一距离矩阵中的元素按照从大...

【专利技术属性】
技术研发人员：肖文平，何敖东，
申请(专利权)人：上海赫千电子科技有限公司，
类型：发明
国别省市：