图像拼接方法、设备、存储介质及无人机技术

本申请涉及一种图像拼接方法、设备、存储介质及无人机，其中，所述方法包括：获取至少两张待拼接图像，及无人机拍摄每张待拼接图像时的位姿信息；根据所述每张待拼接图像对应的位姿信息，获取所述无人机在拍摄顺序上相邻的待拼接图像之间的位姿变化信息，根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域；根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像，在无人机的图像拼接过程中通过位姿信息得到两张待拼接图像的重叠区域，只需对利用该重叠区域进行变换矩阵计算，而不用基于整张图像进行变换矩阵计算，减少计算量及处理时间，具有高效性和实用性。具有高效性和实用性。具有高效性和实用性。

【技术实现步骤摘要】
图像拼接方法、设备、存储介质及无人机


[0001]本申请涉及图像拼接
，具体地，涉及一种图像拼接方法、设备、存储介质及无人机。

技术介绍

[0002]为了获取广域中较为完整的视频或图像视频监控系统，需要对无人机拍摄多张不同位置、不同角度的图像进行拼接。
[0003]考虑到机载端计算能力有限以及对拼接实时性的要求，现有技术中的拼接方法有：一种是使用惯性测量单元(Inertial Measurement Unit，IMU)等进行辅助拼接，然而其结构运算复杂，对较长时间的图像拼接存在较大的误差；一种是采用传统图像的拼接方法，提取特征点进行特征匹配，然后获取相关的变换关系，存在计算量大、难以直接部署在无人机侧的问题；另一种方法是通过进行分区分块的规则化变形原理，将原有的不规则的拼接图像通过多个仿射变换生成较为规则的矩形化图形，通过局部形状的调整和直线保持约束实现矩形化变换，该方法涉及到大量的数学优化计算，优化时间较长且优化难度较大，难以做到实时处理。
[0004]因此，现有技术中需要一种实时性高、误差小、矩形化的无人机图像拼接方法。

技术实现思路

[0005]为解决现有技术中至少一项技术问题，本申请提供一种图像拼接方法、设备、存储介质及无人机。
[0006]本申请第一方面提供一种图像拼接方法，所述方法应用于无人机，所述方法包括：获取至少两张待拼接图像，及所述无人机拍摄每张待拼接图像时的位姿信息；根据所述每张待拼接图像对应的位姿信息，获取所述无人机在拍摄顺序上相邻的待拼接图像之间的位姿变化信息，根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域；根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像。
[0007]可选地，所述获取所述无人机拍摄每张待拼接图像时的位姿信息，包括：获取每张待拼接图像拍摄时所述无人机的惯性测量单元的测量数据；对每张待拼接图像对应的测量数据进行积分和卡尔曼滤波，获得所述无人机拍摄每张待拼接图像时的位姿信息。
[0008]可选地，所述根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域，包括：根据所述位姿变化信息，计算所述无人机在拍摄顺序上相邻的待拼接图像之间的平移运动信息；根据所述相邻的待拼接图像对应的所述平移运动信息以及所述相邻的待拼接图像中的两张待拼接图像，获取每一相邻的待拼接图像的重叠区域。
[0009]可选地，所述根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像，包括：在每一相邻的待拼接图像的重叠区域上，获取每一相邻的待拼接图像多个对应的特征点；根据每一相邻的待拼接图像的多个特征点之
间的对应关系，得到初始变换矩阵；根据所述平移运动信息，以及所述初始变换矩阵，确定目标变换矩阵；根据所述目标变换矩阵对每一相邻的待拼接图像进行拼接，得到拼接图像。
[0010]可选地，所述根据每一相邻的待拼接图像的多个特征点之间的对应关系，得到初始变换矩阵，包括：根据每一相邻的待拼接图像中每个图像的特征点的特征描述子，确定每一相邻的待拼接图像中特征点的对应关系；将所述每一相邻的待拼接图像中的图像划分网格；确定每个网格相对于每个特征点的网格变换矩阵；遍历每个网络以及每个特征点，根据每个网格相对于每个特征点的网格变换矩阵，得到所述初始变换矩阵。
[0011]可选地，所述确定每个网格相对于每个特征点的网格变换矩阵，包括：确定每个网格的中心点与每个特征点之间的距离；将所述每个网格的中心点与每个特征点之间的距离作为预设拼接矩阵的权重，并根据所述权重以及所述预设拼接矩阵，得到每个网格相对于每个特征点的网格变换矩阵。
[0012]可选地，所述根据所述平移运动信息，以及初始变换矩阵，确定目标变换矩阵，包括：根据所述平移运动信息以及预设偏移矩阵，生成目标偏移矩阵；融合所述目标偏移矩阵和所述初始变换矩阵中每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵。
[0013]可选地，所述预设偏移矩阵为：
[0014][0015]其中，所述p
x
为水平平移距离，p
y
为竖直平移距离。
[0016]可选地，所述融合所述目标偏移矩阵和所述初始变换矩阵中每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵，包括：根据每一网格的中心点在对应图像上的位置，确定每一网格的偏移权重，其中，网格的中心点距离所述对应图像的目标边界越近，权重越小，所述目标边界为所述初始拼接图像的不规则边界对应的边界；根据每一网格的偏移权重、所述目标偏移矩阵和所述每个网格相对于每个特征点的初始变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵。
[0017]可选地，所述根据每一网格的中心点在对应图像上的位置，确定每一网格的偏移权重，包括：获取所述每一网格的中心点与所述对应图像的目标边界的距离；确定所述每一网格的中心点的宽度坐标与所述每一网格的中心点与所述对应图像的目标边界的距离的比值为所述每一网格的偏移权重。
[0018]可选地，所述方法还包括：使用至少两种特征点提取方法提取每一相邻的待拼接图像中每个图像的重叠区域的至少两组待选特征点及每一待选特征点的特征描述子；在每个图像的所述至少两组待选特征点中去除重复的待选特征点，将剩余的待选特征点作为每个图像中的特征点。
[0019]可选地，所述根据每一相邻的待拼接图像中每个图像中的特征点的特征描述子，确定每一相邻的待拼接图像中特征点的对应关系，包括：将每一相邻的待拼接图像中任一图像作为第一图像，另一图像作为第二图像；使用所述第一图像的特征点作为待查数据，所述第二图像的特征点作为查询数据进行第一匹配，得到第一配准点对；使用所述第二图像的特征点作为待查数据，所述第一图像的特征点作为查询数据进行第二匹配，得到第二配
准点对；将在所述第一配准点对和所述第一配准点对中均存在的配准点对作为所述多个配准点对。
[0020]本申请第二方面提供一种无人机，所述无人机包括：图像获取模块，用于获取至少两张待拼接图像，及所述无人机拍摄每张待拼接图像时的位姿信息；重叠区域获取模块，用于根据所述每张待拼接图像对应的位姿信息，获取所述无人机在拍摄顺序上相邻的待拼接图像之间的位姿变化信息，根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域；拼接模块，用于根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像。
[0021]本申请第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
[0022]本申请第四方面提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面中任一项所述方法的步骤。
[0023]上述图像拼接方法，在无人机的图像拼接过程中通过位姿信息得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像拼接方法，其特征在于，所述方法应用于无人机，所述方法包括：获取至少两张待拼接图像，及所述无人机拍摄每张待拼接图像时的位姿信息；根据所述每张待拼接图像对应的位姿信息，获取所述无人机在拍摄顺序上相邻的待拼接图像之间的位姿变化信息，根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域；根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像。2.根据权利要求1所述的方法，其特征在于，所述获取所述无人机拍摄每张待拼接图像时的位姿信息，包括：获取每张待拼接图像拍摄时所述无人机的惯性测量单元的测量数据；对每张待拼接图像对应的测量数据进行积分和卡尔曼滤波，获得所述无人机拍摄每张待拼接图像时的位姿信息。3.根据权利要求1所述的方法，其特征在于，所述根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域，包括：根据所述位姿变化信息，计算所述无人机在拍摄顺序上相邻的待拼接图像之间的平移运动信息；根据所述相邻的待拼接图像对应的所述平移运动信息以及所述相邻的待拼接图像中的两张待拼接图像，获取每一相邻的待拼接图像的重叠区域。4.根据权利要求1所述的方法，其特征在于，所述根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像，包括：在每一相邻的待拼接图像的重叠区域上，获取每一相邻的待拼接图像多个对应的特征点；根据每一相邻的待拼接图像的多个特征点之间的对应关系，得到初始变换矩阵；根据所述平移运动信息，以及所述初始变换矩阵，确定目标变换矩阵；根据所述目标变换矩阵对每一相邻的待拼接图像进行拼接，得到拼接图像。5.根据权利要求4所述的方法，其特征在于，所述根据每一相邻的待拼接图像的多个特征点之间的对应关系，得到初始变换矩阵，包括：根据每一相邻的待拼接图像中每个图像的特征点的特征描述子，确定每一相邻的待拼接图像中特征点的对应关系；将所述每一相邻的待拼接图像中的图像划分网格；确定每个网格相对于每个特征点的网格变换矩阵；遍历每个网络以及每个特征点，根据每个网格相对于每个特征点的网格变换矩阵，得到所述初始变换矩阵。6.根据权利要求5所述的方法，其特征在于，所述确定每个网格相对于每个特征点的网格变换矩阵，包括：确定每个网格的中心点与每个特征点之间的距离；将所述每个网格的中心点与每个特征点之间的距离作为预设拼接矩阵的权重，并根据所述权重以及所述预设拼接矩阵，得到每个网格相对于每个特征点的网格变换矩阵。7.根据权利要求4所述的方法，其特征在于，所述根据所述平移运动信息，以及所述初
始变换矩阵，确定目标变换矩阵，包括：根据所述平移运动信息以及预设偏移矩阵，生成目标偏移矩阵；融合所述目标偏移矩阵和所述初始变换矩阵中每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵。8.根据权利要求7所述的方法，其特征在于，所述预设偏移矩阵为：其中...

【专利技术属性】
技术研发人员：李树斌，
申请(专利权)人：广州海格通信集团股份有限公司，
类型：发明
国别省市：