一种无人机航拍图像拼接方法、装置和存储介质制造方法及图纸

本申请公开了一种无人机航拍图像拼接方法、装置和存储介质，具体为：获取无人机航拍的一帧图像，将该帧图像作为当前帧；根据已有图像估计当前帧在拟合平面坐标系下的位姿，所述拟合平面由所述已有图像的定向快速旋转(ORB)特征点所对应的三维点拟合生成，所述已有图像为已完成拼接图像；根据所述当前帧在拟合平面坐标系下的位姿计算当前帧与所述已有图像之间的变换关系，根据所述变换关系实现所述当前帧和所述已完成拼接图像的拼接。应用本申请公开的技术方案，由于并不是每次利用图像之间的特征匹配算法来进行拼接，而是利用位姿估计方法快速计算出位姿，大大减少了计算量，提供了拼接的效率。

【技术实现步骤摘要】
一种无人机航拍图像拼接方法、装置和存储介质
本申请涉及计算机视觉
，特别涉及一种无人机航拍图像拼接方法、装置和存储介质。
技术介绍
传统的测绘技术通常是将地面的特征点和界线通过测量手段，比如利用遥感、激光、超声等，来获取反映地面图形和位置的信息。传统的测绘技术虽然精度高，但其成本高，且从信息采集到生成结果的时间长。针对传统技术的缺点，目前已经出现利用无人机进行航拍，利用航拍的图像进行图像拼接，生成全景图。图像拼接主要是指将一组有部分重叠区域的图像拼接成一幅更全面的全景图像的过程，能够弥补单幅图像视野范围小的缺陷。现有的图像拼接过程中，经常运用到基于特征的匹配方法，比如LBP(LocalBinaryPatterns)、SIFT(ScaleInvariantFeatureTransform)算法等。由于无人机在航拍过程会不停的移动或倾斜角度，所拍摄的图像之间存在旋转、平移、缩放等变化，使得算法性能大大下降，造成图像拼接整体工作效率低下。
技术实现思路
本申请提供了一种无人机航拍图像拼接方法，可以克服现有技术中算法性能低的问题，从而提高图像拼接工作效率。本申请实施例实现一种无人机航拍图像拼接方法，具体包括：获取无人机航拍的一帧图像，将该帧图像作为当前帧；根据已有图像估计当前帧在拟合平面坐标系下的位姿，所述拟合平面由所述已有图像的定向快速旋转ORB特征点所对应的三维点拟合生成，所述已有图像为已完成拼接的图像；根据所述当前帧在拟合平面坐标系下的位姿计算当前帧与所述已有图像之间的变换关系，根据所述变换关系实现所述当前帧和所述已有图像的拼接。本申请另一实施例还提出一种无人机航拍图像拼接装置，可以克服现有技术中算法性能低的问题，从而提高图像拼接工作效率。一种无人机航拍图像拼接装置具体包括：获取单元，用于获取无人机航拍的一帧图像，将该帧图像作为当前帧；位姿估计单元，用于根据已有图像估计当前帧在拟合平面坐标系下的位姿，所述拟合平面由所述已有图像的定向快速旋转ORB特征点所对应三维点拟合生成，所述已有图像为已完成拼接的图像；拼接单元，用于根据所述拟合平面坐标系下的位姿计算当前帧与所述已有图像之间的变换关系，根据所述变换关系实现所述当前帧和所述已有图像的拼接。本申请另一实施例还提出一种计算机可读存储介质，存储有计算机指令，所述指令被处理器执行时可实现上述的无人机航拍图像拼接方法。本申请另一实施例还提出一种电子设备，该电子设备包括上述的计算机可读存储介质，还包括可执行所述计算机可读存储介质的处理器。由上述技术方案可见，本申请实施例将接收到的当前帧图像通过位姿估计的方式得到当前帧位姿，并将当前帧转换到拟合平面坐标系下，然后再利用当前帧和已有图像之间的单应变换关系完成当前帧和已有图像的拼接。由于本申请方案并不是每次利用图像之间的特征匹配算法来进行拼接，而是利用位姿估计方法快速计算出位姿，大大减少了计算量，提供了拼接的效率。附图说明图1是本申请方法实施例一的流程图。图2是本申请方法实施例二的流程图。图3是本申请方法实施例三的初始化过程流程图。图4是本申请方法实施例三初始化过程中步骤L44具体实现方法流程图。图5是本申请方法实施例四中基于运动模型的跟踪方法流程图。图6是本申请方法实施例五中基于参考关键帧的跟踪方法流程图。图7是本申请方法实施例六中基于局部三维点跟踪的方法流程图。图8是本申请方法实施例七中组合的帧间跟踪方法流程图。图9是本申请方法实施例八中局部优化过程方法流程图。图10是本申请方法实施例九中平面拟合过程方法流程图。图11是本申请方法实施例十中位姿转换过程方法流程图。图12是本申请方式实施例十一实现图像拼接过程的方法流程图。图13是本申请装置实施例一的结构示意图。图14是本申请装置实施例二的结构示意图。图15是本申请装置实施例三中初始化单元M5的内部结构示意图。图16是本申请装置实施例四中帧间跟踪单元M21的第一种内部结构示意图。图17是本申请装置实施例五中跟踪单元M21的第二种内部结构示意图。图18是本申请装置实施例六中跟踪单元M21的第三种内部结构示意图。图19是本申请装置实施例七中跟踪单元M21的第四种内部结构示意图。图20是本申请装置实施例八中局部优化单元M22的内部结构示意图。图21是本申请装置实施例九中平面拟合单元M23的内部结构示意图。图22是本申请装置实施例十中位姿转换单元M24的内部结构示意图。图23是本申请装置实施例十一中拼接单元M3的内部结构示意图。图24是本申请装置实施例十二中电子设备的结构示意图。具体实施方式为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请作进一步详细说明。本申请以下实施例提供一种无人机航拍图像拼接方法，无需每次拼接时都利用图像特征匹配算法，而是利用已的图像对当前帧进行位姿估计，再将当前帧按照估计出来的位姿与已图像进行拼接。由于位姿主要是通过已有图像估计得到，已有图像是已经完成拼接的图像，其位姿是已知的，且和当前帧的位姿之间存在关系，可以直接利用已有图像直接估计当前帧的位姿，比现有技术采用基于特征的匹配方法(比如LBP、SIFT算法等)计算要简便得多，因而可以大大减少图像拼接整体的计算量，从而提高拼接工作的整体效率。实际应用中，无人机通常会搭载云台相机，将云台相机拍摄获取的图像传送给地面系统，由地面系统拼接以获取全景图。这里所述的地面系统就是在地面上接收无人机航拍图像，并对这些航拍图像进行拼接的系统，在实际应用中，地面系统可能是一台或多台计算机构成的系统。本申请以下实施例中的方案就是由地面系统实施，实现图像的拼接工作。另外，实际工作中无人机还可以搭载全球定位系统(GPS)，在传送图像时将对应的全球定位系统信息一并传送给地面系统。图1是本申请方法实施例一实现无人机航拍图像拼接的流程图。如图1所示，该方法包括：步骤S1：获取无人机航拍的一帧图像，将该帧图像作为当前帧。为描述方便，在本实施例以及本申请其他实施例中，当前需要拼接处理的图像都称为当前帧，而对于已完成拼接图像在拼接中所利用的图像统称为已有图像。步骤S2：根据已有图像估计当前帧在拟合平面坐标系下的位姿，所述拟合平面由所述已有图像的定向快速旋转(ORB，Orientedfastandrotatedbrief)特征点所对应的三维点拟合生成，所述已有图像为已完成拼接图像在拼接中所利用的图像。无人机在航拍过程中，会不停转移位置或者倾斜角度，使得连续拍摄的图像之间存在旋转和平移的关系，因此拍摄的每一幅图像都有对应的位置和姿态，即本步骤所述的位姿。由于图像是连续拍摄的，因此当前帧和已有图像的位姿之间天然地存在某种关联关系，这种关联关系可以利本文档来自技高网...

【技术保护点】
1.一种无人机航拍图像拼接方法，其特征在于，该方法包括：/n获取无人机航拍的一帧图像，将该帧图像作为当前帧；/n根据已有图像估计当前帧在拟合平面坐标系下的位姿，所述拟合平面由所述已有图像的定向快速旋转ORB特征点所对应的三维点拟合生成，所述已有图像为已完成拼接图像在拼接中所利用的图像；/n根据所述当前帧在拟合平面坐标系下的位姿计算当前帧与所述已有图像之间的变换关系，根据所述变换关系实现所述当前帧和所述已完成拼接图像的拼接。/n

【技术特征摘要】
1.一种无人机航拍图像拼接方法，其特征在于，该方法包括：
获取无人机航拍的一帧图像，将该帧图像作为当前帧；
根据已有图像估计当前帧在拟合平面坐标系下的位姿，所述拟合平面由所述已有图像的定向快速旋转ORB特征点所对应的三维点拟合生成，所述已有图像为已完成拼接图像在拼接中所利用的图像；
根据所述当前帧在拟合平面坐标系下的位姿计算当前帧与所述已有图像之间的变换关系，根据所述变换关系实现所述当前帧和所述已完成拼接图像的拼接。


2.根据权利要求1所述的方法，其特征在于，在所述获取无人机航拍的一帧图像的步骤和所述根据已有图像估计当前帧在拟合平面下的位姿的步骤之间，该方法进一步包括：
判断是否已初始化，如果是，则执行根据已有图像估计当前帧在拟合平面坐标系下位姿的步骤；否则，进行初始化过程；
所述初始化过程包括：
判断是否已有初始帧，如果没有初始帧，则将所述当前帧作为初始帧，并结束初始化过程，返回所述获取无人机航拍的一帧图像的步骤；
如果有初始帧，则将当前帧的ORB特征点和初始帧ORB特征点进行匹配，记录特征匹配对数量；
如果特征匹配对数量小于设置的特征匹配数量阈值，则将当前帧作为初始帧，并结束初始化过程，返回所述获取无人机航拍的一帧图像的步骤；
如果特征匹配对数量大于设置的特征匹配数量阈值，则根据初始帧和当前帧的特征匹配对计算当前帧的位姿和帧间速度，所述帧间速度为前后两帧位姿之间的变换关系，并根据初始帧生成第一关键帧，根据当前帧生成第二关键帧。


3.根据权利要求2所述的方法，其特征在于，所述根据初始帧和当前帧的特征匹配对计算所述当前帧的位姿和帧间速度，，所述帧间速度为前后两帧位姿之间的变换关系，并根据初始帧生成第一关键帧，并根据初始帧生成第一关键帧，根据当前帧生成第二关键帧的步骤包括：
根据初始帧和当前帧的特征匹配对的图像坐标计算单应变换，所述单应变换为初始帧和当前帧的特征匹配对之间的变换关系；
根据事先设置的初始帧位姿和所述单应变换计算当前帧位姿，所述当前帧位姿是相对于初始帧相机坐标系下的位姿；
根据初始帧和当前帧的特征匹配对的图像坐标计算对应的三维点；
将初始帧作为第一关键帧，所述第一关键帧的帧数据包括第一关键帧ORB特征点、第一关键帧位姿和第一关键帧ORB特征点对应的三维点，所述第一关键帧位姿为所述初始帧位姿；
将当前帧作为第二关键帧，所述第二关键帧的帧数据包括第二关键帧ORB特征点、第二关键帧位姿和第二关键帧ORB特征点对应的三维点，所述第二帧关键帧位姿为所述当前帧位姿；
根据第一关键帧位姿和第二关键帧位姿计算帧间速度，所述帧间速度为第一关键帧位姿和第二关键帧位姿之间的变换关系。


4.根据权利要求3所述的方法，其特征在于，在所述获取无人机航拍的一帧图像时，该方法进一步包括：获取所述当前帧的全球定位系统信息，所述全球定位系统信息是无人机航拍时在全球定位系统坐标系下的信息；
所述根据已有图像估计当前帧在拟合平面坐标系下的位姿的步骤包括：
根据已有图像进行帧间跟踪得到当前帧位姿，所述当前帧位姿是相对于已有图像中第一关键帧相机坐标系下的位姿；
根据第一关键帧相机坐标系和对应的全球定位系统坐标系之间的转换关系，将所述当前帧位姿转换到全球定位系统坐标系下的位姿；
根据全球定位系统坐标系和所述拟合平面坐标系之间的转换关系，将所述当前帧在全球定位系统坐标系下的位姿转换到所述拟合平面坐标系下的位姿。


5.根据权利要求4所述的方法，其特征在于，所述根据已有图像进行帧间跟踪得到当前帧位姿的方法包括：
基于运动模型的跟踪方法、参考关键帧的跟踪方法、局部三维点的跟踪方法中任一方法或任意组合的方法，对已有图像进行帧间跟踪得到当前帧位姿；所述参考关键帧为距离所述当前帧最近的关键帧，所述局部三维点为局部关键帧ORB特征点对应的三维点，所述局部关键帧是和所述当前帧邻近的关键帧。


6.根据权利要求5所述的方法，其特征在于，所述基于运动模型的跟踪方法对已有图像进行帧间跟踪得到当前帧位姿包括：
根据当前帧的上一帧图像的位姿和已有的帧间速度，预估当前帧的位姿；
将上一帧的ORB特征点对应的三维点投影到当前帧，在当前帧中形成对应的投影点，并将在投影点的投影半径内的当前帧的ORB特征点作为待匹配ORB特征点；
计算所述待匹配ORB特征点和所述投影点对应的上一帧ORB特征点之间的特征距离，选择出特征距离最小的待匹配ORB特征点作为选中的待匹配ORB特征点；
当选中的待匹配ORB特征点的特征距离小于设置的特征距离阈值时，则将选中的待匹配ORB特征点和所述上一帧ORB特征点作为特征匹配对；
如果特征匹配对的数量超过设置的特征匹配数量阈值，则预估的所述当前帧的位姿有效，否则预估的所述当前帧的位姿无效。


7.根据权利要求5所述的方法，其特征在于，所述基于参考关键帧的跟踪方法对已有图像进行帧间跟踪得到当前帧位姿包括：
根据已建立的ORB字典，在已有的参考关键帧中确定ORB特征点，使得确定出的参考关键帧ORB特征点与当前帧ORB特征点的特征匹配；
将所述参考关键帧ORB特征点对应的三维点作为当前帧ORB特征点对应的三维点；
根据所述当前帧ORB特征点对应的三维点，利用非线性优化算法对预估的当前帧位姿进行优化，将优化后的结果作为当前帧位姿，所述预估的当前帧位姿为上一帧图像的位姿。


8.根据权利要求5所述的方法，其特征在于，所述基于局部三维点的跟踪方法对已有图像进行帧间跟踪得到当前帧位姿包括：
计算当前帧ORB特征点对应的三维点；
确定与所述当前帧ORB特征点对应相同三维点的关键帧，如果所述确定的关键帧的ORB特征点与所述当前帧ORB特征点对应相同三维点，且相同三维点的个数超过设置的三维点对应数量阈值，则将所述确定的关键帧作为局部关键帧添加到局部关键帧集合中；
针对每一个局部关键帧，将所述局部关键帧ORB特征点对应的三维点添加到局部三维点集合中，且所述局部三维点集合中无重复的三维点；
将局部三维点集合中的所有三维点投影到当前帧上，将投影半径内的当前帧ORB特征点作为待匹配ORB特征点；
计算所述待匹配ORB特征点和所述投影点对应的局部关键帧ORB特征点之间的特征距离，选择出特征距离最小的待匹配ORB特征点作为选中的待匹配ORB...

【专利技术属性】
技术研发人员：易雨亭，李建禹，孙元栋，
申请(专利权)人：杭州海康机器人技术有限公司，
类型：发明
国别省市：浙江;33