无人机影像实时拼接方法、装置及终端设备制造方法及图纸

本发明专利技术实施例公开了无人机影像实时拼接方法、装置及终端设备，方法包括如下步骤：接收无人机传输的影像得到待拼接影像；基于所提取的特征点将待拼接影像与已处理影像进行匹配，得到影像对和初筛匹配点对；基于基础矩阵和单应矩阵，剔除存在误差的初筛匹配点得到剩余匹配点对；通过自由网平差，得到待拼接影像的姿态信息以及剩余匹配点对的三维空间坐标并构建三角网，形成地面高程模型；根据地面高程模型，对待拼接影像进行正射影像纠正形成纠正影像；将纠正影像与影像对中对应的已处理影像进行拼接，得到拼接影像。通过上述方法，解决了现有方法在拼接过程中产生的误差累积，改善了现有方法实时处理的影像拼接效果。

【技术实现步骤摘要】
无人机影像实时拼接方法、装置及终端设备
本专利技术涉及影像拼接领域，尤其涉及无人机影像实时拼接方法、装置及终端设备。
技术介绍
近年来无人机因其高效、灵活、低成本等特性，已被广泛应用于勘测、应急、救灾等领域。无人机航空摄影测量技术大大降低了传统航空摄影测量技术的工作周期和人力，财力的投入，使得航空摄影测量技术在应急救灾等具有更加现实的意义。无人机航空摄影实时航拍影像，可以将影像数据实时传回地面站，采用航空摄影数据处理方法实时对接收到的无人机影像进行动态拼接。在现有技术中，采用获取到的POS(positionandorientationsystem，定位定姿系统)数据进行影像拼接，未对影像进行任何处理，无论原始影像还是中心投影，只是进行了旋转与缩放，导致拼接过程中出现很多误差。
技术实现思路
为了克服现有技术中在拼接过程中产生的误差积累，改善现有方法实时处理影像拼接的效果，本申请的目的之一在于提供一种无人机影像实时拼接方法，所述方法包括如下步骤：接收无人机传输的影像得到待拼接影像；提取所述待拼接影像的特征点和已处理影像的特征点，并基于所述特征点将所述待拼接影像与已处理影像进行匹配，得到影像对和初筛匹配点对；根据所述初筛匹配点对计算基础矩阵，并根据所述基础矩阵计算所有初筛匹配点对的残差值，剔除大于预设残差值阈值的初筛匹配点得到第一匹配点对；根据所述第一匹配点对计算单应矩阵，并根据所述单应矩阵对所述第一匹配点对进行转换并计算坐标差值，剔除大于预设坐标差值阈值的所述第一匹配点对得到第二匹配点对；对所述影像对与所述第二匹配点对进行自由网平差，得到无人机拍摄所述待拼接影像时的姿态信息以及所述第二匹配点对的三维空间坐标；根据所述姿态信息以及所述第二匹配点对的三维空间坐标构建三角网，形成地面高程模型；根据所述地面高程模型，对所述待拼接影像进行正射影像纠正形成纠正影像；将所述纠正影像与所述影像对中对应的已处理影像进行拼接，得到拼接影像。在一种可选的实现方式中，所述接收无人机传输的影像得到待拼接影像的步骤，包括：接收无人机传输的影像与POS数据，并根据传输顺序对所述影像进行编号，得到所述影像的POS数据以及所述影像的影像号；当所述影像号小于或等于预设影像号阈值时，对所述影像号对应的影像进行处理，生成已处理影像；当所述影像号大于预设影像号阈值时，将所述影像号对应的影像作为所述待拼接影像。在一种可选的实现方式中，所述提取所述待拼接影像的特征点和已处理影像的特征点，并基于所述特征点将所述待拼接影像与已处理影像进行匹配，得到影像对和初筛匹配点对的步骤，包括：根据所述待拼接影像的POS数据计算所述待拼接影像与所述已处理影像之间的欧式距离，并按照所述欧式距离由小到大的顺序，提取预设数量的已处理影像，将所述待拼接影像与所述提取的已处理影像构成影像对；所述待拼接影像与所述提取的已处理影像进行搜索特征点并进行匹配，得到初始匹配点对；计算所述初始匹配点对之间的重投影误差，剔除重投影误差大于预设重投影误差阈值的初始匹配点对，得到初筛匹配点对。在一种可选的实现方式中，所述根据所述姿态信息以及所述第二匹配点对的三维空间坐标构建三角网，形成地面高程模型的步骤，包括：根据所述第二匹配点对的三维空间坐标构建高程直方图，筛选出所述高程直方图中匹配点数量小于预设数量阈值的范围段；删除筛选出的所述范围段中的匹配点，基于剩余匹配点的三维空间坐标构建三角网，将所述三角网与所述姿态信息结合形成地面高程模型。在一种可选的实现方式中，所述将所述纠正影像与所述影像对中对应的已处理影像进行拼接，得到拼接影像的步骤，包括：所述纠正影像和与所述待拼接影像相匹配的已处理影像的重叠区域内的影像进行差值计算，获取差值影像；搜索并获取所述差值影像的拼接缝；对所述差值影像进行形态学处理，并对所述拼接缝进行虚化，得到拼接影像。在一种可选的实现方式中，所述将所述纠正影像与所述影像对中对应的已处理影像进行拼接，得到拼接影像的步骤之后，还包括：对拼接影像进行影像切片形成影像瓦片；将所述影像瓦片添加到地图数据中。在一种可选的实现方式中，所述将所述纠正影像与所述影像对中对应的已处理影像进行拼接，得到拼接影像的步骤之前，包括：以接收到无人机传输的第一张影像为标准，对所述纠正影像进行色彩调整；所述将所述纠正影像与所述影像对中对应的已处理影像进行拼接，得到拼接影像，包括：将色彩调整后的所述纠正影像与所述影像对中对应的已处理影像进行拼接，得到拼接影像。本申请的另一目的在于提供一种无人机影像实时拼接装置，所述装置包括如下模块：接收模块，用于接收无人机传输的影像得到待拼接影像；匹配模块，用于提取所述待拼接影像的特征点和已处理影像的特征点，并基于所述特征点将所述待拼接影像与已处理影像进行匹配，得到影像对和初筛匹配点对；残差值误差剔除模块，用于根据所述初筛匹配点对计算基础矩阵，并根据所述基础矩阵计算所有初筛匹配点对的残差值，剔除大于预设残差值阈值的匹配点得到第一匹配点对；坐标差值误差剔除模块，用于根据所述第一匹配点对计算单应矩阵，并根据所述单应矩阵对所述第一匹配点对进行转换并计算坐标差值，剔除大于预设坐标差值阈值的所述第一匹配点对得到第二匹配点对；自由网平差模块，用于对所述影像对与所述第二匹配点对进行自由网平差，得到无人机拍摄待拼接影像时的姿态信息以及所述第二匹配点对的三维空间坐标；建模模块，用于根据所述姿态信息以及所述第二匹配点对的三维空间坐标构建三角网，形成地面高程模型；纠正模块，用于根据所述地面高程模型，对所述待拼接影像进行正射影像纠正形成纠正影像；拼接模块，用于将所述纠正影像与所述影像对中对应的已处理影像进行拼接，得到拼接影像。本申请的另一目的在于提供一种终端设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现本申请提供的无人机影像实时拼接方法的步骤。本申请的另一目的在于提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现本申请提供的无人机影像实时拼接方法的步骤。相对于现有技术而言，本申请具有以下有益效果：本申请实施例提供的一种无人机影像实时拼接方法、装置、终端设备及可读存储介质，方法包括如下步骤：接收无人机传输的影像得到待拼接影像；基于所提取的特征点将待拼接影像与已处理影像进行匹配，得到影像对和初筛匹配点对；基于基础矩阵和单应矩阵，剔除存在误差的初筛匹配点得到剩余匹配点对；通过自由网平差，得到待拼接影像的姿态信息以及剩余匹配点对的三维空间坐标并构建三角网，形成地面高程模型；根据地面高程模型，对待拼接影像进行正射影像纠正形成纠正影像；将纠正影像与影像对中对应的已处理影像进行拼接，得到拼接影像。通过上述方法，解决了现有方法在拼接过本文档来自技高网...

【技术保护点】
1.一种无人机影像实时拼接方法，其特征在于，包括如下步骤：/n接收无人机传输的影像得到待拼接影像；/n提取所述待拼接影像的特征点和已处理影像的特征点，并基于所述特征点将所述待拼接影像与已处理影像进行匹配，得到影像对和初筛匹配点对；/n根据所述初筛匹配点对计算基础矩阵，并根据所述基础矩阵计算所有初筛匹配点对的残差值，剔除大于预设残差值阈值的初筛匹配点得到第一匹配点对；/n根据所述第一匹配点对计算单应矩阵，并根据所述单应矩阵对所述第一匹配点对进行转换并计算坐标差值，剔除大于预设坐标差值阈值的所述第一匹配点对得到第二匹配点对；/n对所述影像对与所述第二匹配点对进行自由网平差，得到无人机拍摄所述待拼接影像时的姿态信息以及所述第二匹配点对的三维空间坐标；/n根据所述姿态信息以及所述第二匹配点对的三维空间坐标构建三角网，形成地面高程模型；/n根据所述地面高程模型，对所述待拼接影像进行正射影像纠正形成纠正影像；/n将所述纠正影像与所述影像对中对应的已处理影像进行拼接，得到拼接影像。/n

【技术特征摘要】
1.一种无人机影像实时拼接方法，其特征在于，包括如下步骤：
接收无人机传输的影像得到待拼接影像；
提取所述待拼接影像的特征点和已处理影像的特征点，并基于所述特征点将所述待拼接影像与已处理影像进行匹配，得到影像对和初筛匹配点对；
根据所述初筛匹配点对计算基础矩阵，并根据所述基础矩阵计算所有初筛匹配点对的残差值，剔除大于预设残差值阈值的初筛匹配点得到第一匹配点对；
根据所述第一匹配点对计算单应矩阵，并根据所述单应矩阵对所述第一匹配点对进行转换并计算坐标差值，剔除大于预设坐标差值阈值的所述第一匹配点对得到第二匹配点对；
对所述影像对与所述第二匹配点对进行自由网平差，得到无人机拍摄所述待拼接影像时的姿态信息以及所述第二匹配点对的三维空间坐标；
根据所述姿态信息以及所述第二匹配点对的三维空间坐标构建三角网，形成地面高程模型；
根据所述地面高程模型，对所述待拼接影像进行正射影像纠正形成纠正影像；
将所述纠正影像与所述影像对中对应的已处理影像进行拼接，得到拼接影像。


2.根据权利要求1所述的方法，其特征在于，所述接收无人机传输的影像得到待拼接影像的步骤，包括：
接收无人机传输的影像与POS数据，并根据传输顺序对所述影像进行编号，得到所述影像的POS数据以及所述影像的影像号；
当所述影像号小于或等于预设影像号阈值时，对所述影像号对应的影像进行处理，生成已处理影像；
当所述影像号大于预设影像号阈值时，将所述影像号对应的影像作为所述待拼接影像。


3.根据权利要求1所述的方法，其特征在于，所述提取所述待拼接影像的特征点和已处理影像的特征点，并基于所述特征点将所述待拼接影像与已处理影像进行匹配，得到影像对和初筛匹配点对的步骤，包括：
根据所述待拼接影像的POS数据计算所述待拼接影像与所述已处理影像之间的欧式距离，并按照所述欧式距离由小到大的顺序，提取预设数量的已处理影像，将所述待拼接影像与所述提取的已处理影像构成影像对；
所述待拼接影像与所述提取的已处理影像进行搜索特征点并进行匹配，得到初始匹配点对；
计算所述初始匹配点对之间的重投影误差，剔除重投影误差大于预设重投影误差阈值的初始匹配点对，得到初筛匹配点对。


4.根据权利要求1所述的方法，其特征在于，所述根据所述姿态信息以及所述第二匹配点对的三维空间坐标构建三角网，形成地面高程模型的步骤，包括：
根据所述第二匹配点对的三维空间坐标构建高程直方图，筛选出所述高程直方图中匹配点数量小于预设数量阈值的范围段；
删除筛选出的所述范围段中的匹配点，基于剩余匹配点的三维空间坐标构建三角网，将所述三角网与所述姿态信息结合形成地面高程模型。


5.根据权利要求1所述的方法，...

【专利技术属性】
技术研发人员：梁菲，彭桂辉，王爽，王铮尧，
申请(专利权)人：中煤西安航测遥感研究院有限公司，
类型：发明
国别省市：陕西;61