特征匹配方法及装置、场景重建方法及装置制造方法及图纸

本申请提供了一种特征匹配方法及装置、场景重建方法及装置，涉及图像处理技术领域。该特征匹配方法包括：基于飞行器的图像采集设备采集的目标场景的第一图像帧和第二图像帧，确定第一图像帧和第二图像帧之间的相对运动变换信息；基于相对运动变换信息，确定第一图像帧和第二图像帧各自的重叠区域；基于第一图像帧和第二图像帧各自的重叠区域，确定第一图像帧和第二图像帧对应的特征匹配信息。通过第一图像帧和第二图像帧各自的重叠区域进行特征匹配，有效限制了匹配搜索区域，能够减少在匹配过程中提取的关键特征点的数量，继而全面提高图像匹配效率和精度。高图像匹配效率和精度。高图像匹配效率和精度。

【技术实现步骤摘要】
特征匹配方法及装置、场景重建方法及装置


[0001]本申请涉及图像处理
，具体涉及一种特征匹配方法及装置、场景重建方法及装置。

技术介绍

[0002]现有技术中，对两帧图像进行特征匹配时，其中一帧图像中的任意特征点都需要在另一帧图像中进行全局搜索，以找到最优的匹配点。
[0003]由于每帧图像需要提取的特征点数量庞大，而且全局搜索策略会引入更多的错误匹配，所以现有的特征匹配方法存在匹配效率低和匹配精度差的问题。

技术实现思路

[0004]为了解决上述技术问题，提出了本申请。本申请实施例提供了一种特征匹配方法及装置、场景重建方法及装置。
[0005]第一方面，本申请一实施例提供了一种特征匹配方法，包括：基于飞行器的图像采集设备采集的目标场景的第一图像帧和第二图像帧，确定第一图像帧和第二图像帧之间的相对运动变换信息；基于相对运动变换信息，确定第一图像帧和第二图像帧各自的重叠区域；基于第一图像帧和第二图像帧各自的重叠区域，确定第一图像帧和第二图像帧对应的特征匹配信息。
[0006]结合第一方面，在第一方面的某些实现方式中，基于第一图像帧和第二图像帧各自的重叠区域，确定第一图像帧和第二图像帧对应的特征匹配信息，包括：基于第一图像帧的重叠区域，确定第一图像帧的多个第一重叠子区域；基于第二图像帧的重叠区域，确定第二图像帧的多个第二重叠子区域；基于多个第一重叠子区域和多个第二重叠子区域，对第一图像帧和第二图像帧进行并行化特征匹配，确定特征匹配信息。
[0007]结合第一方面，在第一方面的某些实现方式中，基于第一图像帧的重叠区域，确定第一图像帧的多个第一重叠子区域，包括：基于第一图像帧的重叠区域，生成第一图像帧对应的掩膜图像；基于第一图像帧对应的掩膜图像和闲置线程数量信息，划分第一图像帧的重叠区域，生成多个第一重叠子区域；并且，基于第二图像帧的重叠区域，确定第二图像帧的多个第二重叠子区域，包括：基于第二图像帧的重叠区域，生成第二图像帧对应的掩膜图像；基于第二图像帧对应的掩膜图像和闲置线程数量信息，划分第二图像帧的重叠区域，生成多个第二重叠子区域。
[0008]结合第一方面，在第一方面的某些实现方式中，基于多个第一重叠子区域和多个第二重叠子区域，对第一图像帧和第二图像帧进行并行化特征匹配，确定特征匹配信息，包括：基于多个第一重叠子区域和第一图像帧对应的掩膜图像，提取多个第一重叠子区域各自对应的区域特征；基于多个第二重叠子区域和第二图像帧对应的掩膜图像，提取多个第二重叠子区域各自对应的区域特征；基于多个第一重叠子区域各自对应的区域特征和多个第二重叠子区域各自对应的区域特征，对多个第一重叠子区域和多个第二重叠子区域进行
并行化特征匹配，确定多个第一重叠子区域和多个第二重叠子区域对应的区域匹配信息；基于多个第一重叠子区域和多个第二重叠子区域对应的区域匹配信息，确定特征匹配信息。
[0009]结合第一方面，在第一方面的某些实现方式中，基于多个第一重叠子区域和多个第二重叠子区域对应的区域匹配信息，确定特征匹配信息，包括：针对多个第一重叠子区域的每个第一重叠子区域，基于第一图像帧确定第一重叠子区域对应的坐标补偿信息；基于第一重叠子区域对应的区域匹配信息和坐标补偿信息，确定第一重叠子区域在第一图像帧图像坐标系中的第一坐标数据；针对多个第二重叠子区域的每个第二重叠子区域，基于第二图像帧确定第二重叠子区域对应的坐标补偿信息；基于第二重叠子区域对应的区域匹配信息和坐标补偿信息，确定第二重叠子区域在第二图像帧图像坐标系中的第二坐标数据；基于多个第一重叠子区域各自的第一坐标数据和多个第二重叠子区域各自的第二坐标数据，确定特征匹配信息。
[0010]结合第一方面，在第一方面的某些实现方式中，基于相对运动变换信息，确定第一图像帧和第二图像帧各自的重叠区域，包括：基于相对运动变换信息，将第一图像帧和第二图像帧进行图像对齐，得到第一图像帧和第二图像帧共同的重叠区域；基于第一图像帧和第二图像帧共同的重叠区域，确定第一图像帧和第二图像帧各自的重叠区域。
[0011]结合第一方面，在第一方面的某些实现方式中，基于相对运动变换信息，将第一图像帧和第二图像帧进行图像对齐，得到第一图像帧和第二图像帧共同的重叠区域，包括：基于第一图像帧确定第一图像帧对应的多个特征点；基于多个特征点和第一图像帧图像坐标系，确定多个特征点各自对应的图像坐标系坐标信息；基于飞行器的高度信息、第一图像帧对应的相机参数信息和多个特征点各自对应的图像坐标系坐标信息，确定多个特征点各自对应的相机坐标空间点；基于飞行器的高度信息、第一图像帧对应的相机参数信息、第二图像帧对应的相机参数信息和相对运动变换信息，得到第一图像帧和第二图像帧共同的重叠区域。
[0012]结合第一方面，在第一方面的某些实现方式中，基于飞行器的图像采集设备采集的目标场景的第一图像帧和第二图像帧，确定第一图像帧和第二图像帧之间的相对运动变换信息，包括：基于惯性传感器确定第一图像帧和第二图像帧对应的惯性传感器观测信息；基于惯性传感器观测信息确定相对运动变换信息。
[0013]第二方面，本申请一实施例提供了一种三维场景重建方法，包括：获取飞行器的图像采集设备采集的目标场景的至少两幅图像帧对应的特征匹配信息，其中，特征匹配信息基于上述第一方面所提及的特征匹配方法确定；基于特征匹配信息，构建目标场景。
[0014]第三方面，本申请一实施例提供了一种特征匹配装置，包括：第一确定模块，配置为基于飞行器的图像采集设备采集的目标场景的第一图像帧和第二图像帧，确定第一图像帧和第二图像帧之间的相对运动变换信息；第二确定模块，配置为基于相对运动变换信息，确定第一图像帧和第二图像帧各自的重叠区域；第三确定模块，配置为基于第一图像帧和第二图像帧各自的重叠区域，确定第一图像帧和第二图像帧对应的特征匹配信息。
[0015]第四方面，本申请一实施例提供了一种三维场景重建装置，该装置包括确定模块，配置为获取飞行器的图像采集设备采集的目标场景的至少两幅图像帧对应的特征匹配信息，其中，特征匹配信息基于上述第一方面所提及的特征匹配方法确定；重建模块，配置为
基于特征匹配信息，构建目标场景。
[0016]第五方面，本申请一实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述第一方面和第二方面所提及的方法。
[0017]第六方面，本申请一实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行上述第一方面和第二方面所提及的方法。
[0018]本申请实施例提供的特征匹配方法及装置、场景重建方法及装置，通过飞行器的图像采集设备采集的目标场景的第一图像帧和第二图像帧，确定第一图像帧和第二图像帧之间的相对运动变换信息，继而确定第一图像帧和第二图像帧各自的重叠区域。通过第一图像帧和第二图像帧各自的重叠区域进行特征匹配，有效限制了匹配搜索区域，使得在匹配过程中提取的关键特征点的数目大大减少，继而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征匹配方法，其特征在于，包括：基于飞行器的图像采集设备采集的目标场景的第一图像帧和第二图像帧，确定所述第一图像帧和所述第二图像帧之间的相对运动变换信息；基于所述相对运动变换信息，确定所述第一图像帧和所述第二图像帧各自的重叠区域；基于所述第一图像帧和所述第二图像帧各自的重叠区域，确定所述第一图像帧和所述第二图像帧对应的特征匹配信息。2.根据权利要求1所述的特征匹配方法，其特征在于，所述基于所述第一图像帧和所述第二图像帧各自的重叠区域，确定所述第一图像帧和所述第二图像帧对应的特征匹配信息，包括：基于所述第一图像帧的重叠区域，确定所述第一图像帧的多个第一重叠子区域；基于所述第二图像帧的重叠区域，确定所述第二图像帧的多个第二重叠子区域；基于所述多个第一重叠子区域和所述多个第二重叠子区域，对所述第一图像帧和所述第二图像帧进行并行化特征匹配，确定所述特征匹配信息。3.根据权利要求2所述的特征匹配方法，其特征在于，所述基于所述第一图像帧的重叠区域，确定所述第一图像帧的多个第一重叠子区域，包括：基于所述第一图像帧的重叠区域，生成所述第一图像帧对应的掩膜图像；基于所述第一图像帧对应的掩膜图像和闲置线程数量信息，划分所述第一图像帧的重叠区域，生成所述多个第一重叠子区域；并且，所述基于所述第二图像帧的重叠区域，确定所述第二图像帧的多个第二重叠子区域，包括：基于所述第二图像帧的重叠区域，生成所述第二图像帧对应的掩膜图像；基于所述第二图像帧对应的掩膜图像和闲置线程数量信息，划分所述第二图像帧的重叠区域，生成所述多个第二重叠子区域。4.根据权利要求3所述的特征匹配方法，其特征在于，所述基于所述多个第一重叠子区域和所述多个第二重叠子区域，对所述第一图像帧和所述第二图像帧进行并行化特征匹配，确定所述特征匹配信息，包括：基于所述多个第一重叠子区域和所述第一图像帧对应的掩膜图像，提取所述多个第一重叠子区域各自对应的区域特征；基于所述多个第二重叠子区域和所述第二图像帧对应的掩膜图像，提取所述多个第二重叠子区域各自对应的区域特征；基于所述多个第一重叠子区域各自对应的区域特征和所述多个第二重叠子区域各自对应的区域特征，对所述多个第一重叠子区域和所述多个第二重叠子区域进行并行化特征匹配，确定所述多个第一重叠子区域和所述多个第二重叠子区域对应的区域匹配信息；基于所述多个第一重叠子区域和所述多个第二重叠子区域对应的区域匹配信息，确定所述特征匹配信息。5.根据权利要求4所述的特征匹配方法，其特征在于，所述基于所述多个第一重叠子区
域和所述多个第二重叠子区域对应的区域匹配信息，确定所述特征匹配信息，包括：针对所述多个第一重叠子区域的每个第一重叠子区域，基于所述第一图像帧确定所述第一重叠子区域对应的坐标补偿信息；基于所述第一重叠子区域对应的区域匹配信息和所述坐标补偿信息，确定所述第一重叠子区域在第一图像帧图像坐标系中的第一坐标数据；针对所述多个第二重叠子区域的每个第二重叠子区域，基于所述第二图像帧确定所述第二重叠子区域对应的坐标补偿信息；基于所述第二重叠子区域对应的区域匹配信息和所述坐标补偿信息，确定所述第二重叠子区域在第二图像帧图像坐标...

【专利技术属性】
技术研发人员：叶培楚，曾宪贤，
申请(专利权)人：广州极飞科技股份有限公司，
类型：发明
国别省市：