图像拼接方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供一种图像拼接方法、装置、设备及存储介质。在本申请实施例中，对在采集点位的不同拍摄角度采集的实景图像，从中确定存在拼接关系的多组实景图像对，对所述多组实景图像对进行基于特征点对的图像拼接；在拼接过程中，对于特征相似度或者位姿匹配度小于对应阈值的第一实景图像对，采用基于三维点云数据集的图像拼接，具体地，对该第一实景图像对进行三维重建得到两个三维点云数据集；通过位姿校准后的两个三维点云数据集的位姿信息，对该第一实景图像对进行图像拼接。整个过程中，对于第一实景图像对采用基于三维点云数据集的图像拼接，提高了图像拼接的准确率。提高了图像拼接的准确率。提高了图像拼接的准确率。

【技术实现步骤摘要】
图像拼接方法、装置、设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种图像拼接方法、装置、设备及存储介质。

技术介绍

[0002]图像拼接是将两幅或者多幅相互具有重叠部分的照片拼接成具有超宽视角的全景图像的过程。目前，根据两张图像中像素特征值，对两张图像进行特征提取和特征匹配，得到两张图像的匹配点对，根据匹配点对对两张图像的共有区域进行融合，以实现两张图像的拼接。然而，在拼接过程中，两张图像的共有区域缺少足够的特征点时，会导致图像拼接的准确率较低，影响图像拼接的结果。

技术实现思路

[0003]本申请的多个方面提供一种图像拼接方法、装置、设备及存储介质，用以提高图像拼接的准确率。
[0004]本申请实施例提供一种图像拼接方法，包括：获取目标空间对象的多张实景图像，多张实景图像是在目标空间对象的采集点位上从多个拍摄角度拍摄得到的；根据多个拍摄角度，确定多张实景图像中存在拼接关系的多组实景图像对，并对多组实景图像对进行基于特征点对的图像拼接；在进行基于特征点对的图像拼接过程中，根据每组实景图像对之间的特征点对，从多组实景图像对中识别出特征相似度或者位姿匹配度小于对应阈值的第一实景图像对；针对第一实景图像对，根据第一实景图像对中两张实景图像的深度信息，分别对两张实景图像进行三维点云重建，得到两个三维点云数据集；根据两个三维点云数据集的初始位姿信息，对两个三维点云数据集进行位姿配准，得到两个三维点云数据集之间的相对位姿信息；根据两个三维点云数据集之间的相对位姿信息，对两个三维点云数据集对应的两张实景图像进行拼接。
[0005]本申请实施例还提供一种图像拼接装置，包括：获取模块、确定模块、拼接模块、识别模块、重建模块和配准模块；获取模块，用于获取目标空间对象的多张实景图像，多张实景图像是在目标空间对象的采集点位上从多个拍摄角度拍摄得到的；确定模块，用于根据多个拍摄角度，确定多张实景图像中存在拼接关系的多组实景图像对；拼接模块，用于对多组实景图像对进行基于特征点对的图像拼接；识别模块，用于在进行基于特征点对的图像拼接过程中，根据每组实景图像对之间的特征点对，从多组实景图像对中识别出特征相似度或者位姿匹配度小于对应阈值的第一实景图像对；重建模块，用于针对第一实景图像对，根据第一实景图像对中两张实景图像的深度信息，分别对两张实景图像进行三维点云重建，得到两个三维点云数据集；配准模块，用于根据两个三维点云数据集的初始位姿信息，对两个三维点云数据集进行位姿配准，得到两个三维点云数据集之间的相对位姿信息；拼接模块，还用于根据两个三维点云数据集之间的相对位姿信息，对两个三维点云数据集对应的两张实景图像进行拼接。
[0006]本申请实施例还提供一种图像拼接设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以实现本申请实施例提供的图像拼接方法中的步骤。
[0007]本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现本申请实施例提供的图像拼接方法中的步骤。
[0008]在本申请实施例中，对在采集点位的不同拍摄角度采集的实景图像，从中确定存在拼接关系的多组实景图像对，对多组实景图像对进行基于特征点对的图像拼接；在拼接过程中，对于特征相似度或者位姿匹配度小于对应阈值的第一实景图像对，采用基于三维点云数据集的图像拼接，具体地，对该第一实景图像对进行三维重建得到两个三维点云数据集；通过位姿校准后的两个三维点云数据集的位姿信息，对该第一实景图像对进行图像拼接。整个过程中，对于第一实景图像对采用基于三维点云数据集的图像拼接，提高了图像拼接的准确率。
附图说明
[0009]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0010]图1为本申请示例性实施例提供的图像拼接方法的流程示意图；
[0011]图2为本申请示例性实施例提供的图像拼接装置的结构示意图；
[0012]图3为本申请示例性实施例提供的图像拼接设备的结构示意图。
具体实施方式
[0013]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0014]针对现有技术图像拼接准确率低的问题，在本申请实施例中，对在采集点位的不同拍摄角度采集的实景图像，从中确定存在拼接关系的多组实景图像对，对多组实景图像对进行基于特征点对的图像拼接；在拼接过程中，对于特征相似度或者位姿匹配度小于对应阈值的第一实景图像对，采用基于三维点云数据集的图像拼接，具体地，对该第一实景图像对进行三维重建得到两个三维点云数据集；通过位姿校准后的两个三维点云数据集的位姿信息，对该第一实景图像对进行图像拼接。整个过程中，对于第一实景图像对采用基于三维点云数据集的图像拼接，提高了图像拼接的准确率。
[0015]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0016]图1为本申请示例性实施例提供的一种图像拼接方法的流程示意图。如图1所示，该方法包括：
[0017]101、获取目标空间对象的多张实景图像，多张实景图像是在目标空间对象的采集点位上从多个拍摄角度拍摄得到的；
[0018]102、根据多个拍摄角度，确定多张实景图像中存在拼接关系的多组实景图像对，并对多组实景图像对进行基于特征点对的图像拼接；
[0019]103、在进行基于特征点对的图像拼接过程中，根据每组实景图像对之间的特征点对，从多组实景图像对中识别出特征相似度或者位姿匹配度小于对应阈值的第一实景图像对；
[0020]104、针对第一实景图像对，根据目标实景图像对中两张实景图像的深度信息，分别对两张实景图像进行三维点云重建，得到两个三维点云数据集；
[0021]105、根据两个三维点云数据集的初始位姿信息，对两个三维点云数据集进行位姿配准，得到两个三维点云数据集之间的相对位姿信息；
[0022]106、根据两个三维点云数据集之间的相对位姿信息，对两个三维点云数据集对应的两张实景图像进行拼接。
[0023]在本实施例中，目标物理空间指的是特定的空间区域，该空间区域中包含多个空间对象，换句话说，多个空间对象组成了目标物理空间。例如，目标物理空间是指一套住房，住房中包括的多个空间对象可以是厨房、卧室、客厅或卫生间等。可以在每个空间对象中设置一个或多个采集点位，具体采集点位的数量可视空间对象的大小或者形状而定。下面以多个空间对象中的目标空间对象为例进行后续说明，目标空间对象可以是目标物理空间中的任意一个空间对象。
[0024]在本实施例中，可以在目标空间对象本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像拼接方法，其特征在于，包括：获取目标空间对象的多张实景图像，所述多张实景图像是在所述目标空间对象的采集点位上从多个拍摄角度拍摄得到的；根据所述多个拍摄角度，确定所述多张实景图像中存在拼接关系的多组实景图像对，并对所述多组实景图像对进行基于特征点对的图像拼接；在进行基于特征点对的图像拼接过程中，根据每组实景图像对之间的特征点对，从所述多组实景图像对中识别出特征相似度或者位姿匹配度小于对应阈值的第一实景图像对；针对第一实景图像对，根据所述第一实景图像对中两张实景图像的深度信息，分别对所述两张实景图像进行三维点云重建，得到两个三维点云数据集；根据所述两个三维点云数据集的初始位姿信息，对所述两个三维点云数据集进行位姿配准，得到所述两个三维点云数据集之间的相对位姿信息；根据所述两个三维点云数据集之间的相对位姿信息，对所述两个三维点云数据集对应的两张实景图像进行拼接。2.根据权利要求1所述的方法，其特征在于，还包括：对每组实景图像对进行特征提取和特征匹配，得到每组实景图像对对应的特征点对；将特征点对的数量小于设定数量阈值的每组实景图像对，作为特征相似度低于对应阈值的第一实景图像对。3.根据权利要求2所述的方法，其特征在于，还包括：在实景图像对对应的特征点对的数量大于或等于设定数量阈值的情况下，则根据每组实景图像对对应的特征点对，确定该组中两张实景图像之间特征点的误差；将该特征点的误差大于或等于设定误差阈值的每组实景图像对作为位姿匹配度小于对应阈值的第一实景图像对。4.根据权利要求3所述的方法，其特征在于，还包括：在实景图像对对应的特征点对的数量大于或等于设定数量阈值的情况下，将特征点的误差小于设定误差阈值的每组实景图像对作为位姿匹配度大于或等于对应阈值的第二实景图像对。5.根据权利要求1所述的方法，其特征在于，针对第一实景图像对，根据所述第一实景图像对中两张实景图像的深度信息，分别对所述两张实景图像进行三维点云重建，得到两个三维点云数据集，包括：针对第一实景图像对，根据该第一实景图像对中的每张实景图像的投影信息，预测所述每张实景图像的深度信息；根据所述每张实景图像的深度信息，结合摄像头坐标系与世界坐标系的转换关系，对所述每张实景图像进行三维点云重建，得到每张实景图像对应的三维点云数据集。6.根据权利要求1所述的方法，其特征在于，根据所述两个三维点云数据集的初始位姿信息，对所述两个三维点云数据集进行位姿配准，得到所述两个三维点云数据集之间的相对位姿信息，包括：所述两个三维点云数据集可被映射为两张二维点云图像，每张二维点云图像能够被执行编辑操作；根据对任一二维点云图像的编辑操作的编辑参数，对所述任一二维点云图像对应的三
维点云数据集的初始位姿信息进...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：北京城市网邻信息技术有限公司，
类型：发明
国别省市：