全景图像拼接方法及系统技术方案

本发明专利技术实施例提供了一种全景图像拼接方法及系统，通过与全景相机对应的多线激光雷达扫描目标场景得到的目标场景点云数据进行配准，得到第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；通过每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对重叠区域进行动态分区，使经动态分区得到的每一分区均对应一第二类距离信息；最后根据每一分区对应的第二类距离信息以及与第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。采用不同的距离拼接模板对重叠区域中不同距离信息的分区进行拼接，解决了重叠区域存在多个不同距离放入目标时全景图像拼接产生“鬼影”的问题，保证了拼接准确性。

Panoramic Image Mosaic Method and System

【技术实现步骤摘要】
全景图像拼接方法及系统
本专利技术涉及图像处理
以及多线激光雷达测距
，更具体地，涉及全景图像拼接方法及系统。
技术介绍
目前，实现全景图像拼接，多采用尺度不变特征变换(Scale-invariantfeaturetransform，SIFT)、加速鲁棒特征(Speed-UpRobustFeatures，SURF)等基于特征的匹配方法，对两幅图像的重叠部分进行特征匹配，这些基于特征的匹配方法都需要两幅图像中具有较多的特征信息。但是当两幅图像中的特征信息较少或没有特征信息时，则会产生匹配错误。现有技术中在实现全景图像拼接时，还可以根据镜头之间的几何关系，进行镜头标定，生成转换矩阵，转换后进行拼接。但是这种方式并没有考虑图像中存在的远近不同的多个物体，若图像重叠部分同时出现远近不同的多个物体，再加之全景相机有较大的镜头畸变，则同样会产生拼接错误，而且处于不同距离处的物体会产生不同程度的重影等问题，导致拼接不准确，全景图像不真实，影响全景图像的视觉效果与研究应用等。
技术实现思路
为克服上述问题或者至少部分地解决上述问题，本专利技术实施例提供了一种全景图像拼接方法及系统。第一方面，本专利技术实施例提供了一种全景图像拼接方法，包括：获取全景相机各镜头拍摄目标场景的第一类单幅图像，并将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；其中，每一第二类单幅图像中携带有所述目标场景点云数据中的第一类距离信息；基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，并确定经动态分区得到的每一分区对应的第二类距离信息；基于每一分区对应的第二类距离信息以及与所述第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。第二方面，本专利技术实施例提供了一种全景图像拼接系统，包括：重叠区域确定模块，用于获取全景相机各镜头拍摄目标场景的第一类单幅图像，并将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；其中，每一第二类单幅图像中携带有所述目标场景点云数据中的第一类距离信息；动态分区模块，用于基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，并确定经动态分区得到的每一分区对应的第二类距离信息；拼接模块，用于基于每一分区对应的第二类距离信息以及与所述第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。第三方面，本专利技术实施例提供了一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行第一方面提供的全景图像拼接方法。第四方面，本专利技术实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的全景图像拼接方法。本专利技术实施例提供的一种全景图像拼接方法及系统，在获取全景相机各镜头拍摄目标场景的第一类单幅图像后，通过与全景相机对应的多线激光雷达扫描目标场景得到的目标场景点云数据进行配准，使第一类单幅图像中携带有目标场景点云数据中的第一类距离信息，即得到第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；通过每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对重叠区域进行动态分区，使经动态分区得到的每一分区均对应一第二类距离信息；最后根据每一分区对应的第二类距离信息以及与第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。本专利技术实施例中采用不同的距离拼接模板对重叠区域中不同距离信息的分区进行拼接，保证了拼接的准确性，生成的全景图像更加准确真实，具有更佳的视觉效果以及更高的研究应用价值，避免了因目标场景中存在距离不同的多个物体时而产生的图像拼接错误、重影等的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种全景图像拼接方法的流程示意图；图2为本专利技术实施例提供的一种全景图像拼接方法中动态分区方法的流程示意图；图3(a)为本专利技术实施例提供的一种全景图像拼接方法中全景相机中左镜头拍摄得到的第一类单幅图像；图3(b)为本专利技术实施例提供的一种全景图像拼接方法中全景相机中右镜头拍摄得到的第一类单幅图像；图4(a)为本专利技术实施例提供的一种全景图像拼接方法中全景相机中左镜头拍摄得到的第一类单幅图像对应的第二类单幅图像；图4(b)为本专利技术实施例提供的一种全景图像拼接方法中全景相机中右镜头拍摄得到的第一类单幅图像对应的第二类单幅图像；图5(a)为直接设置拼接距离为4m时，相邻镜头拍摄得到第一类单幅图像的重叠区域拼接效果示意图；图5(b)为直接设置拼接距离为100m时，相邻镜头拍摄得到第一类单幅图像的重叠区域拼接效果示意图；图5(c)为采用本专利技术实施例提供的全景图像拼接方法设置不同拼接距离时，相邻镜头拍摄得到第一类单幅图像的重叠区域拼接效果示意图；图6为本专利技术实施例提供的一种全景图像拼接系统的结构示意图；图7为本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术实施例的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本专利技术实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术实施例中的具体含义。如图1所示，本专利技术一实施例提供了一种全景图像拼接方法，包括：S11，获取全景相机各镜头拍摄目标场景的第一类单幅图像，并将每一第一类单幅图本文档来自技高网...

【技术保护点】
1.一种全景图像拼接方法，其特征在于，包括：获取全景相机各镜头拍摄目标场景的第一类单幅图像，并将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；其中，每一第二类单幅图像中携带有所述目标场景点云数据中的第一类距离信息；基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，并确定经动态分区得到的每一分区对应的第二类距离信息；基于每一分区对应的第二类距离信息以及与所述第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。

【技术特征摘要】
1.一种全景图像拼接方法，其特征在于，包括：获取全景相机各镜头拍摄目标场景的第一类单幅图像，并将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；其中，每一第二类单幅图像中携带有所述目标场景点云数据中的第一类距离信息；基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，并确定经动态分区得到的每一分区对应的第二类距离信息；基于每一分区对应的第二类距离信息以及与所述第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。2.根据权利要求1所述的全景图像拼接方法，其特征在于，所述将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，具体包括：基于全景相机坐标系与多线激光雷达坐标系之间的坐标转换关系，将每一第一类单幅图像分别与所述目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像；所述坐标转换关系基于所述全景相机拍摄的包含靶标在内的第一预设场景图像中所述靶标的坐标信息以及所述多线激光雷达扫描第一预设场景得到的第一预设场景点云数据中所述靶标的坐标信息确定。3.根据权利要求1所述的全景图像拼接方法，其特征在于，所述确定每两个相邻的镜头对应的第二类单幅图像的重叠区域，具体包括：基于与所述目标场景点云数据中各点配准的像素点个数，对所述目标场景点云数据进行标记赋值；基于赋值结果，确定每两个相邻的镜头对应的第二类单幅图像的重叠区域。4.根据权利要求1所述的全景图像拼接方法，其特征在于，所述基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，具体包括：对于所述重叠区域对应的所述多线激光雷达发出的每两条相邻的雷达扫描线，获取两条相邻的雷达扫描线中的下侧雷达扫描线上所有扫描点的距离信息的第一平均值，以及两条相邻的雷达扫描线中的上侧雷达扫描线上所有扫描点的距离信息的第二平均值；若判断获知所述第一平均值与所述第二平均值的差值的绝对值满足预设条件，则以所述下侧雷达扫描线、所述上侧雷达扫描线以及与所述下侧雷达扫描线、所述上侧雷达扫描线相交的所述重叠区域的竖直边界作为边界线，构成第一分区；否则，获取所述重叠区域内位于所述下侧雷达扫描线和所述上侧雷达扫描线之间的中心像素线，以所述中心像素线、所述下侧雷达扫描线以及与所述中心像素线、所述下侧雷达扫描线相交的所述重叠区域的竖直边界作为边界线，构成第二分区，以所述中心像素线、所述上侧雷达扫描线以及与所述中心像素线、所述上侧雷达扫描线相交的所述重叠区域的竖直边界作为边界线，构成第三分区。5.根据权利要求4所述的全景图像拼接方法，其特征在于，所述确定经动态分区得到的每一分区对应的第二类距离信息，具体包括：基于每一分区的每条水平边界线对应的距离信息的平均值，确...

【专利技术属性】
技术研发人员：张漫，徐弘祯，季宇寒，李世超，曹如月，李寒，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：北京,11