图像拼接数据的采集装置及方法制造方法及图纸

本公开涉及一种图像拼接数据的采集装置及方法。该图像采集装置包括反射组件和采集组件，反射组件包括至少三个平面镜，至少三个平面镜接合成倒金字塔型；采集组件，包括至少三个摄像头，至少三个摄像头与至少三个平面镜相对应地布置，采集组件用于采集水平场景经反射组件反射后的多个图像。本公开实施例提供的图像采集装置，通过该装置能够获取无缝且无重影的真值图像以及存在视差的多幅输入图像，为图像拼接数据集缺乏、图像拼接真值图像获取困难等问题提供了可行的解决方案，从而满足图像拼接数据的使用需求。

Image Mosaic Data Acquisition Device and Method

The present disclosure relates to an image mosaic data acquisition device and method. The image acquisition device consists of a reflection module and a collection module, which consists of at least three planar mirrors, at least three planar mirrors connected to form an inverted pyramid. The acquisition module includes at least three cameras, at least three cameras arranged corresponding to at least three planar mirrors, and the acquisition module is used to collect multiple images of horizontal scene reflected by the reflection module. The image acquisition device provided in the present disclosure embodiment can acquire seamless and duplicate true value images and multiple input images with parallax through the device, which provides a feasible solution to the problems such as lack of data set for image mosaic, difficulty in obtaining true value images for image mosaic, and so on, so as to meet the demand of using image mosaic data.

【技术实现步骤摘要】
图像拼接数据的采集装置及方法
本公开涉及计算机视觉
，尤其涉及一种图像拼接数据的采集装置及方法。
技术介绍
当前深度学习发展日新月异，从文字识别、语音识别、图像分类、物体检测到图像语义分割等。随着深度学习网络的提出和不断改进，深度学习被用于生成自然逼真的高清图像。但是目前的图像拼接算法无法拼接出满意的全景图作为深度学习网络的真值图像，同时存在视差的多幅图像拼接后会导致全景图模糊或有重影。因此，如何生成清晰且无重影的全景图是亟待解决的问题。
技术实现思路
有鉴于此，本公开提出了一种图像拼接数据的采集装置及方法。根据本公开的一方面，提供了一种图像采集装置。在一种可能的实现方式中，所述装置包括：反射组件，包括至少三个平面镜，所述至少三个平面镜接合成倒金字塔型；采集组件，包括至少三个摄像头，所述至少三个摄像头与所述至少三个平面镜相对应地布置，所述采集组件用于采集水平场景经所述反射组件反射后的多个图像。在一种可能的实现方式中，所述反射组件的每个平面镜与水平面的夹角保持为第一角度，且每个平面镜的形状为等腰三角形，其中，所述第一角度大于0度且小于90度。在一种可能的实现方式中，所述采集组件的每个摄像头位于相对应的平面镜下方的中间位置，且每个摄像头的高度以及与所述反射组件的中心轴线的距离相同。在一种可能的实现方式中，在所述采集组件的至少三个摄像头处于共光心高度时，对所述多个图像拼接后的全景图为无缝且无重叠区域的真值图像，其中，所述共光心高度为所述至少三个摄像头的虚拟光心重合时所述至少三个摄像头的高度，每个摄像头的虚拟光心为每个摄像头的光心在相对应的平面镜上的成像位置。根据本公开的另一方面，提供了一种图像采集方法。在一种可能的实现方式中，所述方法应用于上述的图像采集装置，所述图像采集装置包括反射组件及采集组件，所述方法包括：调整所述采集组件的至少三个摄像头的位置及拍摄方向；通过所述采集组件采集水平场景经所述反射组件反射后的多个图像。在一种可能的实现方式中，调整所述采集组件的至少三个摄像头的位置及拍摄方向，包括：调整所述采集组件的位置，以使所述采集组件的至少三个摄像头处于共光心高度，其中，所述共光心高度为所述至少三个摄像头的虚拟光心重合时所述至少三个摄像头的高度，每个摄像头的虚拟光心为每个摄像头的光心在相对应的平面镜上的成像位置，其中，所述方法还包括：对所述多个图像进行拼接处理，获得无缝且无重叠区域的真值图像。在一种可能的实现方式中，调整所述采集组件的位置及拍摄方向，包括：调整所述采集组件的位置，以使所述采集组件的至少三个摄像头高于共光心高度，其中，所述方法还包括：将具有重叠区域的多个图像作为输入图像。在一种可能的实现方式中，所述方法还包括：根据所述真值图像以及多个输入图像，构建用于训练图像拼接网络的训练数据集。在一种可能的实现方式中，所述方法还包括：根据所述训练数据集中的真值图像以及多个输入图像，训练所述图像拼接网络。在一种可能的实现方式中，所述图像拼接网络包括卷积神经网络、生成对抗网络中的至少一种。本公开实施例所提供的图像采集装置及方法，图像采集装置包括反射组件和采集组件，反射组件包括接合成倒金字塔型的至少三个平面镜，采集组件包括与至少三个平面镜相对应地布置的至少三个摄像头，用于采集水平场景经反射组件反射后的多个图像。根据本公开的实施例，能够获取无缝且无重影的真值图像以及存在视差的多幅输入图像，为图像拼接数据集缺乏、图像拼接真值图像获取困难等问题提供了可行的解决方案，从而满足图像拼接数据的使用需求。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。图1示出根据本公开一实施例的图像采集装置的结构示意图；图2a、图2b及图2c示出根据本公开一实施例的图像采集装置的平面镜与水平面的夹角的示意图；图3示出根据本公开一实施例的图像采集方法的流程图；图4a示出根据本公开一实施例的图像采集装置的采集场景的示意图；图4b示出根据本公开一实施例的图像采集装置采集的真值图像的示意图；图5a示出根据本公开一实施例的图像采集装置的采集场景的示意图；图5b示出根据本公开一实施例的图像采集装置采集的输入图像的示意图。具体实施方式以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。图1示出根据本公开一实施例的图像采集装置的结构示意图。图像采集装置包括反射组件1和采集组件2，反射组件1包括至少三个平面镜A1，至少三个平面镜接合成倒金字塔型；采集组件2，包括至少三个摄像头A2，至少三个摄像头A2与至少三个平面镜A1相对应地布置，采集组件1用于采集水平场景经反射组件2反射后的多个图像。根据本公开的实施例，图像采集装置可获得无缝且无重影的真值图像以及存在视差的多幅输入图像，为图像拼接数据集缺乏、图像拼接真值图像获取困难等问题提供了可行的解决方案，从而满足图像拼接的数据需求。在本实施例中，可以采用粘结的方法将至少三个平面镜A1接合成倒金字塔型，可将至少三个平面镜A1边缘打磨，使得相邻平面镜面A1能够无缝接合。至少三个平面镜A1镜面朝外，可反射不同方向的水平场景。每个摄像头A2与每个平面镜A1可一一相对应地布置，摄像头A2的数量与平面镜A1的数量可相同，以使采集组件2可采集到水平场景经反射组件1反射后的多个图像，可以根据实际采集图像的需要对摄像头A2与平面镜A1相对应布置的方式及摄像头A2与平面镜A1的数量进行设置，本公开对此不作限制。在一种可能的实现方式中，反射组件的每个平面镜与水平面的夹角保持为第一角度，且每个平面镜的形状为等腰三角形，其中第一角度大于0度小于90度。图2a、图2b及图2c示出根据本公开一实施例的图像采集装置的平面镜与水平面的夹角的示意图。在该实现方式中，如图2a、图2b及图2c所示，反射组件的每个平面镜A1的镜面与水平面的夹角均保持为第一角度α，第一角度α大于0度且小于90度，以使反射组件可以反射到周围水平场景，若第一角度大于90度，反射组件则无法反射水平场景。其中，图2a为第一角度等于45度的图像采集装置的示意图，图2b为第一角度大于45度的图像采集装置的示意图，图2c为第一角度小于45度的图像采集装置的示意图。可根据实际图像采集的需求对第一角度α的大小进行设置，本公开对此不作限制。每个平面镜的形状可以是等腰三角形，还可以其他易于组合成倒金子塔型的三角形形状，本公开对此不作限制。在一种可能的实现方式中，采集组件的每个摄像头位于相对应平面镜下方的中间位置，且每个摄像头的高度以及与反射组件的中心本文档来自技高网...

【技术保护点】
1.一种图像采集装置，其特征在于，所述装置包括：反射组件，包括至少三个平面镜，所述至少三个平面镜接合成倒金字塔型；采集组件，包括至少三个摄像头，所述至少三个摄像头与所述至少三个平面镜相对应地布置，所述采集组件用于采集水平场景经所述反射组件反射后的多个图像。

【技术特征摘要】
1.一种图像采集装置，其特征在于，所述装置包括：反射组件，包括至少三个平面镜，所述至少三个平面镜接合成倒金字塔型；采集组件，包括至少三个摄像头，所述至少三个摄像头与所述至少三个平面镜相对应地布置，所述采集组件用于采集水平场景经所述反射组件反射后的多个图像。2.根据权利要求1所述的装置，其特征在于，所述反射组件的每个平面镜与水平面的夹角保持为第一角度，且每个平面镜的形状为等腰三角形，其中，所述第一角度大于0度且小于90度。3.根据权利要求1所述的装置，其特征在于，所述采集组件的每个摄像头位于相对应的平面镜下方的中间位置，且每个摄像头的高度以及与所述反射组件的中心轴线的距离相同。4.根据权利要求1所述的装置，其特征在于，在所述采集组件的至少三个摄像头处于共光心高度时，对所述多个图像拼接后的全景图为无缝且无重叠区域的真值图像，其中，所述共光心高度为所述至少三个摄像头的虚拟光心重合时所述至少三个摄像头的高度，每个摄像头的虚拟光心为每个摄像头的光心在相对应的平面镜上的成像位置。5.一种图像采集方法，其特征在于，所述方法应用于根据权利要求1-4中任意一项所述的图像采集装置，所述图像采集装置包括反射组件及采集组件，所述方法包括：调整所述采集组件的至少三个摄像...

【专利技术属性】
技术研发人员：季向阳，沈灿伟，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11