一种图像拼接装置及图像拼接方法制造方法及图纸

本发明专利技术公开了一种图像拼接装置及图像拼接方法，其中图像拼接装置包括彩色相机、深度相机和分光镜，分光镜用于将入射光线分成透射光和反射光，其中彩色相机设置在分光镜的透射光的光路上，深度相机设置在分光镜的反射光的光路上，且分光镜到彩色相机和到深度相机的距离相等；图像拼接方法包括：通过至少两个图像拼接装置分别拍摄不同视角的图像，获取有重叠区域的图像序列；从图像序列中选取相邻的两幅图像，提取特征点并匹配，计算得到全局单应性矩阵；获取相邻的两幅图像的重叠区域的图像层次信息，根据图像层次信息对重叠区域的图像进行投影得到拼接图像。本发明专利技术提出的图像拼接装置及图像拼接方法，实现无缝拼接，大大减少重影和视差。

Image mosaic device and image stitching method

The invention discloses an image mosaic device and image mosaic method, wherein the image stitching apparatus includes a color camera, a depth camera and a spectroscope spectroscope for converting incident light into transmitted light and reflected light, the color camera setting optical path in the transmission light beam splitter on the depth camera setting light path in the reflected light of the spectroscope and, to the color camera and a spectroscope to a distance equal to the depth of the camera; including image stitching: image from different perspectives were taken by at least two image mosaic device for image sequence overlap; select the adjacent two images from image sequences, extracting and matching feature points, calculate global homography matrix; image level information overlapping area of two images acquired adjacent the image according to the image of the overlapping area into the level of information Line projection to get the stitching image. The image mosaic device and the image stitching method provided by the invention can realize seamless splicing and greatly reduce ghosting and parallax.

【技术实现步骤摘要】
一种图像拼接装置及图像拼接方法
本专利技术涉及计算机视觉和图像处理领域，尤其涉及一种图像拼接装置及图像拼接方法。
技术介绍
由于相机视角有限以及广角镜头边缘畸变严重，难以获得一幅全景图像，利用图像拼接技术能大幅扩展镜头的表现能力。图像拼接是将一组重叠图像序列拼接成一幅宽视角或360度全景的无缝图，它作为新兴技术，在短短几年得到了快速发展。目前全景拼接图像已经成为虚拟现实研究中的热点和关键技术，在教育、娱乐、军事、医学、航空航天、体育等多个领域发挥着重要作用。而现有的获取全景图像通常存在以下问题：使用多相机拍摄时各相机的光心不重合，或者单相机多次拍摄时相机光心不重合，或者拍摄场景中包含多个平面，从而导致两幅图像的重叠区域将会出现视差问题，导致拼接出现重影，影响获得的拼接图的视觉效果。以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。
技术实现思路
为解决现有的图像拼接过程中存在的重影和视差问题，本专利技术提出一种图像拼接装置及图像拼接方法，实现无缝拼接，大大减少重影和视差。为达到上述目的，本专利技术采用以下技术方案：本专利技术公开了一种图像拼接装置，包括彩色相机、深度相机和分光镜，所述分光镜用于将入射光线分成透射光和反射光，其中所述彩色相机设置在所述分光镜的透射光的光路上，所述深度相机设置在所述分光镜的反射光的光路上，且所述分光镜到所述彩色相机和到所述深度相机的距离相等。优选地，所述分光镜为中性非偏振分光镜。本专利技术还公开了一种图像拼接方法，包括以下步骤：S1：通过至少两个上述的图像拼接装置分别拍摄不同视角的图像，获取有重叠区域的图像序列；S2：从所述图像序列中选取相邻的两幅图像，提取特征点并匹配，计算得到全局单应性矩阵；S3：获取步骤S2中的相邻的两幅图像的重叠区域的图像层次信息，如果重叠区域的图像层次为一层，则使用全局单应性矩阵进行投影得到拼接图像；如果重叠区域的图像层次大于一层，依据重叠区域的场景位于不同层次计算得到各层的局部单应性矩阵，并按层次分别使用各层的局部单应性矩阵对重叠区域图像进行投影得到拼接图像。优选地，步骤S3中获取步骤S2中的相邻的两幅图像的重叠区域的图像层次信息具体包括：根据步骤S2中的相邻的两幅图像的重叠区域的深度信息来划分图像层次信息，并根据各层次的视差来校正层次划分的合理性，其中视差的计算公式为：其中，P为视差，D为深度，f为彩色相机的焦距，xc表示两个图像拼接装置中的彩色相机之间的距离。优选地，步骤S3中如果重叠区域的图像层次为一层，则使用全局单应性矩阵进行投影得到拼接图像具体包括：如果重叠区域的图像层次为一层，则使用全局单应性矩阵将第二幅图像投影映射到第一幅图像的坐标系中得到拼接图像。优选地，步骤S3中如果重叠区域的图像层次大于一层，依据重叠区域的场景位于不同层次计算得到各层的局部单应性矩阵，并按层次分别使用各层的局部单应性矩阵对重叠区域图像进行投影得到拼接图像具体包括：如果重叠区域的图像层次大于一层，则在每层中选择至少四对已经匹配好的特征点来计算局部单应性矩阵，并利用得到的局部单应性矩阵来计算置信度，若置信度≥0.95，则确认该局部单应性矩阵是相应层特征点的映射，否则舍弃该局部单应性矩阵并回到特征提取步骤重新计算局部单应性矩阵；然后将第二幅图像整体根据全局单应性矩阵投影到第一幅图像的坐标系中，并将第二幅图像的重叠区域使用各层的局部单应性矩阵投影变换到第一幅图像的坐标系中得到拼接图像。优选地，所述图像拼接方法还包括以下步骤：S4：采用光束法平差使得步骤S3中得到的拼接图像中通过投影变换后的像点与真实平面中的像点之间的误差最小化，并对边缘进行畸变校正。优选地，步骤S4中的光束法平差具体包括：设定一个3D空间中的点Xj，点Xj被多个位于不同角度的彩色相机拍摄到，根据第i个彩色相机看到点Xj的坐标以及点Xj向二维像平面转换的矩阵为Pi，计算投影矩阵和对应的3D空间中的点使得计算得到的3D空间中的点与真实平面中的点Xj之间的误差最小：其中，wij表示指示参量，如果计算得到的3D空间中的点在投影平面内，则wij＝1，否则为0，d(x,y)代表点x与y之间的欧式距离。优选地，步骤S4中的畸变校正具体包括：如果重叠区域的图像层次为一层，则融合整个重叠区域，得到最终的拼接图像，如果重叠区域的图像层次大于一层，则融合图像分割线的部分，得到最终的拼接图像。优选地，如果重叠区域的图像层次为一层，则采用α融合、加权融合、多频段融合或金字塔融合法融合整个重叠区域，得到最终的拼接图像；如果重叠区域的图像层次大于一层，采用MRF算法计算相应层次的投影变换的缝合线，选择最佳缝合线算法中效果最好的一条缝合线进行α融合。优选地，采用MRF算法计算相应层次的投影变换的缝合线具体包括：采用MRF算法对两幅图像的重叠区域I0和I1进行标记，I0区域标记为0，I1区域标记为1，通过按层次最小化能量来得到缝合线，表达式如下：其中，λ为权重值，数据项Ed表示该点像素的梯度损耗，平滑项Es表示两幅图像的重叠区域的接缝处的损耗，数据项Ed的具体表达式为：其中，lp是二进制标定值用来描述像素的梯度；平滑项损耗Es的具体表达式为：Es＝D(p0,p1)+D(q0,q1)其中，D表示重叠区域的图像被标记成不同的标签的差异之和，由二范数与梯度进行表征。与现有技术相比，本专利技术的有益效果在于：本专利技术的图像拼接装置及图像拼接方法通过将彩色相机与深度相机进行结合，获取有重叠区域的一组图像，将所有图像拼接在一起获得宽视角的一幅图像，其中由于在图像拼接装置中对应设置分光镜和深度相机，使得拍摄得到的各个图像中均具有深度信息，根据深度信息将图片重叠区域划分为多个层次，对每个层次分别进行拼接，从而可以处理多层次场景的拼接，实现无缝拼接，减少视差和重影问题，大大提升了拼接质量与视觉效果。附图说明图1是本专利技术优选实施例的图像拼接方法的流程示意图；图2是本专利技术优选实施例的图像拼接装置的结构示意图。具体实施方式下面对照附图并结合优选的实施方式对本专利技术作进一步说明。如图1所示，本专利技术优选实施例公开了一种图像拼接方法，包括以下步骤：S1：通过至少两个图像拼接装置分别拍摄不同视角的图像，获取有重叠区域的图像序列，该图像序列用于后续进行拼接。图像拼接装置的结构示意图如图2所示，图像拼接装置包括彩色相机10、深度相机20和分光镜30，分光镜30可以将入射光线40分成两束，一束为透射光50，一束为反射光60；彩色相机10设置在透射光50的光路上，用于接收透射50，深度相机20设置在反射光60的光路上，用于接收反射光60；并且分光镜30到彩色相机10和到深度相机20的距离相等。通过该图像拼接装置可以直接获取彩色相机对应场景的深度信息，其中彩色相机10可以采用GoPro、Surround360、柯达PixProSP360等。其中，图像拼接装置中的分光镜30采用中性非偏振分光镜，透射反射比为50:50，使得入射光线通过分光镜30后，一半经过透射给彩色相机10，另一半经过反射给深度相机20，以保证深度相机获得的深度信息与彩本文档来自技高网...

【技术保护点】
一种图像拼接装置，其特征在于，包括彩色相机、深度相机和分光镜，所述分光镜用于将入射光线分成透射光和反射光，其中所述彩色相机设置在所述分光镜的透射光的光路上，所述深度相机设置在所述分光镜的反射光的光路上，且所述分光镜到所述彩色相机和到所述深度相机的距离相等。

【技术特征摘要】
1.一种图像拼接装置，其特征在于，包括彩色相机、深度相机和分光镜，所述分光镜用于将入射光线分成透射光和反射光，其中所述彩色相机设置在所述分光镜的透射光的光路上，所述深度相机设置在所述分光镜的反射光的光路上，且所述分光镜到所述彩色相机和到所述深度相机的距离相等。2.根据权利要求1所述的图像拼接装置，其特征在于，所述分光镜为中性非偏振分光镜。3.一种图像拼接方法，其特征在于，包括以下步骤：S1：通过至少两个如权利要求1或2所述的图像拼接装置分别拍摄不同视角的图像，获取有重叠区域的图像序列；S2：从所述图像序列中选取相邻的两幅图像，提取特征点并匹配，计算得到全局单应性矩阵；S3：获取步骤S2中的相邻的两幅图像的重叠区域的图像层次信息，如果重叠区域的图像层次为一层，则使用全局单应性矩阵进行投影得到拼接图像；如果重叠区域的图像层次大于一层，依据重叠区域的场景位于不同层次计算得到各层的局部单应性矩阵，并按层次分别使用各层的局部单应性矩阵对重叠区域图像进行投影得到拼接图像。4.根据权利要求3所述的图像拼接方法，其特征在于，步骤S3中获取步骤S2中的相邻的两幅图像的重叠区域的图像层次信息具体包括：根据步骤S2中的相邻的两幅图像的重叠区域的深度信息来划分图像层次信息，并根据各层次的视差来校正层次划分的合理性，其中视差的计算公式为：其中，P为视差，D为深度，f为彩色相机的焦距，xc表示两个图像拼接装置中的彩色相机之间的距离。5.根据权利要求3所述的图像拼接方法，其特征在于，步骤S3中如果重叠区域的图像层次为一层，则使用全局单应性矩阵进行投影得到拼接图像具体包括：如果重叠区域的图像层次为一层，则使用全局单应性矩阵将第二幅图像投影映射到第一幅图像的坐标系中得到拼接图像。6.根据权利要求3所述的图像拼接方法，其特征在于，步骤S3中如果重叠区域的图像层次大于一层，依据重叠区域的场景位于不同层次计算得到各层的局部单应性矩阵，并按层次分别使用各层的局部单应性矩阵对重叠区域图像进行投影得到拼接图像具体包括：如果重叠区域的图像层次大于一层，则在每层中选择至少四对已经匹配好的特征点来计算局部单应性矩阵，并利用得到的局部单应性矩阵来计算置信度，若置信度≥0.95，则确认该局部单应性矩阵是相应层特征点的映射，否则舍弃该局部单应性矩阵并回到特征提取步骤重新计算局部单应性矩阵；然后将第二幅图像整体根据全局单应性矩阵投影到第一幅图像的坐标系中，并将第二幅...

【专利技术属性】
技术研发人员：王好谦，周雅玲，方璐，王兴政，张永兵，戴琼海，
申请(专利权)人：深圳市未来媒体技术研究院，清华大学深圳研究生院，
类型：发明
国别省市：广东,44