一种实时彩色及深度全景图像拼接方法技术

本发明专利技术涉及一种实时彩色及深度全景图像拼接方法，将深度传感器生成的深度图像和彩色图像对齐，利用彩色图像的配准信息来对深度图像进行图像变换和图像融合，进而生成彩色及深度全景图像；对图像拼接流程进行优化，在同一场景下，对同种组型的配准参数只进行一次估计，后续图像直接利用此配准参数进行变换和融合，大大削减了图像拼接时间，实现了全景图像拼接的实时性。本发明专利技术拼接的深度全景图畸变更小，拼接方法的灵活性更大，且可以同时完成彩色全景图和深度全景图的生成。本发明专利技术提出了基于平均结构相似度的评价标准，对生成的拼接图的几何质量和光度质量进行评价，使系统能够始终以最优的拼接参数进行拼接，图像拼接的质量更高。

Real time color and depth panoramic image stitching method

The present invention relates to a real-time color and depth panoramic image mosaic method, the depth sensor generates the depth image and color image alignment, using color image registration information to image transform and image fusion of depth image, and then generate color and depth panoramic image; image stitching process optimization, in the same scene the registration parameters of the same type, only a direct estimation, image transform and fusion using the registration parameters, greatly reduce the time of image stitching, to achieve real-time panoramic image mosaics. The stitching of the depth panorama of the invention has little distortion, and the splicing method is more flexible, and the color panorama and the depth panorama can be finished simultaneously. The present invention is put forward to evaluate the average structural similarity criteria based on the evaluation of geometric quality and photometric quality mosaic generated, the system can always be spliced by splicing the optimal parameters, the higher the quality of image mosaic.

【技术实现步骤摘要】
一种实时彩色及深度全景图像拼接方法
本专利技术涉及一种实时彩色及深度全景图像拼接方法，可对以Kinect为代表的视场角较小的RGBD(Red-Green-Blue-Depth)传感器阵列生成的图像序列进行高效快速拼接，同时生成彩色全景图和深度全景图。
技术介绍
随着计算机视觉的发展，传统的基于二维彩色图像处理的计算机视觉技术已经无法满足人们将计算机视觉应用于三维物理世界中的要求。深度图像作为一种可以直接反映物体距离信息的图像，受到越来越多的关注。深度图像是将从图像传感器到场景中各点的距离作为像素值的图像。与彩色图像相比，其不会受到环境中光照变化的影响。近年来，随着以MicrosoftKinect为代表的能同时获取彩色和深度信息的传感器的推出，人们可以以较低的成本实时获取较高分辨率的深度图像，这大大推动了深度图像在计算机视觉技术中的应用。在物体的检测、分割、追踪和识别，三维重建，SLAM等领域，深度图像都有十分重要的作用。传统上深度图像的获取方法有：激光雷达深度成像技术、结构光技术、立体视觉技术等。激光雷达虽然可以获得高精度的深度图像，但其价格昂贵；结构光技术只能用于测量静止物体的三维本文档来自技高网...

【技术保护点】
一种实时彩色及深度全景图像拼接方法，其特征在于，包括如下步骤：1)将每个Kinect捕获的彩色图和深度图对齐；2)对任意一组X型Kinect组的彩色图进行拼接，根据平均结构相似度，即MSSIM，优选X型Kinect组的配准参数；3)根据步骤2)所选的配准参数，对剩下的所有X型Kinect组获得的彩色图像和深度图像进行图像变换、图像融合，得到彩色广角图和深度广角图；4)对任意一组V型Kinect组所对应的彩色广角图进行拼接，根据平均结构相似度优选V型Kinect组的配准参数；5)根据步骤4)所选的配准参数，对剩下的所有V型Kinect组所对应的彩色广角图和深度广角图进行图像变换、图像融合，得到彩...

【技术特征摘要】
1.一种实时彩色及深度全景图像拼接方法，其特征在于，包括如下步骤：1)将每个Kinect捕获的彩色图和深度图对齐；2)对任意一组X型Kinect组的彩色图进行拼接，根据平均结构相似度，即MSSIM，优选X型Kinect组的配准参数；3)根据步骤2)所选的配准参数，对剩下的所有X型Kinect组获得的彩色图像和深度图像进行图像变换、图像融合，得到彩色广角图和深度广角图；4)对任意一组V型Kinect组所对应的彩色广角图进行拼接，根据平均结构相似度优选V型Kinect组的配准参数；5)根据步骤4)所选的配准参数，对剩下的所有V型Kinect组所对应的彩色广角图和深度广角图进行图像变换、图像融合，得到彩色全景图和深度全景图。2.根据权利要求1所述的实时彩色及深度全景图像拼接方法，其特征在于，所述步骤1)中的深度图和彩色图对齐方法，具体为：a)经推导，得到Kinect的深度相机坐标系到彩色相机坐标系之间的转换关系如下式所示：r＝RcolorR-1deptht＝Tcolor-RTdepth其中，R为旋转矩阵，T为平移矩阵，H为相机内参矩阵，p为空间点在二维图像平面的投影点坐标，Z为图像在p点处的像素值，参数下标color和depth分别标识该参数是和彩色相机坐标相关，还是和深度相机坐标相关；r和t是联系Kinect彩色相机和深度相机的外参，即旋转矩阵和平移矩阵；b)分别对Kinect的彩色相机和深度相机进行标定，获取彩色相机的内参矩阵Hcolor，深度相机的内参矩阵Hdepth；c)对同一个Kinect的深度相机和彩色相机进行双目标定，获取彩色相机的旋转矩阵Rcolor、平移矩阵Tcolor和深度相机的旋转矩阵Rdepth、平移矩阵Tdepth，进而获得旋转矩阵r和平移矩阵t，将相机参数和未对齐的深度图Zdepthpdepth代入上述公式...

【专利技术属性】
技术研发人员：夏瑞隆，刘航，李恒宇，丁长权，罗均，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31