一种基于迭代最近点的大视场视频全景图拼接的方法技术

本发明专利技术涉及一种基于迭代最近点的大视场视频全景图拼接的方法，利用场景的三维信息，将个帧视图转化到同一图像平面下，实现场景拼接。具体地，对所有相邻两帧视图，执行如下操作：1.提取并匹配相邻两帧视图的特征；2.计算相邻两帧视图的相对位姿；3.在极线约束下，对相邻两帧视图进行稠密匹配；4.根据稠密匹配结果，计算相邻两帧视图重叠区域的三维模型；5.利用迭代最近点法，将步骤4得到的三维模型转化到第0帧视图的相机坐标系下；6.将转化后的三维模型投影到第0帧视图平面上，从而建立三维模型上各点与第0帧视图上位置的映射关系；7.将映射第0帧视图相同位置的点融合，完成拼接。本发明专利技术相较于传统基于单应映射拼接方法，更加真实可靠。

A method for mosaic of large view video panorama based on iterative closest point

The invention relates to a method of mosaic of large field video panorama based on iterative closest point, which uses the three-dimensional information of the scene to transform the frame view to the same image plane and realize the scene splicing. Specifically, the following operations are performed for all adjacent two frame Views: 1. extract and match the features of adjacent two frame views; 2. calculate the relative position and pose of the adjacent two frame views; 3. in the polar line constraint, the adjacent two frame views are densely matched; 4. based on the dense matching results, the three-dimensional model of the overlapped regions of the adjacent two frames is calculated. 5., using the iterative nearest point method, the 3D model obtained by step 4 is transformed into the camera coordinate system of the zeroth frame view; 6. the transformed 3D model is projected onto the zeroth frame view plane to establish the mapping relationship between the points on the 3D model and the position of the zeroth frame, and 7. converge the points mapping the same position of the zeroth frame view, Complete the stitching. The invention is more reliable than traditional homography mapping method.

【技术实现步骤摘要】
一种基于迭代最近点的大视场视频全景图拼接的方法
本专利技术涉及一种基于迭代最近点的大视场视频全景图拼接的方法，通过估计各像素点的深度值，并将各像素映射到同一图像平面上，然后把映射到相同位置的点融合。属于计算机视觉领域。
技术介绍
视频全景图拼接即将一段视频中，有重叠区域的各帧视图进行无缝拼接，得到一幅反映视频场景全貌的全景图像。视频全景图拼接技术针对的是普通成像设备获取的视频。数码摄相机和智能手机的普及，大大降低了全景图获取的成本，高质量的视频全景图拼接技术也爆发出了巨大的市场需求。此外，视频全景图拼接技术也广泛应用于虚拟现实、增强现实等领域，其发展前景十分广阔，有着极高的研究价值。传统的视频全景拼接技术基于平面单应假设。具体地，首先对相邻两帧视图提取并匹配鲁棒性较强的特征，利用这些匹配得到的特征估计单应映射矩阵，然后通过估计得到的单应矩阵将其中一幅视图的像素点映射到另一幅视图中，并对灰度值进行融合(如果是彩色图像，则对RGB三个通道分别融合，下同)，得到拼接结果。传统方法在两幅视图的拼接过程中，假定所有场景都位于同一平面上。而现实中，场景都位于同一平面上的假设显然是不成立的。当摄像机距离远大于场景自身深度的变化时，可以忽略场景自身深度的变化，近似认为场景是位于同一平面上，此时，传统的视频全景拼接方法的效果比较理想。当场景自身的深度变化不能忽略时，传统方法的拼接结果就会产生较大的失真，使得传统方法在实际应用中受限。
技术实现思路
本专利技术技术解决问题：克服现有技术的不足，提供一种基于迭代最近点的大视场视频全景拼接的方法，利用场景的深度信息，准确地将不同视图的像素映射到同一图像平面上，从根本上解决了由于平面单应假设造成的全景图失真。本专利技术技术解决方案：一种基于迭代最近点的大视场视频全景拼接的方法，实现步骤如下：(1)提取并匹配相邻两帧视图的特征；(2)基于步骤(1)中得到的特征，计算相邻两帧视图的相对位姿；(3)通过相对位姿计算得到极限约束，在极线约束下，对相邻两帧视图进行稠密匹配，得到稠密的匹配点对；(4)利用步骤(3)得到的稠密的匹配点对，计算相邻两帧视图重叠区域的三维模型；(5)采用迭代最近点法，将步骤(4)得到的三维模型转化到第0帧视图的相机坐标系下，即世界坐标系；(6)将在步骤(5)中转化后的三维模型，投影到第0帧视图中，建立三维模型上各点与第0帧视图上位置的映射关系；(7)基于步骤(6)得到的映射关系，将映射第0帧视图相同位置的点融合，完成拼接。在步骤(1)提取并匹配相邻两帧视图的特征的实现如下：(1)对相邻两帧视图提取SIFT特征点，并计算每个特征点的描述子；(2)基于各个特征的描述子，对相邻两帧视图提取到的特征进行匹配，从而得到相邻两帧视图间，若干匹配特征点对。在步骤(4)计算相邻两帧视图重叠区域的三维模型，实现如下：根据摄影测距原理，计算步骤(3)中得到的所有两帧视图间匹配点对对应的三维点，这些三维点共同组成了相邻两帧视图重叠区域的三维模型，三维模型为Mk代表Mk中各点，h为Mk中点的数目，上标k代表Mk是由第k帧视图和第k+1帧视图的稠密匹配点对，Mk中各点的颜色即为计算三维点时，匹配点对颜色的均值。在步骤(5)利用迭代最近点法，将步骤(4)得到的三维模型转化到第0帧视图的相机坐标系下的实现如下：(11)第0帧视图和第1帧视图重叠区域对应的三维模型为M0通过迭代最近点方法，计算从Mk到M0的最佳刚体变换，最佳刚体变换通过转矩阵Rk和平移矢量Tk进行描述；(12)将最佳刚体变换作用于Mk中各点，如式(1)所示，其中，为将变换到世界坐标系后的点，i用于索引Mk(或定义见下文)中各点；记即为把Mk变换到第0帧视图的相机坐标系下的结果。在步骤(6)建立三维模型上各点与第0帧视图上位置的映射关系，具体实现如下：(21)将中各点投影至第0帧视图如式(2)所示：式(2)中，π(·)为透视投影映射，[u,v]T为在第0帧视图中投影位置的坐标，其中，u和v分别为在第0帧视图中投影的横坐标和纵坐标；(22)结合式(2)和式(1)，得到Mk中各点与第0帧视图的位置建立映射，如式(3)所示：在步骤(7)将映射第0帧视图相同位置的点融合，具体实现如下：对于第0帧视图的所有位置p，执行如下操作：(31)找出所有与通过步骤(6)与位置p建立对应关系点，计算与位置p建立对应关系的点的颜色的平均值，记为C；(32)将位置p的颜色赋为C。本专利技术与现有技术相比的优点在于：本专利技术在全景拼接时，考虑到了场景的三维信息。计算相邻两帧视图重叠区域的三维模型，并将三维模型转化到第0帧视图的相机坐标系下，而后建立三维模型上各点到第0帧视图中位置的准确映射，从而得到更加真实、自然的全景图。而传统方法假定所有场景都位于同一平面上，通过单应矩阵建立映射关系，忽略了场景的三维信息，从而得到不准确的映射关系。当景深变化较为剧烈时，传统方法的拼接过程会产生大量瑕疵，得到的质量较差的全景图。附图说明图1展示了基于迭代最近点的大规模视频全景图拼接方法的流程；图2展示了本专利技术对某段视频进行全景图拼接的实验结果，(a)几帧截取自实验所用视频的视图；(b)本专利技术的拼接结果。具体实施方案下面结合附图及实施例对本专利技术进行详细说明。为方便叙述，本专利技术使用符号k索引视频各帧视图，第k帧视图与第k+1帧视图为相邻视图。如图1所示，本专利技术具体实施如下：1.提取并匹配相邻两帧视图的特征；图像特征是指数字图像中，某些具有一类特定性质的像素点。每个图像特征往往对应一个描述子(特征向量)，作用是对特征进行描述。常见的图像特征有FAST、HOG、SURF、SIFT等。考虑到位姿解算对特征的鲁棒性要求较高，本专利技术选用SIFT特征。特征匹配的依据是特征的描述子，具体地，记和分别是第k和第k+1帧视图中提取得到的特征，其中n和m分别为第k和第k+1帧视图中特征的数目。记D(·)为描述子算子，则和的描述子分别为和如果第k帧视图中的特征(0≤l≤n-1)与第k+1帧视图中的特征是匹配特征，则和必满足公式(4)所示条件。式(4)中的||·||符号代表欧式距离算子，min(·)代表最小值算子。假设经过匹配后，可以得到s组匹配特征，统一记为(x0,x′0),(x1,x′1),...,(xs-1,x′s-1)。2.计算相邻两帧视图的相对位姿记第k帧视图相对于第k+1帧视图的基础矩阵为F，则步骤1中得到的匹配特征应满足极线约束方程x′t和xt均为齐次坐标，t＝0,1,...,s-1，用于索引步骤1中得到的匹配特征。当s≥8时，可以通过奇异值分解的方法估计出F。由相机内参矩阵为K和估计得到的F计算本矩阵E，并对E奇异值分解，得到第k+1帧视图相对于第k帧视图的位姿，并通过旋转矩阵和平移矢量进行描述。3.在极线约束下，对相邻两帧视图进行稠密匹配稠密匹配的目的就是在满足极线约束的条件下，尽可能对第k帧视图中的像素点在第k+1帧视图中匹配得到对应的像素点。匹配依据的是像素点的特征。记和分别代表第k帧和第k+1帧视图中的像素点的齐次坐标，其中，和分别为在第k帧视图上的横坐标和纵坐标；和分别为在第k+1帧视图上的横坐标和纵坐标；i和j分别为第k和第k+1帧视图像素点的索引。像素点特征算子记为V(·)。对本文档来自技高网...

【技术保护点】
1.一种基于迭代最近点的大视场视频全景图拼接的方法，其特征在于，包括以下步骤：(1)提取并匹配相邻两帧视图的特征；(2)基于步骤(1)中得到的特征，计算相邻两帧视图的相对位姿；(3)通过相对位姿计算得到极限约束，在极线约束下，对相邻两帧视图进行稠密匹配，得到稠密的匹配点对；(4)利用步骤(3)得到的稠密的匹配点对，计算相邻两帧视图重叠区域的三维模型；(5)采用迭代最近点法，将步骤(4)得到的三维模型转化到第0帧视图的相机坐标系下，即世界坐标系；(6)将在步骤(5)中转化后的三维模型，投影到第0帧视图中，建立三维模型上各点与第0帧视图上位置的映射关系；(7)基于步骤(6)得到的映射关系，将映射第0帧视图相同位置的点融合，完成拼接。

【技术特征摘要】
1.一种基于迭代最近点的大视场视频全景图拼接的方法，其特征在于，包括以下步骤：(1)提取并匹配相邻两帧视图的特征；(2)基于步骤(1)中得到的特征，计算相邻两帧视图的相对位姿；(3)通过相对位姿计算得到极限约束，在极线约束下，对相邻两帧视图进行稠密匹配，得到稠密的匹配点对；(4)利用步骤(3)得到的稠密的匹配点对，计算相邻两帧视图重叠区域的三维模型；(5)采用迭代最近点法，将步骤(4)得到的三维模型转化到第0帧视图的相机坐标系下，即世界坐标系；(6)将在步骤(5)中转化后的三维模型，投影到第0帧视图中，建立三维模型上各点与第0帧视图上位置的映射关系；(7)基于步骤(6)得到的映射关系，将映射第0帧视图相同位置的点融合，完成拼接。2.根据权利要求1所述的基于迭代最近点的大视场视频全景图拼接的方法，其特征在于：在步骤(1)提取并匹配相邻两帧视图的特征的实现如下：(1)对相邻两帧视图提取SIFT特征点，并计算每个特征点的描述子；(2)基于各个特征的描述子，对相邻两帧视图提取到的特征进行匹配，从而得到相邻两帧视图间，若干匹配特征点对。3.根据权利要求1所述的基于迭代最近点的大视场视频全景图拼接的方法，其特征在于：在步骤(4)计算相邻两帧视图重叠区域的三维模型，实现如下：根据摄影测距原理，计算步骤(3)中得到的所有两帧视图间匹配点对对应的三维点，这些三维点共同组成了相邻两帧视图重叠区域的三维模型，三维模型为Mk代表Mk中各点，h为Mk中点的数目，上标k代表Mk是由第k帧视图和第k+1帧视图的稠密匹配点对，...

【专利技术属性】
技术研发人员：袁丁，刘韬，张弘，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11