一种360度全景图像无缝拼接的方法技术

本发明专利技术公开了一种360度全景图像无缝拼接的方法，包括：将一组在同一地点沿着不同方向拍摄得到的序列图像转为灰度图；将图像中位于最左侧的图像沿中线切开，切开后得到的左图移至图像序列最右边；利用SIFT算法分别提取图像的特征点，利用RANSAC算法选取最佳的特征点对并进行匹配；利用匹配好的特征点对生成网格，使用网格顶点代替图像中的特征点；网格顶点对的位置关系估计每一幅图像的焦距与三维旋转角度；利用估计出的焦距与三维旋转角度对网格进行优化；使用优化后的网格引导图像进行仿射变换；对变换后的图像进行融合，并投影到圆柱面上显示。本发明专利技术实现了360度全景图像无缝拼接，解决了360度全景图像拼接的首尾对接问题。

A Seamless Mosaic Method for 360 Degree Panoramic Images

【技术实现步骤摘要】
一种360度全景图像无缝拼接的方法
本专利技术涉及一种图像拼接方法，特别是一种360度全景图像无缝拼接的方法，本专利技术属于多传感器图像拼接

技术介绍
图像拼接是将在同一场景下拍摄的多个图像拼接成具有宽视场的高分辨率图像的技术。图像拼接算法的核心在于图像配准，配准的精度直接决定了图像拼接的质量。图像配准使用的变换模型通常分为全局变换模型和局部变换模型。使用全局变换模型进行图像配准时，对于重合区域较大或存在视差的情况，就会导致配准的精度降低，重合区域模糊不清。为了解决全局变换模型的不足和提高配准的质量，局部变换模型应运而生，比较典型的有平滑变化的仿射变换(SVA)和尽可能投影变换算法(APAP)。局部变换模型将需要变换的图像分成若干部分，对每一部分分别进行仿射变换，这些变换使用不同的局部参数以获得更好的配准精度。拼接的图像在非重合区域中不存在对应关系，但是为了保证图像整体的自然性，也需要对这些区域做相应的变换，在APAP中使用正则化方法推出非重合区域部分的局部变换参数，使整体的变换看起来更加自然。但是当拼接图像的数量增加时，远离基准图像的图像会产生严重的失真，采用将图像投影到圆柱面或者球面上显示的方法可以一定程度上解决这种由视角变大而引起的失真。由于具有宽视场的单视角图像会在形状和尺度上引入严重的失真，因此多视角拼接图像的方法被提了出来。Chang等人提出了形状保持半投影(SPHP)变换模型，它是投影变换和相似变换的空间组合。SPHP在重合区域中使用投影变换，来保持配准的精度，在非重叠区域中使用相似变换来保持图像的原始视角并减少失真。此外，SPHP还可以与APAP结合使用，以获得更好的配准精度。然而，SPHP变换模型要求拼接图像的视野要小，而且SPHP从单应性矩阵导出相似变换，如果使用全局变换模型，则导出的相似性变换会出现不自然的旋转。因此Lin等人提出了自适应的尽可能自然(AANAP)变换模型来解决非自然旋转的问题。AANAP变换模型将单应性矩阵的变换线性化，但是在拼接多个图像时存在局部失真的情况，全局相似性变换参数的估计不稳健，并且仍然存在不自然的旋转和缩放。以上的这些方法都没有对360度图像拼接中的首尾对接问题进行研究。
技术实现思路
针对上述现有技术，本专利技术要解决的技术问题是提供一种解决360度全景图像拼接中首尾相接问题的360度全景图像无缝拼接的方法。为解决上述技术问题，本专利技术的一种360度全景图像无缝拼接的方法，包括以下步骤：S1：将一组在同一地点沿着不同方向拍摄得到的序列图像转为灰度图；S2：将S1中得到的一组灰度图像中位于最左侧的图像沿中线切开，切开后得到的左图移至图像序列的最右侧；S3：利用SIFT算法提取S2中获得的全部图像的特征点，对提取的特征点利用RANSAC算法选取最佳的特征点对并进行匹配，剔除不理想的匹配点；S4：利用S3中得到的理想的特征点对选用APAP算法生成网格，使用生成的网格顶点代替图像的特征点；S5：根据网格顶点对的位置关系估计每一幅图像的焦距与三维旋转角度；S6：利用估计出的焦距与三维旋转角度对S4中生成的网格进行整形；S7：使用整形后的网格引导图像进行仿射变换；S8：对变换后的图像进行融合，并投影到圆柱面上进行三维显示。本专利技术还包括：S1中将转为灰度图的转换方程为：S5中使用网格的每个四边形对应的对图像焦距的估计的平均值作为焦距的初始化矩阵Ki，通过最小化投影误差来获得Ii和Ij之间的三维旋转估计：上式通过奇异值分解的方式求解，φ(p)返回给定匹配点p的对应关系，焦距的初始化矩阵Ki取图像Ii中的网格的每个四边形的焦距估计的中值。S6所述整形包括：对于每一幅图像，使用网格引导图像进行仿射变换，设Vi和Ei表示图像Ii中网格的顶点和边的集合，V表示所有顶点的集合，确定一组最优的顶点位置，使得能量函数ψ(V)最小化：能量函数共有3项，分别为对齐项ψa(V)，局部相似项ψl(V)和全局相似项ψg(V)；对齐项ψa(V)满足：其中：φ(p)返回给定匹配点p的对应关系，表示p的位置是四个顶点位置的线性组合，中的表示p所在的四边形的四个角，αi是对应的双线性权重，J表示相邻的图像对，包含图像Ii和图像Ij，Mij表示位于Ii与Ij重合区域中的在Ii里的网格顶点组成的一系列匹配点；局部相似项ψl(V)满足：其中：表示原顶点的位置，表示变形后的顶点，表示边缘(j,k)的相似变换，即和表示顶点变量的线性组合；全局相似项ψg(V)满足：其中，β和γ是不为零的常数，是共享边缘的四边形；Mi表示位于Ii的重叠区域的四边形；函数d(qk,Mi)返回四边形qk到在网格空间中重叠区域的四边形的距离；Ri和Ci表示Ii中的网格的行数和列数，尺度si可以设置为si＝f0/fi，旋转角度θi由步骤S5估算得出；在ψg中有两个参数β和γ，设置λl的取值范围(0,1)，β的取值范围(0,10)，γ的取值与β同一量级。S7所述仿射变换的变换公式满足：其中，h1～h6为变换参数，由S4中的网格顶点对的位置关系确定，(u,v)为变换之后的坐标，(x,y)为变换之前的坐标。S8所述融合选用渐入渐出融合算法，对于每两个相邻的图像对，权值d定义为：其中x是像素点所在重合区域的列数；L是重合区域的左边界的列数，R是重合区域的右边界的列数。S8利用OpenGL图形显示库创建三维场景,将拼接好的图像投影到场景中的圆柱面上显示。本专利技术有益效果：相比于现有的图像拼接技术，本专利技术实现了360度全景图像无缝拼接，解决了360度全景图像拼接的首尾对接问题。附图说明图1为经典的拼接算法得到的360度全景图像的二维显示。图2为经典的拼接算法得到的360度全景图像的三维显示。图3位消除拼缝方法示意图。图4为利用本专利技术方法拼接得到的360度全景图像。图5为本专利技术的流程图。具体实施方式下面结合附图对本专利技术具体实施方式做进一步说明。本专利技术公开了一种360度全景图像无缝拼接的方法，该算法包括以下步骤：S1、将一组在同一地点沿着不同方向拍摄得到的序列图像转为灰度图；S2、将一组有序的图像中位于最左侧的图像沿中线切开，切开后得到的左图移至图像序列的最右端；S3、利用SIFT算法分别提取这些图像的特征点，利用RANSAC算法选取最佳的特征点对并进行匹配；S4、利用匹配好的特征点对生成网格，使用网格顶点代替S3中通过SIFT算法提取的特征点；S5、根据网格顶点对的位置关系估计每一幅图像的焦距与三维旋转角度；S6、利用估计出的焦距与三维旋转角度对S4中生成的网格进行整形；S7、使用优化后的网格引导图像进行仿射变换；S8、对变换后的图像进行融合，并投影到圆柱面上显示。如步骤S1所述，将一组在同一地点沿着不同方向拍摄得到的序列图像转为灰度图，转换方程为：如步骤S2所述，将一组有序的图像中位于最左侧的图像沿中线切开，切开后得到的左图移至图像序列的最右端，如附图3所示；如步骤S3所述，利用SIFT算法分别提取这些图像的特征点，利用RANSAC算法选取最佳的特征点对并进行匹配。如步骤S4所述，利用匹配好的特征点对生成网格，使用网格顶点代替在S3中提取的特征点。如步骤S5所述，从两幅相邻图像之间的单应性变换阵中，可以估计两幅图像的焦距。因此可以利用AP本文档来自技高网...

【技术保护点】
1.一种360度全景图像无缝拼接的方法，其特征在于，包括以下步骤：S1：将一组在同一地点沿着不同方向拍摄得到的序列图像转为灰度图；S2：将S1中得到的一组灰度图像中位于最左侧的图像沿中线切开，切开后得到的左图移至图像序列的最右侧；S3：利用SIFT算法提取S2获得的图像的特征点，对提取的特征点利用RANSAC算法选取最佳的特征点对并进行匹配，剔除不理想的匹配点；S4：利用S3中得到的理想的特征点对选用APAP算法生成网格，使用生成的网格顶点代替图像的特征点；S5：根据网格顶点对的位置关系估计每一幅图像的焦距与三维旋转角度；S6：利用估计出的焦距与三维旋转角度对S4中生成的网格进行整形；S7：使用整形后的网格引导图像进行仿射变换；S8：对变换后的图像进行融合，并投影到圆柱面上进行三维显示。

【技术特征摘要】
1.一种360度全景图像无缝拼接的方法，其特征在于，包括以下步骤：S1：将一组在同一地点沿着不同方向拍摄得到的序列图像转为灰度图；S2：将S1中得到的一组灰度图像中位于最左侧的图像沿中线切开，切开后得到的左图移至图像序列的最右侧；S3：利用SIFT算法提取S2获得的图像的特征点，对提取的特征点利用RANSAC算法选取最佳的特征点对并进行匹配，剔除不理想的匹配点；S4：利用S3中得到的理想的特征点对选用APAP算法生成网格，使用生成的网格顶点代替图像的特征点；S5：根据网格顶点对的位置关系估计每一幅图像的焦距与三维旋转角度；S6：利用估计出的焦距与三维旋转角度对S4中生成的网格进行整形；S7：使用整形后的网格引导图像进行仿射变换；S8：对变换后的图像进行融合，并投影到圆柱面上进行三维显示。2.根据权利要求1所述的一种360度全景图像无缝拼接的方法，其特征在于：S1中将转为灰度图的转换方程为：。3.根据权利要求1所述的一种360度全景图像无缝拼接的方法，其特征在于：S5中使用网格的每个四边形对应的对图像焦距的估计的平均值作为焦距的初始化矩阵Ki，通过最小化投影误差来获得Ii和Ij之间的三维旋转估计：上式通过奇异值分解的方式求解，φ(p)返回给定匹配点p的对应关系，焦距的初始化矩阵Ki取图像Ii中的网格的每个四边形的焦距估计的中值。4.根据权利要求1所述的一种360度全景图像无缝拼接的方法，其特征在于：S6所述整形包括：对于每一幅图像，使用网格引导图像进行仿射变换，设Vi和Ei表示图像Ii中网格的顶点和边的集合，V表示所有顶点的集合，确定一组最优的顶点位置，使得能量函数ψ(V)最小化：能量函数共有3项，分别为对齐项ψa(V)，局部相...

【专利技术属性】
技术研发人员：蔡成涛，侯立东，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江,23