本发明专利技术公开了一种利用离散立方体全景图实时合成连续平滑全景视频的方法，该方法包括：对所输入的两张连续的立方体全景图，通过特征点检测、特征匹配，在球面域上构建立方体全景图的三角网格剖分实现立方体全景图的预处理；实现立方体全景图的实时插值，在已有三角网格对应关系基础上，估计在新相机位置的待插值三角网格组成，并基于单应矩阵对新视角三角网格进行填色。与现有技术相比，将立方体全景图投影到球面域，并在球面域采取“匹配-三角剖分-插值”的策略，不仅简化了插值处理的复杂度，并有效的提高了插值的视觉效果。
【技术实现步骤摘要】
本专利技术属于计算机图形学和计算机视觉领域，特别是涉及一种利用离散的立方体全景图实时合成连续平滑全景视频的图像插值技术。
技术介绍
随着图像拼接技术的发展和全景相机的诞生，越来越多的立方体全景图被应用到线上虚拟现实和漫游导航系统中。但是由于网络带宽限制，服务商只能提供在热点地区所拍摄的全景图，即离散全景图数据。现有的在线虚拟漫游系统通常只提供对单张全景图的浏览，相邻两张全景图间的过渡则利用某种形式的叠加实现，其效果呈现出明显的视觉不连续性。为了提高虚拟浏览的用户体验，可以使用视点插值的方法。然而，目前大多数视点插值方法(如文献[1])的处理对象为平面图像，不能直接应用到立方体全景图上。全景图的插值方法(如文献[2])虽然可获得较好的插值结果，但其步骤繁琐复杂，不易进行并行加速，而且在立方体全景图六个面的衔接处可能引入较明显的视觉错误。上述的插值方法例如图像配准(见参考文献[I]),该插值方法由Siu和Lau在2005年提出利用图像配准的方法对平面图像进行插值，以生成新视点的平面图像。具体步骤是，首先对同一场景在不同视角下拍摄的三张输入图像进行特征点检测，并进行特征匹配；进而利用三焦点张量模型及随机抽样一致性(RANSAC)算法对匹配点进行过滤，基于相机物理模型估计三张输入图像的相机相对位置；基于匹配的特征点对图像做三角剖分，进而检测遮挡区域，在发生遮挡的区域内，改变特征点检测的阈值重新生成特征点，反复此过程以消除遮挡区域；对待插值的新视角，计算其与输入图像的单应矩阵，从而对图像进行插值。该方法对输入视图间的基线没有严格的要求，能很好地用于多视角的平面图像插值，然而不能直接应用于立方体全景图的插值。立方体三角剖分方法(见文献[2])是对Siu和Lau所提技术的扩展，由Zhang等于2011年提出，将其应用到立方体全景图插值上。该方法在获取相邻立方体全景图的特征匹配后，对立方体全景图进行三角剖分。由于立方体全景图包含上、下、左、右、前、后六个面，Zhang等人将立方体全景图的三角剖分划分为三部分每个面的中间区域，水平四个面的相互衔接处，以及剩余部分(包含上下两个面及与水平四个面的衔接处)，通过对这三类区域分别采取不同三角剖分策略，实现对整个立方体全景图的剖分。在利用单应矩阵对全景图进行插值时，该方法同样区分不同的区域，并对各区域应用不同的插值策略。由于分区域考虑，该算法较为繁琐，并且在立方体六个面的衔接处可能产生明显误差。参考文献[ I ] . A. Siu and R. Lau, “Image registration for image-basedrendering,，，IEEE Transactions on Image Processing, vol. 14, no. 2, pp. 241 -252, Feb. 2005.[2]. C. Zhang, Y. Zhao, and F. ffu, “Triangulation of cubic panorama for viewsynthesis, ” Applied Optics, vol. 50, no. 22, pp. 4286-4294，Aug2011.
技术实现思路
基于上述现有技术中在处理立方体全景图插值问题上的不足，本专利技术提出一种，将立方体全景图投影到球面域做处理的解决方案，设计在球面域对立方体全景图做三角网格剖分的方法，基于球面域的立方体全景图的预处理技术与立方体全景图的实时插值技术，实现立方体全景图的匹配、三角形网格化和全景图实时插值，在有限网络带宽环境下实时合成连续平滑、衔接自然的全景图视频序列。本专利技术提出了一种，包括以下步骤:步骤一、对作为输入的每两张连续的立方体全景图的每个面建立高斯差分金字塔，对金字塔上的每个像素，将它和金字塔同层的8个相邻像素以及金字塔上下两层对应的18个像素进行比较，检测它是否是极值点，将检测到的极值点作为预选的特征点；通过拟合3维2次曲线对特征点进行精确定位，即将空间尺度函数进行泰勒展开本文档来自技高网...
【技术保护点】
一种利用离散立方体全景图实时合成连续平滑全景视频的方法，其特征在于，该方法包括以下步骤：步骤一、对作为输入的每两张连续的立方体全景图的每个面建立高斯差分金字塔，对金字塔上的每个像素，将它和金字塔同层的8个相邻像素以及金字塔上下两层对应的18个像素进行比较，检测它是否是极值点，将检测到的极值点作为预选的特征点；通过拟合3维2次曲线对特征点进行精确定位，即将空间尺度函数进行泰勒展开对该式求导，并令其为0得到特征点的精确位置再剔除低对比度和边缘响应的特征点；通过特征点邻域内像素的梯度信息确定特征点的主方向；根据特征点的位置、尺度、主方向信息在对应邻域内计算梯度直方图，作为特征点的128维的特征描述符；将立方体全景图六个面上检测到的特征点放到一起作为该图的特征点集，实现立方体全景图的SIFT特征点检测；步骤二、将完成特征点检测的两个立方体全景图中第一个立方体全景图的特征点描述符放入k?d树树形结构中；以第二个全景图上的每个特征点为依据，借助树形结构查找其中与第一个全景图最相似的特征点，得到匹配特征点；步骤三、随机选取8组步骤一得到的匹配特征点，利用8点法计算基础矩阵F，假设一组匹配点为x＝(x，y，1)T和x′＝(x′，y，1)T，F＝[f11?f12?f13；f21?f22?f23；f31?f32?f33]，则满足x′xf11+x′yf12+x′f13+y′xf21+y′yf22+y′f23+xf31+yf32+f33＝0；由于将f33规整为1，当有8组匹配点时，得到8个上述方程，则基础矩阵F被完全确定下来；计算每组匹配点的几何误差ϵgeo=(x′TFx)2||Fx||2+||FTx′||2,---(1)其中x和x′为匹配的特征点在各自图像上的坐标，F为计算得到的基础矩阵；将几何误差小于0.001的匹配点放到一致集S中，并计算一致集S中每组匹配特征点之间的角度α以及角度的均值μs和标准差σs，从而可得到角度误差，ϵang=|α-μs|σs,---(2)角度误差小于0.95的匹配点组成内点集合I；重复以上过程：即根据随机选取的8组匹配点估计基础矩阵，并计算几何误差和角度误差的过程，直至角度误差不变，在前述的误差处理之后，再根据匹配特征点，利用最小二乘法重新估计基础矩阵F；通过重新估计的基础矩阵F和相机矫正矩阵K计算本质矩阵E＝KTFK；对本质矩阵进行奇异值分解得E＝Udiag(1，1，0)VT，则第一个相机矩阵为P＝[I?0]，第二个相机矩阵可能的选择为P′＝[UWVT|u3]；[UWVT|?u3]；[UWTVT|u3]；[UWTVT|?u3]；选择使重构点同时落在相机前面的相机矩阵，完成对相机相对位置参数的鲁棒估计；步骤四、基于匹配点组成的内点集合I，采用凸包剖分的方法，在球面域内对第一张立方体全景图进行三角网格剖分，并将剖分的拓扑关系应用到第二张全景图；步骤五、对第二张全景图的三角网格进行遮挡检测，即判断所述三角形网格间是否存在重叠；对于包含重叠的区域，使用gnomonic投影的方法将其投影到二维平面，然后采用带边约束的Delaunay三角形化方法对该区域进行三角剖分；重复以上过程直到所产生的三角网格不存在重叠现象，实现三角网格的遮挡处理；步骤一至步骤五，实现对所输入的两张连续的立方体全景图，通过特征点检测、特征匹配，在球面域上构建立方体全景图的三角网格剖分实现立方体全景图的预处理；步骤六、利用线性三角形法计算对应场景点的三维坐标；将场景点的三维坐标投影到新相机位置的球面域上，得到待插值全景图关键点的球面坐标及由该球面坐标确定的球面三角形；具体而言，根据相机相对位置参数估计，对待插值相机的位置C″和朝向R″进行插值，其中位置采用线性插值：C″＝tC′+(1?t)C;（3）其中t∈[0，1]为插值参数，即t＝0时，待插值相机与第一个相机的参数相同，t＝1时与第二个相机的参数相同；朝向采用四元数球面线性插值：q′′=slerp(q,q′;t)=sin(1-t)θsinθq+sin(tθ)sinθq′,---(4)其中q和q′为R和R′对应的四元数，θ＝arccos(q·q′)，t∈[0，1]为插值参数；对每组匹配点x和x′，利用线性三角形法计算对应场景点的三维坐标X；将场景点投影到新相机位置的球面域上，得到待插值全景图上特征点的坐标，X′′=R...
【技术特征摘要】
1.一种利用离散立方体全景图实时合成连续平滑全景视频的方法，其特征在于，该方法包括以下步骤: 步骤一、对作为输入的每两张连续的立方体全景图的每个面建立高斯差分金字塔，对金字塔上的每个像素，将它...
【专利技术属性】
技术研发人员：万亮，冯伟，张加万，赵强，
申请(专利权)人：天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。