三维虚实融合环境中视频纹理投影的自动匹配校正方法技术

本发明专利技术涉及三维虚实融合环境中视频纹理投影的自动匹配校正方法以及真实视频影像和虚拟场景融合方法，自动匹配校正方法步骤为：通过构建虚拟场景、获取视频数据、视频纹理融合、投影机校正。采用拍摄的真实视频，通过纹理投影的方式，在复杂的地表和建筑物等场景表面进行虚拟场景融合，提高虚拟现实环境中场景动态信息的表达与展示能力，也增强了场景的层次感。可通过增加从不同拍摄角度的视频数量，实现大范围虚拟场景的动态视频纹理覆盖效果，从而实现虚拟现实环境与显示场景的虚实融合的动态真实感效果。通过视频帧预先颜色一致性处理，消除明显的颜色跳变，提升视觉效果。通过本发明专利技术提出的自动校正算法，让虚拟场景与真实视频的融合更为精准。

【技术实现步骤摘要】

本文涉及虚拟现实，尤其涉及一种利用真实视频影像与虚拟场景融合、校正的方法，属于虚拟现实、计算机图形学、计算机视觉和人机交互等

技术介绍
在虚拟现实系统中，使用静态图片表现建筑物或者地面的表面的细节是最常用的手段，通常采用纹理贴图方式实现。该方法的不足是场景表面的纹理一旦设定便不再改变，对于场景模型表面变化要素的忽略，降低了虚拟环境的真实感，并不能给人一种身临其境的感觉。为了消除静态图片造成的真实感不足，利用视频代替图片是一种直观的想法。现阶段也有一些系统加入了视频元素，但大多是采用弹窗的形式，利用现有的视频播放器播放视频，只是达到了全局监控的效果，并没有做到视频与场景真正的融合。有一些研究工作在此基础上改进，通过在空间中构建附加平面，并在此平面上播放视频的方式增强真实感(可参见 K.Kim, S.0h, J.Lee, 1.Essa.Augmenting Aerial Earth Maps with DynamicInformation.1EEE international Symposium on Mixed and Augmented Reality, Scienceand Technology Proceedings.19_220ct, 2009,Orlando, Florida, USA.和 Y.Wang, D.Bowman, D.Krum, E.Coelho, T.Smith-Jackson, D.Bailey, S.Peck, S.Anand, T.Kennedy, andY.Abdrazakov.Effects of Video Placement and Spatial Context Presentation onPath Reconstruction Tasks with Contextualized Videos.1EEE Transactions onvisualization and computer graphics, Vol.14，N0.6，November/December2008.),虽然上述方法已经将视频加入了虚拟环境，但是使用环境十分有限，只能贴附于某些大型建筑平面或者平整的地面上，对于稍微复杂的场景情况，例如建筑拐角或者不平整的地面等位置，它们的几何形状无法用平面近似表示，这些平面播放视频的方法便不适用了。另一方面，由于图形学和视觉领域的发展已经有很多成熟的算法，例如基于颜色的匹配，纹理的匹配，特征的匹配(Edge Direction, SIFT, HOG)。但是这些方法的都是应用于二维图像的方法，在三维空间中使用起来有比较大的局限性。而且现阶段与投影机校正有关的算法，多是“投影机一屏幕”系统下对于投影区域梯形校正的算法，如:多投影机图像校正方法和设备，申请号201010500209.6，校正方法限于二维空间中，通过获取个摄像机分别采集的无重叠区域的独立图像信息与独立图像对应的校正参数，根据校正参数对应的摄像机的视频数据进行校正处理，校正只针对重叠或重叠区域较小的图像。基于多投影机旋转屏三维影像可触摸的真三维显示方法，申请号:200810114457.X，通过获得三维立体空间描述获得不同角度的截面图像，使手可直接触摸到立体影像，同时提高了立体图像的对比度，但是该申请主要依靠旋转屏来解决三维图像可触摸的问题，与本工作应用场景不同。以上的专利申请或是现有技术中的特征匹配方法在三维空间投影机的校正上面并无太多参考意义。
技术实现思路
本专利技术的目的在于，用拍摄的真实视频，通过纹理投影的方式，在复杂的地表和建筑物等场景表面进行虚拟场景融合，提高虚拟现实环境中场景动态信息的表达与展示能力，也增强了场景的层次感，并可以通过增加从不同拍摄角度的视频数量，实现大范围虚拟场景的动态视频纹理覆盖效果，从而实现虚拟现实环境与显示场景的虚实融合的动态真实感效果。为了实现技术目的，本专利技术采用如下技术方案:一种，其步骤包括:I)根据预先获得的遥感数据影像建立表面具有静态纹理图像的地表模型以及由多个包含三维几何与纹理的模型构成的虚拟场景；获取多段真实拍摄视频流并记录拍摄时所处摄像机位姿信息；2)根据所述拍摄时所处摄像机位姿信息在所述虚拟场景中加入虚拟投影机模型及与摄影机参数相对应的投影机的视见体，同时根据摄像机位姿信息设定虚拟投影机模型虚拟场景中的初始位姿值；3)对所述真实拍摄视频流的图像进行视频帧预处理得到动态视频纹理，利用投影纹理技术将所述预处理后的视频数据投影到虚拟环境中；4)将所述虚拟环境中模型表面静态纹理和/或地表原有的遥感影像纹理与所述动态视频纹理进行融合，获得场景表面覆盖的最终纹理值；5)根据所述最终纹理值从所述虚拟投影机模型中通过渲染手段获取虚拟投影机作为视点下的影像，并与真实拍摄视频流中对应影像匹配，构造能量函数；6)利用能量函数中最优解对所述虚拟场景中的投影机初始位姿值进行重新设置，完成虚拟投影机校正。 更进一步，所述步骤4)中纹理融合方法如下:I)重置模型视图矩阵和投影矩阵将虚拟视点变换至投影机视点下，绘制所述虚拟场景，获得在当前投影机视点下的深度值(利用Z-BufTer实现深度缓冲)；2)重置模型视图矩阵和投影矩阵将视点变回虚拟视点下，重新绘制所述虚拟场景，获得场景中每个点对应的真实深度值；3)在每个投影机视点下依次绘制虚拟场景，通过自动纹理生成方式获得场景中每个点的投影纹理坐标，并对上述步骤1)、2)获得的所述真实深度值与所述深度值(利用Z-Buffer实现深度缓冲)的比较；4)如果两者相等，采用投影机视频纹理，如果不等，采用场景模型自身纹理，并通过设定纹理组合器函数的方式迭代，直至遍历完场景内所有投影机，获得场景中每个点最终的纹理值。更进一步，所述步骤5)与真实拍摄视频流中对应影像匹配，建立以位姿信息为自变量的能量函数构造方法如下:第一步，重置模型视图矩阵和投影矩阵，将虚拟场景中视点调整至投影机处，绘制场景得到一幅虚拟环境下的影像，利用mean-shift算法对图像进行分割后对图像做二值化处理；第二步，从所述真实拍摄视频流中抽取出一关键帧，使用第一步的方法做二值化处理；第三步，计算投影机形成的视见体区域内轮廓误差，对所述前两步骤获得的影像逐像素做异或处理，统计结果为I的像素数量，该结果为能量函数第一部分；第四步，利用SIFT—致性算子添加局部信息的特征，收集第一、二步所获得未经过二值化处理的影像中的匹配点对，通过关键点约束(Key-point constraint)过程求出匹配点对的误差值，该误差值为能量函数第二部分；第五步，对于能量函数两个部分分配不同的权重；第六步，对于能量函数最优值的求解，第七步，利用最优解替换投影机初始位姿值。更进一步，所述能量函数最优值按照以下方法求解:首先对能量函数施加模拟退火算法，将函数的解空间缩小到最优解近似范围内，再利用downhill simplex算法对近似解空间压缩,获得最优解。更进一步,所述第一、二步利用mean-shift算法对图像进行分割时利用建筑和公路的颜色特征，将非建筑或者公路区域的像素值置为白色，保留建筑模型或者公路对应的区域，然后对图像做二值化处理，将建筑和公路相关区域置为黑色。更进一步，对本文档来自技高网...

【技术保护点】
一种三维虚实融合环境中视频纹理投影的自动匹配校正方法，其步骤包括：1）根据预先获得的遥感数据影像建立表面具有静态纹理图像的地表模型以及虚拟场景；获取多段真实拍摄视频流并记录拍摄时所处摄像机位姿信息；2）根据所述拍摄时所处摄像机位姿信息在所述虚拟场景中加入虚拟投影机模型及与摄像机参数相对应的投影机的视见体，同时根据摄像机位姿信息设定虚拟投影机模型虚拟场景中的初始位姿值；3）对所述真实拍摄视频流的图像进行视频帧预处理得到动态视频纹理，利用投影纹理技术将所述预处理后的视频数据投影到虚拟环境中；4）将所述虚拟环境中地表模型表面静态纹理和/或地表原有的遥感影像纹理与所述动态视频纹理进行融合，获得场景表面覆盖的最终纹理值；5）根据所述最终纹理值从所述虚拟投影机模型中获取虚拟投影机作为视点下的影像，并与真实拍摄视频流中对应影像匹配，构造能量函数；6）利用能量函数中最优解对所述虚拟场景中的投影机初始位姿值进行重新设置，完成虚拟投影机校正。

【技术特征摘要】
1.一种三维虚实融合环境中视频纹理投影的自动匹配校正方法，其步骤包括: 1)根据预先获得的遥感数据影像建立表面具有静态纹理图像的地表模型以及虚拟场景；获取多段真实拍摄视频流并记录拍摄时所处摄像机位姿信息； 2)根据所述拍摄时所处摄像机位姿信息在所述虚拟场景中加入虚拟投影机模型及与摄像机参数相对应的投影机的视见体，同时根据摄像机位姿信息设定虚拟投影机模型虚拟场景中的初始位姿值； 3)对所述真实拍摄视频流的图像进行视频帧预处理得到动态视频纹理，利用投影纹理技术将所述预处理后的视频数据投影到虚拟环境中； 4)将所述虚拟环境中地表模型表面静态纹理和/或地表原有的遥感影像纹理与所述动态视频纹理进行融合，获得场景表面覆盖的最终纹理值； 5)根据所述最终纹理值从所述虚拟投影机模型中获取虚拟投影机作为视点下的影像，并与真实拍摄视频流中对应影像匹配，构造能量函数； 6)利用能量函数中最优解对所述虚拟场景中的投影机初始位姿值进行重新设置，完成虚拟投影机校正。2.如权利要求1所 述的三维虚实融合环境中视频纹理投影的自动匹配校正方法，其特征在于，所述步骤4)中纹理融合方法如下: 1)重置模型视图矩阵和投影矩阵将虚拟视点变换至投影机视点下，绘制所述虚拟场景，获得在当前投影机视点下的深度值； 2)重置模型视图矩阵和投影矩阵将视点变回虚拟视点下，重新绘制所述虚拟场景，获得场景中每个点对应的真实深度值； 3)在每个投影机视点下依次绘制虚拟场景，通过自动纹理生成方式获得场景中每个点的投影纹理坐标，并对上述步骤1)、2)获得的所述真实深度值与所述深度值的比较； 4)如果两者相等，采用投影机视频纹理，如果不等，采用场景模型自身纹理，并通过设定纹理组合器函数的方式迭代，直至遍历完场景内所有投影机，获得场景中每个点最终的纹理值。3.如权利要求1所述的三维虚实融合环境中视频纹理投影的自动匹配校正方法，其特征在于，所述步骤5)与真实拍摄视频流中对应影像匹配，建立以位姿信息为自变量的能量函数构造方法如下: 第一步，重置模型视图矩阵和投影矩阵，将虚拟场景中视点调整至投影机处，绘制场景得到一幅虚拟环境下的影像，利用mean-shift算法对图像进行分割后对图像做二值化处理； 第二步，从所述真实拍摄视频流中抽取出一关键帧，使用第一步的方法做二值化处理； 第三步，计算投影机形成的视见体区域内轮廓误差，对所述前两步骤获得的影像逐像素做异或处理，统计结果为I的像素数量，该结果为能量函数第一部分； 第四步，利用SIFT —致性算子添加局部信息的特征，收集第一、二步所获得未经过二值化处理的影像中的匹配点对，通过关键点约束Key-point constraint过程求出匹配点对的误差值，该误差值为能量函数第二部分； 第五步，对于能量函数两个部分分配不同的权重；第六步，对于能量函数最优值的求解， 第七步，利用最优解替换投影机初始位姿值。4.如权利要求1或3所述的三维虚实融合环境中视频纹理投影的自动匹配校正方法，其特征在于，所述能量函数最优值按照以下方...

【专利技术属性】
技术研发人员：高鑫光，兰江，李胜，汪国平，
申请(专利权)人：北京大学，
类型：发明
国别省市：