一种结合环境映射和全局光照渲染的单镜头混合现实实现方法技术

本发明专利技术公开了一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，包括对虚拟物体进行定位，并生成现实场景模型；对现实场景模型和虚拟物体进行体素化及过滤；环境贴图生成，将现实场景图像采用均匀分配方式切分，再进行翻转映射为环境贴图；锥追踪渲染，采用加入环境映射的锥追踪方式渲染输出成为合成图像。本发明专利技术能够利用GPU的强大图形计算能力，增强一般的混合现实系统的输出效果，能够在单镜头的条件下模拟光亮物体对周围环境的反映效果。

【技术实现步骤摘要】
一种结合环境映射和全局光照渲染的单镜头混合现实实现方法
本专利技术涉及混合现实实现方法，特别是涉及一种结合环境映射和全局光照渲染的单镜头混合现实实现方法。
技术介绍
现今计算机在各个行业中都有着十分重要的作用，而人机交互接口的友好性便是一个很重要的课题。一个差的人机接口会很大程度上阻碍应用的被接受程度，即使这个应用有着很强的功能。随着发展，人机接口从命令行、到图形界面、再到多媒体界面，近几年则兴起了虚拟现实。混合现实(MixedReality,MR)则是表达虚拟和现实相融合的概念。MR综合了计算机图形、融合显示、多传感器等多门学科，对该技术的需求也在不断增长，很多行业都出现了对它的应用。目前国内外关于混合现实还存在着有待解决的问题：(1)具有真实感的混合现实效果需要达到光照一致性的要求，但是这一点仍有着许多难题，比如整体的环境光照信息无法通过普通单一摄像头获取，高质量光照渲染计算量要求大等。(2)学术界提出了许多提高光照一致性的算法，但是这些算法往往复杂度比较高，运行比较耗时，很难应用到实时性要求高的场合，而且许多算法采用增添额外镜头或放置标志物的方式，通用性较低。(3)学术界对混合现实的渲染方面基本采用原始的局部光照，渲染结果较为粗糙。而且全局光照技术较少能够达到实时效果，随着技术发展也出现了几种实时的全局光照技术，但是加上混合现实系统本身的计算需要，要能够达到实时性的要求也是待解决的问题。
技术实现思路
专利技术目的：针对现有技术的不足，提供一种结合环境映射和全局光照渲染的单镜头混合现实实现方法。技术方案：本专利技术提供了一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，相对于一般混合现实实现方法，利用体素锥追踪全局光照技术模拟出虚拟物体和真实背景光线交互效果，利用环境映射增强光亮物体对真实环境的反映效果。包括以下步骤：(1)对相机图像还原生成现实场景模型，然后对虚拟物体进行定位本专利技术对虚拟物体的定位采用还原现实场景模型从而放置虚拟物体的方法，从相机获取现实场景图像，估计现实场景中的平面，对平面进行平滑过滤，生成现实场景模型，将虚拟物体放置在平面中心；(2)体素化及过滤对步骤(1)中的现实场景模型和虚拟物体进行体素锥追踪准备操作，即创建包含delta体的层次体素结构，并对层次体素结构中的体素进行过滤；将预先建立好的现实场景模型和虚拟物体进行体素化，在体素中存入从预先配置好的光源发出的辐射，将现实场景模型的几何特征在体素中作出近似表示，体素使用稀疏八叉树结构进行管理，该结构不存储那些没有被占用的体素从而节约存储空间。体素存储在显存中，避免将数据从内存传到GPU而导致的性能瓶颈。现实场景模型体素化之后进行过滤，将八叉树中存入的最底层体素自底向上逐层过滤，填满整个稀疏八叉树内的体素，对应后续的锥追踪渲染采样过程。渲染混合现实场景时需要考虑到虚拟物体给现实场景模型带来的光照上的影响，因此会有三个由体素表示的辐射场，一个是在没有引入虚拟物体时的现实场景模型的辐射场，另一个是引入了虚拟物体时的辐射场，最后一个是从前两者中提取出的校正性的差值的辐射场即delta体，用来在后续的步骤中辅助现实场景模型在包含虚拟物体时的光照渲染。(3)环境贴图生成，将现实场景图像采用均匀分配方式切分，再进行翻转映射为环境贴图；对仅存在单镜头的条件下，将摄像机获取的图像进行一定规则的切分，对应环境贴图的各部分进行形变，由于单镜头视野有限，无法获取到虚拟物体位置上完整的周围图像，拍不到的不足的部分通过翻转映射的方式来补充，从而生成完整的环境贴图，达到一种可以接受的近似整体环境映射的效果。(4)锥追踪渲染利用步骤(1)-步骤(3)得到的数据，采用加入环境映射的锥追踪方式渲染输出成为合成图像。对于现实场景模型表面上的每个点，利用生成好的体素结构用锥追踪获取体素内的光照和几何等数据，从而模拟间接光照的效果。对于光照的高光反射部分向视线在表面的反射方向射出一个较窄的锥，对于漫反射部分向表面反射半球各方向均匀射出多个较宽的锥，以覆盖整个半球范围。而获取环境映射就基于锥追踪的方式，从各个锥中心射出射线采样之前生成好的环境贴图，利用锥追踪获取的遮蔽值对返回颜色加权处理，解决遮蔽的问题。直接采用射线方式采样环境贴图会导致和锥范围的不一致问题，于是采用mipmap技术将环境贴图生成多级纹理，结合采样锥孔径大小对环境映射采样进行层级选择，达到近似用锥对环境贴图进行范围采样的效果。现实场景模型和虚拟物体进行区分渲染，现实场景模型表面从delta体中用锥追踪获取间接光照，虚拟物体则直接从重构的体素中获取光照，从而达到现实场景模型能够在原始背景图像的基础上渲染引入虚拟物体所产生的反射和倒影效果。进一步的，所述步骤(1)具体为：通过采样或者生成的深度信息，将现实场景图像中的像素还原成点云，再对点云进行法线估计，生成各个点的法线；然后计算每个点的K近邻，通过它们的法线方向检查它们是否属于同一个平面，从而估计出大概属于平面区域的点；最后提取出平面上的点，先估计出最可能的平面，将点向平面方向移动，再连接这些点还原出平面的网格模型，并将该网格模型作为现实场景模型；其中，深度信息代表像素点相对相机距离。进一步的，所述步骤(2)具体为：现实场景模型和虚拟物体首先被体素化成存储表面法线的体Vη，而delta体VΔ用切分注入方法初始化；光源生成两个反射阴影贴图RSM，一个是来自现实场景模型的RSM，用Rρ表示，另一个则是在现实场景模型中增加了一个虚拟物体的RSM，用Rμ表示；其中，切分注入方法就是对每个RSM像素首先判断是属于现实场景模型还是属于虚拟物体，属于现实场景模型的像素保持不变，属于虚拟物体的像素就将从不包含虚拟物体的Rρ中创建的虚拟点光源VPL和包含虚拟物体的Rμ中的负虚拟点光源VPL存入对应位置的体素；得到两个体Vρ和Vμ中体素的差值为VΔ＝Vρ-Vμ，其中Vρ存储由Rρ生成的VPL，Vμ存储由Rμ生成的VPL，VΔ为delta体；前面体素化的值都是存储在最底层的层次体素结构中，而层次体素结构中上层的体素就需要从底层体素过滤填充而得；对于n层的八叉树需要进行n-1步过滤填充，每步中平均上一层的子节点中的值存到当前层中。进一步的，所述步骤(3)中光照数据采用格式为RGBA16的立方贴图来存储，环境贴图生成步骤为：(31)对于+x、-x方向的面，将划分后的图像的左右两侧区域映射到面上；(32)对于+y、-y方向的面，将划分后的图像的上下两侧区域映射到面上；(33)对于-z方向的面，将图像中心区域映射；(34)对于+z方向的面，将图像中心区域翻转映射。进一步的，所述步骤(4)具体为：对于虚拟物体表面上的每个点，利用生成的层次体素结构用锥追踪获取体素内的光照和几何数据，从而模拟间接光照的效果；对于光照的高光反射部分向视线在虚拟物体表面的反射方向射出一个较窄的锥，对于漫反射部分向表面反射半球各方向均匀射出多个较宽的锥，以覆盖整个半球范围；而获取环境映射就基于锥追踪的方式，从各个锥中心射出射线采样之前生成好的环境贴图，利用锥追踪获取的遮蔽值对返回颜色加权处理；采用mipmap技术将环境贴图生成多级纹理，结合采样锥孔径大小对环境映射采样进行层级选择，达到近似用锥对环境贴图进行本文档来自技高网...

【技术保护点】
1.一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，其特征在于，包括以下步骤：(1)对相机图像还原生成现实场景模型，然后对虚拟物体进行定位本专利技术对虚拟物体的定位采用还原现实场景模型从而放置虚拟物体的方法，从相机获取现实场景图像，估计现实场景中的平面，对平面进行平滑过滤，生成现实场景模型，将虚拟物体放置在平面中心；(2)体素化及过滤对步骤(1)中的现实场景模型和虚拟物体进行体素锥追踪准备操作，即创建包含delta体的层次体素结构，并对层次体素结构中的体素进行过滤；(3)环境贴图生成，将现实场景图像采用均匀分配方式切分，再进行翻转映射为环境贴图；(4)锥追踪渲染利用步骤(1)‑步骤(3)得到的数据，采用加入环境映射的锥追踪方式渲染输出成为合成图像。

【技术特征摘要】
1.一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，其特征在于，包括以下步骤：(1)对相机图像还原生成现实场景模型，然后对虚拟物体进行定位本发明对虚拟物体的定位采用还原现实场景模型从而放置虚拟物体的方法，从相机获取现实场景图像，估计现实场景中的平面，对平面进行平滑过滤，生成现实场景模型，将虚拟物体放置在平面中心；(2)体素化及过滤对步骤(1)中的现实场景模型和虚拟物体进行体素锥追踪准备操作，即创建包含delta体的层次体素结构，并对层次体素结构中的体素进行过滤；(3)环境贴图生成，将现实场景图像采用均匀分配方式切分，再进行翻转映射为环境贴图；(4)锥追踪渲染利用步骤(1)-步骤(3)得到的数据，采用加入环境映射的锥追踪方式渲染输出成为合成图像。2.根据权利要求1所述的一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，其特征在于，所述步骤(1)具体为：通过采样或者生成的深度信息，将现实场景图像中的像素还原成点云，再对点云进行法线估计，生成各个点的法线；然后计算每个点的K近邻，通过它们的法线方向检查它们是否属于同一个平面，从而估计出大概属于平面区域的点；最后提取出平面上的点，先估计出最可能的平面，将点向平面方向移动，再连接这些点还原出平面的网格模型，并将该网格模型作为现实场景模型；其中，深度信息代表像素点相对相机距离。3.根据权利要求1所述的一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，其特征在于，所述步骤(2)具体为：现实场景模型和虚拟物体首先被体素化成存储表面法线的体Vη，而delta体VΔ用切分注入方法初始化；光源生成两个反射阴影贴图RSM，一个是来自现实场景模型的RSM，用Rρ表示，另一个则是在现实场景模型中增加了一个虚拟物体的RSM，用Rμ表示；其中，切分注入方法就是对每个RSM像素首先判断是属于现实场景模型还是属于虚拟物体，属于现实场景模型的像素保持不变，属于虚拟物体的像素就将从不包含虚拟物体的Rρ中创建的虚拟点光源VPL和包含虚拟物体的Rμ中的负虚拟点光源VPL存入对应位置的体素；得到两个体Vρ和Vμ中体素的差值为VΔ＝Vρ-Vμ，其中Vρ存储由Rρ生成的VPL，Vμ存储由Rμ生成的VPL，VΔ为delta体；前面体素化的值都是存储在最底层的层次体素结构中，而层次体素结构中上层的体素就需要从底层体素过滤填充而得；对于n层的八叉树需要进行n-1步过滤填充，每步中平均上一层的子节点中的值存到当前层中。4.根据权利要求1所述的一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，其特征在于，所述步骤(3)中光照数据采用格式为RGBA16的立方贴图来存储，环境贴图生成步骤为：(31)对于+x、-x方向的面，将划分后的图像的左右两侧区域映射到面上；(32)对于+y、-y方向的面，将划分后的...

【专利技术属性】
技术研发人员：姚莉，陶成之，吴含前，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32