三维场景全景画面的感知驱动自适应路径跟踪渲染方法技术

本发明专利技术公开一种三维场景全景画面的感知驱动自适应路径跟踪渲染方法。本方法使用立方图投影模型，用6个针孔虚拟相机拍摄虚拟三维场景来生成虚拟三维场景全景画面，在使用渐进式路径跟踪技术渲染各个针孔虚拟相机拍摄得到的虚拟三维场景画面时，对画面进行分块，并用无参考图像视觉感知质量评估方法来预测各个图像分块的视觉感知质量的主观得分，据此判断是否有必要继续为各个图像分块的像素新增路径样本，从而实现基于人类视觉感知的自适应路径跟踪渲染，去掉那些人类视觉系统无法感知到的画面细节计算冗余，进而提高虚拟三维场景真实感渲染速度。真实感渲染速度。真实感渲染速度。

【技术实现步骤摘要】
三维场景全景画面的感知驱动自适应路径跟踪渲染方法


[0001]本专利技术涉及一种三维场景全景画面的感知驱动自适应路径跟踪渲染方法，属于虚拟三维场景真实感渲染


技术介绍

[0002]近年来，随着虚拟现实与影视行业的不断融合，全景电影开始受到人们的关注。当前的电影中经常包含大量现实生活中不存在的场景，场景画面都用计算机根据虚拟三维场景渲染生成。电影对画面真实感有很高的要求，渲染用于电影制作的虚拟三维场景画面要求计算虚拟三维场景的全局光照结果。电影制作行业目前已经开始广泛使用路径跟踪(Path Tracing)技术来渲染虚拟三维场景画面。例如，P.H.Christensen发表在期刊《Foundations and Trends in Computer Graphics and Vision》的第10卷第2期103～175页的论文“The Path to Path
‑
Traced Movies”就介绍了路径跟踪技术在电影制作中的应用。2014年由Pearson Education出版的《Computer Graphics:Principles and Practice(3rd Edition)》对路径跟踪技术有详细介绍；该书的31.16节的图31.19给出了路径跟踪的路径样本生成示意图，每个路径样本对应从视点到虚拟三维场景中某个点的光线传输路径，光线可能会沿该光线传输路径发生多次散射；注意，尽管图31.19的光线路径是从视点出发的，光照实际上是沿光线路径逆向传输到达视点的。
[0003]在计算机三维图形渲染中，经常使用基于针孔相机模型的虚拟相机来生成虚拟三维场景画面。1989年由Academic Press出版的《An Introduction to Ray Tracing》的第3页的图3给出了计算机三维图形渲染中使用的针孔相机模型，其中的眼睛位置就是视点，图像平面(Image Plane)就是虚拟相机的虚拟像素平面。实际上，虚拟相机的虚拟像素平面上的每个像素的颜色由穿过该像素的所有光线路径对应的光照亮度值决定；在路径跟踪中，每条光线路径对应一个路径样本。《Computer Graphics:Principles and Practice(3rd Edition)》的第31章讲述了如何利用递归方式，计算一个路径样本对应的光线路径的光照亮度值，具体参见31.18.3节；注意，本说明书所述光照亮度指的是书中提到的“radiance”。
[0004]为了渲染生成高品质画面，在用路径跟踪技术渲染虚拟三维场景时，需要为虚拟相机的虚拟像素平面上的每个像素产生大量路径样本，并计算沿每个路径样本对应的光线路径逆向到达像素的光照亮度值。计算大量路径样本对应的光照亮度值往往需要耗费巨大的计算开销。在确保视觉感知质量的前提下，减少渲染每个像素所需的路径样本数以加快总体渲染速度，对提高影视制作效率具有重要意义。Nawel Takouachet等人发表在2007年“23rd Spring Conference on Computer Graphics”会议论文集中的论文《A perceptual stopping condition for global illumination computations》介绍了针对渐进式路径跟踪的路径样本渐进增加停止条件；该条件基于人眼视觉系统的感知局限性，当达到该条件后，继续为像素增加新的路径样本将不会进一步提升渲染结果的感知质量，因此可以停止增加新的路径样本的操作，从而节省不必要的路径样本计算开销。Nawel Takouachet等人使用VDP(Visual Difference Predictor)来计算当前渐进迭代步的渲染结果与参考结
果的感知差异，据此进一步计算是否已经达到停止条件。然而，对于虚拟三维场景渲染应用来说，为VDP产生合适的参考结果并不容易，使得停止条件判断结果的可靠性受影响。为了克服这一技术难题，本专利技术申请公开一种三维场景全景画面的感知驱动自适应路径跟踪渲染方法，其在判断是否达到像素的路径样本渐进增加停止条件时，无需提前获得前述参考结果，从而避免获取合适的参考结果困难的问题。
[0005]全景画面包括水平360
°
+竖直180
°
视场范围内的视觉信息，其可看作是把虚拟三维场景中的水平360
°
+竖直180
°
视场范围内的视觉信息投影到视域球表面上的结果。为了能用传统的平面图来存储全景画面，常使用立方图投影(Cube Map Projection)把球面图像投影到正立方体的6个侧面上，以得到用6张平面图表示的全景画面。发表在《Signal Processing》2018年第146卷66～78页的论文“Recent advances in omnidirectional video coding for virtual reality:Projection and evaluation”对立方图投影进行过介绍。图1给出了立方图投影模型，正立方体ABCDEFGH和球都以点O为中心，线段AB平行于y轴，线段AE平行于z轴，线段AD平行于x轴。在图1中，球的半径为1，正立方体ABCDEFGH的边长为2；图1中的球代表视域球，图1中的正立方体ABCDEFGH代表立方图投影中的正立方体。实际上，基于立方图投影模型获得的全景画面，可等效于用6个传统针孔虚拟相机拍摄三维场景得到的6张图像；如图1所示，可以把正四棱锥OABCD、正四棱锥OABFE、正四棱锥OBCGF、正四棱锥ODCGH、正四棱锥OADHE、正四棱锥OFGHE看成是6个传统针孔虚拟相机各自的视锥体。利用立方图投影，虚拟三维场景的全景画面可看作是用6个针孔虚拟相机拍摄虚拟三维场景得到的结果，各个针孔虚拟相机的视点位置、拍摄方向、视场角大小可由图1所示立方图投影模型确定。很明显，图1中各个针孔虚拟相机的视点在点O处，各个针孔虚拟相机的水平视场角和竖直视场角都为90
°
；正四棱锥OABCD对应的针孔虚拟相机的前向方向(Look方向)为z轴正方向，正四棱锥OABCD对应的针孔虚拟相机的向上方向(Up方向)为y轴正方向；正四棱锥OABFE对应的针孔虚拟相机的前向方向为x轴负方向，正四棱锥OABFE对应的针孔虚拟相机的向上方向为z轴正方向；正四棱锥OBCGF对应的针孔虚拟相机的前向方向为y轴正方向，正四棱锥OBCGF对应的针孔虚拟相机的向上方向为z轴正方向；正四棱锥ODCGH对应的针孔虚拟相机的前向方向为x轴正方向，正四棱锥ODCGH对应的针孔虚拟相机的向上方向为z轴正方向；正四棱锥OADHE对应的针孔虚拟相机的前向方向为y轴负方向，正四棱锥OADHE对应的针孔虚拟相机的向上方向为z轴正方向；正四棱锥OFGHE对应的针孔虚拟相机的前向方向为z轴负方向，正四棱锥OFGHE对应的针孔虚拟相机的向上方向为y轴负方向。
[0006]使用针孔虚拟相机拍摄虚拟三维场景可以获得一幅平面图像，如图2所示。本专利技术申请将平面图像划分成若干个图像分块，每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维场景全景画面的感知驱动自适应路径跟踪渲染方法，其特征在于：使用立方图投影把全景画面表示成6张平面图；依据立方图投影模型，用6个针孔虚拟相机拍摄虚拟三维场景，利用渐进式路径跟踪技术生成所述6张平面图；首先根据立方图投影模型设置6个针孔虚拟相机的拍摄参数；然后针对每一个针孔虚拟相机，利用渐进式路径跟踪技术渲染生成其拍摄到的虚拟三维场景画面；将针孔虚拟相机拍摄到的虚拟三维场景画面划分成m
×
n个图像分块，m和n为大于1的整数；在渐进式路径跟踪的每个迭代步上，判断每个图像分块的视觉感知质量分数是否高于阈值Q
T
，如果是，则停止为图像分块的各个像素新增路径样本；本方法的具体实施步骤如下：步骤Step101：根据立方图投影模型设置第1个针孔虚拟相机、第2个针孔虚拟相机、第3个针孔虚拟相机、第4个针孔虚拟相机、第5个针孔虚拟相机和第6个针孔虚拟相机的拍摄参数；在计算机的存储器中创建6个包含M行、N列的二维数组IMG，二维数组IMG的每个元素存储一个光照亮度值；令6个二维数组IMG的所有元素的初始值为0；M为针孔虚拟相机的虚拟像素平面上的像素行数，N为针孔虚拟相机的虚拟像素平面上的像素列数，二维数组IMG的元素与针孔虚拟相机的虚拟像素平面上的像素一一对应；第1个二维数组IMG用于保存第1个针孔虚拟相机的虚拟像素平面上的像素对应的光照亮度值，第2个二维数组IMG用于保存第2个针孔虚拟相机的虚拟像素平面上的像素对应的光照亮度值，以此类推，第6个二维数组IMG用于保存第6个针孔虚拟相机的虚拟像素平面上的像素对应的光照亮度值；步骤Step102：分别针对i
cam
＝1,2,
…
,6，对第i
cam
个针孔虚拟相机，做如下操作：步骤Step102
‑
1：把第i
cam
个针孔虚拟相机的虚拟像素平面的像素区域分成m
×
n个分块，每个分块是第i
cam
个针孔虚拟相机拍摄到的虚拟三维场景画面的一个图像分块BOIMG；每个图像分块BOIMG对应第i
cam
个二维数组IMG的一个元素分块；为每个图像分块BOIMG关联一个计数器PixTCounter，并把每个图像分块BOIMG关联的计数器PixTCounter初始化为0；步骤Step102
‑
2：分别针对i
blk
＝1,2,
…
,m
×
n，对第i
blk
个图像分块BOIMG，做如下操作：步骤Step102
‑2‑
1：针对第i
blk
个图像分块BOIMG的每个像素Pix，做如下操作：步骤Step102
‑2‑1‑
1：令计数器Counter＝0；步骤Step102
‑2‑1‑
2：在第i
cam
个针孔虚拟相机的虚拟像素平面上被像素Pix覆盖的区域中随机选取1个点PS；步骤Step102
‑2‑1‑
3：从第i
cam
个针孔虚拟相机的视点位置发射穿过点PS的光线Ray，用路径跟踪技术跟踪光线Ray在虚拟三维场景中的传输过程，得到一...

【专利技术属性】
技术研发人员：陈纯毅，杨华民，胡小娟，于海洋，蒋振刚，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：