直接体积渲染设备制造技术

本发明专利技术涉及用于对三维图像数据集进行体积渲染的直接体积渲染设备。针对多条主射线中的每条主射线(10)提供沿主射线的颜色和不透明度，多条主射线遍历三维图像数据集并且在三维图像数据集应当被投影在其上的二维图像平面中与二维图像的相应像素相遇。基于沿各条主射线(10)的不透明度和/或颜色，将每条主射线(10)细分成段I、II、III、IV，其中，针对每个段I、II、III、IV，根据预定光照计算规则计算段光照值。最后基于预定投影规则沿主射线(10)将颜色和段光照值投影到像素上。和段光照值投影到像素上。和段光照值投影到像素上。

【技术实现步骤摘要】
【国外来华专利技术】直接体积渲染设备


[0001]本专利技术涉及用于对三维图像数据集，特别是三维医学图像数据集进行体积渲染的直接体积渲染(DVR)设备、方法以及计算机程序。

技术介绍

[0002]现代计算机图形应用对所使用的硬件和渲染方法在分辨率、帧速率以及图像质量方面提出了高要求。对于大多数应用，每秒25帧(fps)的帧速率是绝对最小值。使用的图像分辨率通常是2K(即2048
×
1080像素)、和2K以上。虚拟现实(VR)和增强现实(AR)应用甚至进一步推动要求。在此，60fps的帧速率和60fps以上的帧速率经常被提到作为创建沉浸式和舒适的用户体验的最小值。此外，由于相应的头戴式耳机的固有的立体渲染，所需的帧速率隐含地加倍。虽然近年来许多头戴式耳机具有相对低的分辨率，但如微软公司的HoloLens 2的下一代头戴式耳机以每只眼睛的原始2K分辨率为特征。因此，必须至少以大约60fps对两个2K图像进行渲染以获得这样的头戴式耳机的舒适的用户体验。同时，由各种行业(如例如游戏、医学或娱乐)的发展的速度的增加推动的关于图像质量和真实性的期望如今非常高。全局照明是生成真实和引人注目的图像的关键技术，但通常还不是实时可行的。实时实现通常依赖于诸如，例如S.Zhukov等人的“An ambient light illumination model(环境光照明模型)”Rendering Techniques'98(渲染技术'98)，第45至55页(1998年)的文章中描述的环境遮挡(AO)的近似或该近似的许多变化，并且可以产生类似的结果，该文章通过引用在此并入。
[0003]高帧速率、高分辨率和高质量的竞争要求也涉及医疗可视化领域。在此，除经典的表面渲染之外，DVR用于基于计算机断层扫描(CT)和磁共振(MR)图像对人体进行观察，并且对于多种医学应用非常重要，例如术前计划。若干研究显示，除了令人愉快的外观，包括重要的视觉线索(诸如阴影)的真实描述提高空间理解和识别解剖结构的能力，例如，如M.S.Langer等人的“Depth discrimination from shading under diffuse lighting(来自漫反射光照下的阴影的深度识别)”，Perception 29(6)，第649至660页(2000)以及F.Lindemann等人的“About the influence of illumination models on image comprehension in direct volume rendering(关于直接体积渲染中照度模型对图像理解的影响)”，IEEE Transactions on Visualization and Computer Graphics(IEEE可视化和计算机图形学汇刊)17(12)，第1922至1931页(2011)所公开的，这些文章在此通过引用并入本文。然而，不是所有允许实时近似全局照度(GI)的方法可以直接应用于DVR。此外，DVR的计算工作量通常比表面渲染高，因为可视化体积中的任何点可能包含有价值的信息，而表面渲染仅处理离散的表面。因此，即使可以被转移至DVR的方法通常也比其表面渲染的方法慢得多。因此，在DVR中GI的交互式计算的所有方法必须依赖一些形式的预计算，并且存储可视化数据集的每个体素的光照值以在交互式渲染期间重复使用。这样的预计算解决方案的局限性在于每当更新传递函数或对体积剪切时需要更新预计算。然而，交互式剪切和转移函数的定义是许多可视化场景的要求。这些标准操作在现有的方法的情况下仅是部分
可能的，并且经常受到较低帧速率的影响。

技术实现思路

[0004]因此，本专利技术的目的是提供用于对具有更高帧速率的三维图像数据集进行体积渲染的DVR设备、方法以及计算机程序。
[0005]在本专利技术的第一方面，提出了用于对三维图像数据集进行体积渲染的DVR设备，其中，DVR设备包括二维图像计算器，该二维图像计算器被配置成通过以下步骤计算要显示给用户的二维图像：
[0006]‑
针对多条主射线中的每一条主射线提供沿主射线的颜色和不透明度，多条主射线遍历三维图像数据集，并且在三维图像数据集应当被投影在其上的二维图像平面中与二维图像的相应像素相遇；
[0007]‑
基于沿各条主射线的不透明度和/或颜色将每条主射线细分成段；
[0008]‑
针对每个段根据预定光照计算规则计算段光照值；
[0009]‑
基于预定投影规则沿主射线将颜色和段光照值投影到像素上。
[0010]因此，仅需要每段计算一个光照值，从而显著减少计算二维图像所需的计算工作量。此外，已发现，通过基于沿各条主射线的不透明度和/或颜色对主射线的细分，可以对主射线进行细分，使得即使每段仅计算一个光照值也实现二维图像的高图像质量。因此，可以在高帧速率的情况下提供高质量体积渲染。特别地，可以在足够高的帧速率，甚至对于AR/VR应用没有任何关于交互式转移函数定义和剪切的限制的情况下提供具有近似的全局照明的高质量体积渲染。
[0011]三维图像数据集也可以被视为体积图像数据集，因为三维图像数据集在三个不同的空间方向延伸。也可以针对不同的时间提供三维图像数据集，其中，在这种情况下，图像数据集也可以被看作四维数据集。
[0012]三维图像数据集包括优选地作为体素的图像元素。二维图像计算器优选地被配置成针对每条主射线通过以下步骤提供沿各条主射线的颜色和不透明度：a)给三维图像数据集的每个图像元素分配颜色和不透明度，以及b)针对每条主射线，基于分配给由主射线遍历的图像元素的颜色和不透明度，计算沿主射线的颜色和不透明度。优选地由转移函数(TF)来定义对图像元素的颜色和不透明度的分配。此外，优选地，DVR设备包括输入接收单元，该输入接收单元被配置成允许用户修改TF，其中，二维图像计算器被配置成响应TF的修改而更新二维图像的像素。因此，在TF被修改的情况下，响应于TF的修改重复以下步骤：基于可能修改的不透明度和/或颜色将每条主射线细分成段，针对每个段根据预定光照计算规则计算段光照值，以及基于预定投影规则沿主射线将颜色和段光照值投影到像素上。这允许用户修改TF，并且然后监测DVR可视化如何改变，特别是如何实时改变。
[0013]在实施方式中，分配给图像元素的不透明度和沿主射线计算的不透明度由阿尔法值表示，其中，阿尔法值指对颜色模型(例如，RGB颜色模型，并且从而形成例如RGBA颜色模型)进行补充的阿尔法通道。
[0014]此外，二维图像计算器可以被配置成计算三维图像数据集的一部分的二维图像，其中，该部分由至少一个剪切平面，特别地由一组剪切平面定义，其中，直接体积渲染设备包括输入接收单元，该输入接收单元被配置成允许用户修改至少一个剪切平面，特别是至
少一个剪切平面的位置和取向，其中，二维图像计算器被配置成响应于至少一个剪切平面的修改来更新二维图像的像素。因此，二维图像计算器可以被配置成计算二维图像使得其仅表示三维图像数据集的一部本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对三维图像数据集进行体积渲染的直接体积渲染设备，其中，所述直接体积渲染设备(1)包括二维图像计算器(2)，所述二维图像计算器(2)被配置成通过以下步骤计算要显示给用户的二维图像：
‑
针对多条主射线中的每一条主射线提供沿所述主射线的颜色和不透明度，所述多条主射线遍历所述三维图像数据集并且在所述三维图像数据集应当被投影在其上的二维图像平面中与二维图像的相应像素相遇；
‑
基于沿各条主射线的不透明度和/或颜色将每条主射线细分成段；
‑
针对每个段根据预定光照计算规则计算段光照值；
‑
基于预定投影规则沿所述主射线将所述颜色和所述段光照值投影到像素上。2.根据权利要求1所述的直接体积渲染设备，其中，所述三维图像数据集包括图像元素，其中，所述二维图像计算器(2)被配置成针对每条主射线通过以下步骤提供沿各条主射线的颜色和不透明度：
‑
给所述三维图像数据集的每个图像元素分配颜色和不透明度；以及
‑
针对每条主射线，基于分配给由所述主射线遍历的图像元素的颜色和不透明度，计算沿所述主射线的颜色和不透明度。3.根据前述权利要求中的任一项所述的直接体积渲染设备，其中，所述二维图像计算器(2)被配置成通过定义段边界将每条主射线细分成段，其中，所述段边界由沿主射线的在其处所述不透明度和/或颜色的函数超过预定义阈值的位置来定义。4.根据权利要求3所述的直接体积渲染设备，其中，所述不透明度的函数是从由以下函数组成的组中选择的函数：直接应用于所述不透明度和/或颜色以及/或者应用于累积的不透明度的恒等函数、线性函数、积分函数以及导数函数。5.根据权利要求3和4中任一项所述的直接体积渲染设备，其中，所述二维图像计算器(2)被配置成提供若干阈值，其中，所述段边界由沿主射线的在其处所述不透明度和/或颜色的函数超过所提供的若干阈值中的预定义阈值的位置来定义。6.根据权利要求5所述的直接体积渲染设备，其中，所提供的相邻的阈值之间的差异是恒定的。7.根据权利要求5和6中任一项所述的直接体积渲染设备，其中，所述二维图像计算器(2)被配置成根据预定义的线性阈值函数或指数阈值函数提供所述若干阈值。8.根据前述权利要求中的任一项所述的直接体积渲染设备，其中，所述二维图像计算器(2)被配置成针对每个段通过以下步骤计算段光照值：
‑
定义各个段内的光照值确定位置；
‑
针对各个光照值确定位置，根据所述预定光照计算规则计算各个段光照值。9.根据权利要求8所述的直接体积渲染设备，其中，所述二维图像计算器(2)被配置成定义各个段内的光照值确定位置，使得光照值确定位置在各个段的四分之一内，所述光照值确定位置被布置在所述主射线从像素位置向体积追踪的每个段的末端处。10.根据权利要求8和9中的任一项所述的直接体积渲染设备，其中，所述预定光...

【专利技术属性】
技术研发人员：克里斯蒂安，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：