用于在虚拟现实或增强现实环境中渲染复杂数据的系统和方法技术方案

提供了一种用于3D对象的虚拟现实和增强现实渲染的方法。方法可包括分割3D对象使得3D对象的部分能够是可识别的和可区分的。方法可包括创建掩模、识别掩模之间的关系并相应地标记掩模。

System and Method for Rendering Complex Data in Virtual Reality or Augmented Reality Environment

【技术实现步骤摘要】
【国外来华专利技术】用于在虚拟现实或增强现实环境中渲染复杂数据的系统和方法
本专利技术总体涉及将成像数据渲染成在虚拟现实或增强现实中可以查看的格式。更具体地，本专利技术涉及在虚拟现实或增强现实中渲染三维(3D)对象。
技术介绍
目前存在虚拟现实或增强现实系统并且其通常包括在一个或多个二维(2D)屏幕上显示计算机生成的3D对象的模拟。基于3D对象创建2D图像可能需要大量的计算资源。已知的系统和方法通常遭受差的性能。例如，因为确定2D帧中的像素的值可能需要(3D对象的)许多样本和计算，所以一些已知的系统和方法可能无法提供足够的分辨率。另外，当需要诸如缩放或旋转的操作时，已知的系统和方法经历延迟。另外，使具有一个或多个有重叠的拓扑(例如，彼此相切)的部分的3D对象可视化可能是复杂的任务，尤其是在虚拟现实(“VR”)和/或增强现实(“AR”)中。例如，3D对象通常使用网格来显示。基于具有重叠部分(例如，相互拓扑)的3D对象创建的网格通常导致重叠部分彼此难以区分。例如，当相切和分离的3D对象具有相互拓扑的网格时，当前系统通常会创建相交的网格。然而，相切和分离的3D对象的网格通常不应相交，因为例如，它通常不允许准确表示3D对象是分离的事实。由于例如AR/VR技术中的立体视觉，因此相交的网格能够被用户检测。已知的系统和方法可能无法从对于AR/VR技术中的可视化可以是准确的不同的3D对象充分地创建网格(或一组网格)。
技术实现思路
本专利技术的一个优势是其可以以允许观看者区分对象的方式提供复杂解剖(例如，具有重叠对象的解剖)的AR/VR可视化。本专利技术的另一个优势是由于例如3D对象的准确表示，本专利技术可以向3D对象的用户提供较清晰的理解。因此，在本专利技术的一方面，一种用于从成像数据创建对象的三维(3D)虚拟现实或增强现实渲染的方法和一种包含用于使计算机执行该方法的程序指令的非暂时性计算机可读介质。根据本专利技术的实施方式，确定了基于成像数据的对象类型，创建了基于对象类型的一组掩模。每个掩模可以表示对象的唯一部分，并且可以被分配来自成像数据的与相应的掩模的唯一部分对应的多个体素和唯一视觉标记。可以确定该组掩模的外掩模，并且可以根据外掩模创建3D网格。针对外掩模的3D网格的内壁中的每个顶点，确定除了外掩模之外的每个掩模中的每个体素至相应的当前体素的测地距离，并且可以修改当前顶点的相应视觉标记以具有与至顶点的测地距离最短的体素相同的视觉标记。可以基于外掩模和所有掩模的相应的唯一视觉标记创建对象的3D虚拟现实或增强现实渲染。在一些实施方式中，对于多个体素中的没有分配至掩模的每个体素，可以从该组掩模确定具有在至当前体素的最近距离内的体素的一个掩模，并且可以将与该一个掩模的唯一视觉标记相同的视觉标记分配至当前体素。唯一视觉标记可以是颜色标记、图案、或其任何组合。在一些实施方式中，通过应用具有预定阈值的箱式滤波器可以修改外掩模。在某些实施方式中，外掩模的确定可基于用户输入、对象类型、或其任何组合。附图说明以下参考段落后面列出的附至本文的图描述本公开的实施方式的非限制性示例。出现在多个图中的相同特征通常在它们出现的所有图中用相同的标号标注。标注表示图中的本公开的实施方式的给定特征的图标的标号可以用于参考给定特征。图中所示的特征的尺寸出于方便和清楚呈现而选择，并且不一定按比例示出。在说明书的总结部分中特别指出并明确要求保护被认为是本专利技术的主题。然而，通过参考以下具体实施方式并结合附图阅读可更好地理解本专利技术(关于组织和操作方法，以及其目的、特征和优点)。本专利技术的实施方式通过示例的方式而非限制的方式在附图的各图中示出,并且在附图中,用相同的附图标记表示对应的、模拟的或类似元件，其中：图1示出了根据本专利技术的一些实施方式的示例性计算设备的高级框图；图2A示出了根据本专利技术的一些实施方式的方法的流程图；以及图2B示出根据本专利技术的示例性实施方式的具有内壁和外壁的心脏网格的截面的示例。要理解的是，为了说明的简单和清晰的目的，在图中显示的元件不必精确地或按照比例绘制。例如，为了清楚起见，一些元件的尺寸可以相对于其他元件放大，或若干物理部件可以包括在一个功能块或元件中。进一步地，在认为适当的情况下，可在附图中重复参考标号以指示对应的或类似的元件。具体实施方式在下面的详细描述中，阐述了许多具体细节以提供对本专利技术的透彻理解。然而，本领域技术人员将理解，可在没有这些具体细节的情况下实践本专利技术。在其他情况下，没有详细描述公知的方法、流程、及部件、模块、单元和/或电路，以免使本专利技术晦涩难懂。相对于一个实施方式描述的一些特征或元件可以结合相对于其他实施方式描述的特征或元件。为了清楚起见，可能不重复讨论相同的或类似的特征或元件。虽然本专利技术的实施方式在此方面不受限制，但是利用诸如“处理”、“计算”、“核算”、“确定”、“建立”、“分析”、“检查”等术语的论述可指计算机、计算平台、计算系统、或其他电子计算设备的操作和/或处理，该操作和/或处理操纵和/或转换表示为计算机的寄存器和/或存储器内的物理(例如，电子)量的数据为类似地表示为计算机的寄存器和/或存储器内的物理量或可存储指令以执行操作和/或处理的其他信息非暂时性存储介质的其他数据。虽然本专利技术的实施方式在这方面不受限制，但是本文使用的术语“多个”和“多数个”可包括例如“多个”或“两个或更多个”。在整个说明书中可使用术语“多个”或“多数个”来描述两个或更多个部件、设备、元件、单元、参数等。术语组在本文中使用时可包括一项或多项。除非另有明确说明，本文描述的方法实施方式不限于特定的顺序或序列。另外，所描述的方法实施方式或其元件中的一些可同时、在同一时间点或并发地发生或被进行。参考图1，示出了根据本专利技术的一些实施方式的示例性计算设备(或系统)的高级框图。计算设备100可包括控制器105、操作系统115、存储器120、可执行码125、存储系统130、输入设备135和输出设备140，其中，例如，控制器105可以是中央处理单元处理器(CPU)、芯片或任何合适的计算或计算的设备。控制器105(或一个或多个控制器或处理器，可跨多个单元或设备)可以被配置为实施在此描述的方法，和/或执行或充当各种模块、单元等。根据本专利技术的示例性实施方式的系统的部件包括多于一个计算设备100，并且一个或多个计算设备100可以是、或充当根据本专利技术的示例性实施方式的系统的部件。例如，第一计算设备100可实施3D模型创建的方法并且第二计算设备100可实施在显示器上渲染模型的方法。操作系统115可以是或可包括任何代码段(例如，与在此描述的可执行码125相似的一种)，设计和/或被配置为执行涉及协作、调度、仲裁、监督、控制或以其他方式管理计算设备100的操作的任务，例如，调度软件程序或可执行码段的执行，或使软件程序或其他模块或单元能够通信。操作系统115可以是商用操作系统。存储器120可以是或可包括，例如，随机存取存储器(RAM)、只读存储器(ROM)、动态RAM(DRAM)、同步DRAM(SD-RAM)、双倍数据速率(DDR)存储芯片、闪存、易失存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储器单元、长期存储器单元、或其他合适的存储器单元或存储单元。存储器120可以是或可包括多个可能不同的存储本文档来自技高网...

【技术保护点】
1.一种用于从三维(3D)对象创建对象的3D虚拟现实或增强现实渲染的方法，所述方法包括：接收一组掩模，所述一组掩模包括外掩模，并且每个掩模包括唯一视觉标记；从所述外掩模创建3D网格；针对所述外掩模的所述3D网格的内壁中的每个顶点：a)确定除了所述外掩模之外的每个掩模中的每个体素至相应的当前体素的测地距离，并且b)修改当前顶点的相应的视觉标记以具有与至所述顶点的测地距离最短的体素相同的视觉标记；并且基于所述外掩模和所有掩模的相应的唯一视觉标记创建所述对象的所述3D虚拟现实或增强现实渲染。

【技术特征摘要】
【国外来华专利技术】2016.11.23 US 15/360,3301.一种用于从三维(3D)对象创建对象的3D虚拟现实或增强现实渲染的方法，所述方法包括：接收一组掩模，所述一组掩模包括外掩模，并且每个掩模包括唯一视觉标记；从所述外掩模创建3D网格；针对所述外掩模的所述3D网格的内壁中的每个顶点：a)确定除了所述外掩模之外的每个掩模中的每个体素至相应的当前体素的测地距离，并且b)修改当前顶点的相应的视觉标记以具有与至所述顶点的测地距离最短的体素相同的视觉标记；并且基于所述外掩模和所有掩模的相应的唯一视觉标记创建所述对象的所述3D虚拟现实或增强现实渲染。2.根据权利要求1所述的方法，其中，所述一组掩模基于：基于所述3D对象确定对象类型；基于所述对象类型创建一组掩模，每个掩模表示所述对象的唯一部分；为所述一组掩模中的每个掩模分配：i)来自所述3D对象的与相应的掩模的唯一部分对应的多个体素，以及ii)所述唯一视觉标记；并且确定所述一组掩模的外掩模。3.根据权利要求1所述的方法，进一步包括针对多个所述体素中的未分配至掩模的每个体素：a)从所述一组掩模确定具有在至所述当前体素的最近距离内的体素的一个掩模，并且b)将与所述一个掩模的所述唯一视觉标记相同的视觉标记分配至所述当前体素。4.根据权利要求1所述的方法，进一步包括通过应用具有预定阈值的箱式滤波器修改所述外掩模。5.根据权利要求1所述的方法，其中，基于用户输入、对象类型、或其任何组合来确定所述外掩模。6.根据权利要求1所述的方法，其中，所述唯一视觉标记是颜色标记、图案、或其任何组合。7.根据权利要求1所述的方法，进一步包括通过虚拟现实或增强现实设备或增强现实设备显示所述3D虚拟现实或增强现实...

【专利技术属性】
技术研发人员：亚龙·瓦克斯曼，尼夫·菲舍尔，罗伊·波拉特，奥伦·考利斯曼，
申请(专利权)人：三D系统有限公司，
类型：发明
国别省市：美国,US