描述了用于渲染全息图像的图像处理技术。从相机捕获的图像数据可以被转换为三角形网格。可以通过确定网格中的边缘的位置、法线和边缘距离来处理三角形网格。可以对网格执行网格和边缘平滑，以减少噪声和锯齿状边缘。可以执行附加网格清理和简化以减少顶点和三角形的数量并提高网格的质量。来自所得网格的数据可以被发送到接收设备，其中网格数据用于再现由深度传感器捕获的图像数据的全息图像。由深度传感器捕获的图像数据的全息图像。由深度传感器捕获的图像数据的全息图像。
【技术实现步骤摘要】
【国外来华专利技术】用于虚拟对象呈现的边缘检测和平滑处理
[0001]本说明书一般涉及虚拟或增强现实系统中的图像处理。
技术介绍
[0002]虚拟或增强现实(VAR)系统可用于显示虚拟内容以增强物理现实视图。然而，由VAR显示系统渲染的三维(3D)全息图像可能会因噪声和受损的体积重建而受到低质量影响。
技术实现思路
[0003]本说明书中描述的主题的创新方面涉及使用增强的边缘检测和平滑技术来改进图像的体积重建。
[0004]本说明书中描述的主题的创新方面在一些实现方式中包括包括若干操作的计算机实现的方法。该操作包括从一对相机获得图像数据；根据图像数据确定三角形的网格；执行网格平滑和边缘平滑以去除三角形的网格中的噪声；从网格中去除不满足贡献阈值的一个或多个顶点；在从网格中去除一个或多个顶点之后，在存储器中存储表征网格的网格数据；以及向渲染设备发送网格数据，该渲染设备被配置为基于网格数据来渲染全息图像。
[0005]实现方式可以各自可选地包括以下特征中的一个或多个。例如，在一些实现方式中，计算机实现的方法包括确定三角形的边缘的操作。这可以通过对网格中的每个顶点执行一组操作来完成。该组操作包括确定位于与顶点相距一个顶点的相邻顶点；确定相邻顶点和顶点是否共享公共三角形；当相邻顶点和顶点被至少两个三角形共享时，确定相邻顶点和顶点是网格的内部节点；当相邻顶点和顶点是一个三角形的一部分时，确定相邻顶点和顶点是网格的外部节点。
[0006]在一些实现方式中，计算机实现的方法包括对于每个内部节点确定到网格的边缘的距离。距离是从内部节点到达边缘的跳数。
[0007]在一些实现方式中，执行网格平滑和边缘平滑的操作包括对每个顶点执行一组操作。该组操作包括确定与顶点共享三角形的顶点的平均位置，以及修改顶点的位置，以更接近与顶点共享三角形的顶点的平均位置。
[0008]在一些实现方式中，执行网格平滑和边缘平滑的操作包括识别位于与网格的特定边缘相距确定跳数的顶点；识别共享三角形并位于与特定边缘相距确定跳数的其它顶点；确定其它顶点的平均位置；以及修改顶点的位置，以使得顶点的位置更接近平均位置。
[0009]在一些实现方式中，计算机实现的方法包括确定两个顶点被分开小于阈值距离的距离，并且合并该两个顶点。
[0010]在一些实现方式中，从网格中去除不满足贡献阈值的一个或多个顶点的操作包括识别属于相同的三角形的一对顶点；如果该对顶点被合并，则确定对网格的影响；以及确定对网格的影响小于贡献阈值。
[0011]在一些实现方式中，当该对顶点被合并时确定对网格的影响的操作包括：在该对
顶点被合并之前和之后确定所有相邻三角形之间的角度的变化。
[0012]在一些实现方式中，计算机实现的方法包括：通过去除形成网格中的子网格的一个或多个三角形，在去除一个或多个顶点之前从网格去除一个或多个三角形。
[0013]在一些实现方式中，网格数据包括指示一个或多个图像中的颜色和从一对相机到一个或多个图像中的像素的深度的数据。
[0014]在一些实现方式中，本说明书中描述的主题的方面还包括虚拟或增强现实系统，其包括框架结构、计算设备、存储器和头戴式装置。框架结构包括被配置为获得图像数据的一对深度传感器。计算设备被耦合到框架结构。计算设备被配置为从一对深度传感器获得图像数据；根据图像数据确定三角形的网格；执行网格平滑和边缘平滑以去除三角形的网格中的噪声；以及从网格中去除不满足贡献阈值的一个或多个顶点。存储器被配置为在从网格中去除一个或多个顶点之后存储表征网格的网格数据。头戴式装置被配置为基于网格数据来渲染全息图像。
[0015]在一些实现方式中，本说明书中描述的主题的方面还包括一种包括指令的非暂态计算机可读存储介质，该指令当由一个或多个计算设备执行时使该一个或多个计算设备执行操作。该操作包括从一对相机获得图像数据；根据图像数据确定三角形的网格；执行网格平滑和边缘平滑以去除三角形的网格中的噪声；从网格中去除不满足贡献阈值的一个或多个顶点；在从网格中去除一个或多个顶点之后，在存储器中存储表征网格的网格数据；以及向渲染设备发送网格数据，该渲染设备被配置为基于网格数据来渲染全息图像。
[0016]该方面的其它实现方式包括记录在计算机存储设备上的对应系统、装置和计算机程序，每个都被配置为执行该方法的操作。
[0017]本说明书中描述的主题的一个或多个实现方式的细节在附图和以下描述中阐述。本主题的其它特征、方面和优点将从描述、附图和权利要求中变得显而易见。
附图说明
[0018]图1描绘具有双传感器平台的虚拟或增强现实(VAR)系统的示例。
[0019]图2描绘用于3D全息图像重建的示例方法以及用于在VAR图像中进行边缘检测和平滑的管道中的位置。
[0020]图3描绘可用于生成三角形网格的移动立方体(MarchingCubes)算法的独特情况。
[0021]图4描绘示例三角形网格的一部分。
[0022]图5A、5B、5C和5D描绘边缘平滑的示例。
[0023]图6A和图6B描绘边缘平滑的示例。
[0024]图7A和图7B描绘网格简化的示例。
[0025]不同附图中的相同附图标记和名称表示相同的元件。
具体实施方式
[0026]全息图是沉浸式视觉协作体验的一部分，其允许各种参与者虚拟地彼此交互。用户可以在共享的数字空间中操纵虚拟内容来参与虚拟活动，例如与另一个用户下虚拟象棋，而不是与屏幕交谈。全息技术和VAR系统在多个领域都具有应用，诸如例如电子游戏、在线教育、虚拟协助、共享工作环境、远程呈现和远程协作。
[0027]虽然VAR系统经常使用全息投影向用户显示图像和内容，但VAR系统一直在努力有效地实现用户与全息投影的交互。诸如网络或计算设备无法处理大量图像数据的约束影响了实时流式传输和渲染令人满意的全息投影的能力。
[0028]在足够系统资源可用的一些系统中，全息投影的质量由于较差的全息渲染而仍然很低。例如，由于诸如人的对象的边缘处存在的噪声伪影，全息图像可能会出现波浪状或锯齿状。此类质量问题不仅对用户的观看体验具有负面影响，而且由于对象的边界不明确限定或不可见，因此难以与全息投影进行交互。以下公开描述了用于解决该问题并增强与全息图像和显示器交互的用户体验的系统和方法。
[0029]如下文更详细解释的，可以从深度传感器捕获图像数据并且可以从图像数据生成三角形网格。可以通过确定网格中的边缘的位置、法线和边缘距离来处理三角形网格。使用该信息，可以执行网格和边缘平滑以减少噪声和锯齿状边缘。可以执行附加操作，诸如纹理投影和网格清理(cleanup)和简化以减少顶点和三角形的数量，以提高网格的质量。来自所得网格的数据可以发送到接收设备，其中网格数据用于再现由深度传感器捕获的图像数据的全息图像。
[0030]本公开中描述的边缘检测和网格平滑方法是有利的，因为它可以以非常低的等待时间执行，从而允许实时渲染流式传本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：从一对相机获得图像数据；根据所述图像数据确定三角形的网格；执行网格平滑和边缘平滑以去除所述三角形的网格中的噪声；从所述网格中去除不满足贡献阈值的一个或多个顶点；在从所述网格中去除所述一个或多个顶点之后，在存储器中存储表征所述网格的网格数据；以及向渲染设备发送所述网格数据，所述渲染设备被配置为基于所述网格数据来渲染全息图像。2.根据权利要求1所述的计算机实现的方法，包括通过以下操作来确定所述三角形的边缘：对于所述网格中的每个顶点：确定位于与所述顶点相距一个顶点的相邻顶点；确定所述相邻顶点和所述顶点是否共享公共三角形；当所述相邻顶点和所述顶点被至少两个三角形共享时，确定所述相邻顶点和所述顶点是所述网格的内部节点；以及当所述相邻顶点和所述顶点是一个三角形的一部分时，确定所述相邻顶点和所述顶点是所述网格的外部节点。3.根据权利要求2所述的计算机实现的方法，包括：对于每个内部节点，确定到所述网格的边缘的距离，其中，所述距离是从所述内部节点到达所述边缘的跳数。4.根据权利要求1所述的计算机实现的方法，其中，执行网格平滑和边缘平滑包括：对于每个顶点：确定与所述顶点共享三角形的顶点的平均位置；以及修改所述顶点的位置，以更接近与所述顶点共享三角形的所述顶点的所述平均位置。5.根据权利要求1所述的计算机实现的方法，其中，执行网格平滑和边缘平滑包括：识别位于与所述网格的特定边缘相距确定跳数的顶点；识别共享三角形并位于与所述特定边缘相距所述确定跳数的其它顶点；确定所述其它顶点的平均位置；以及修改所述顶点的位置，以使得所述顶点的所述位置更接近所述平均位置。6.根据权利要求1所述的计算机实现的方法，包括：确定两个顶点被分开小于阈值距离的距离；以及合并所述两个顶点。7.根据权利要求1所述的计算机实现的方法，其中，从所述网格中去除不满足所述贡献阈值的一个或多个顶点包括：识别属于相同的三角形的一对顶点；如果所述一对顶点被合并，则确定对所述网格的影响；以及确定对所述网格的所述影响小于所述贡献阈值。8.根据权利要求7所述的计算机实现的方法，其中，当所述一对顶点被合并时确定对所述网格的所述影响包括：在所述一对顶点被合并之前和之后，确定所有相邻三角形之间的
角度的变化。9.根据权利要求1所述的计算机实现的方法，包括：通过去除形成所述网格中的子网格的一个或多个三角形，在去除所述一个或多个顶点之前从所述网格去除一个或多个三角形。10.根据权利要求1所述的计算机实现的方法，其中，所述网格数据包括指示一个或多个图像中的颜色和从所述一对相机到所述一个或多个图像中的像素的深度的数据。11.一种虚拟或增强现实系统，包括：框架结构，其包括被配置为获得图像数据的一对深度传感器；被耦合到所述框架结构的计算设备，所述计算设备被配置为：从所述一对深度传感器获得图像数据；根据所述图像数据确定三角形的网格；执行网格平滑和边缘平滑以去除所述三角形的网格中的噪声；以及从所述网格中去除不满足贡献阈值的一个或多个顶点；存储器，其被配置为在从所述网格中去除所述一个或多个顶点之后存储表征所述网格的网格数据；以及头戴式装置，其被配置为基于所述网格数据来渲染全息图像。12.根据权利要求11所述的虚拟或增强现实系统，其中，所述计算设备被配置为向一个或多个渲染设备发送所述网格数据，所述一个或多个渲...
【专利技术属性】
技术研发人员：R，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。