针对三维图像的三角形网格的生成制造技术

一种装置被布置为生成用于三维图像的三角形网格。该装置包括提供深度图的深度图源(101)和根据所述深度图生成k‑D树的树生成器(105)。k‑D树表示深度图区域的分级布置，该分级布置满足针对未划分区域的深度变化度量低于阈值的要求。三角形网格生成器(107)在k‑D树的每个区域内定位内部顶点。然后通过将所述三角形网格的三角形的边形成为相邻区域的内部顶点之间的线来生成三角形网格。该方法可以生成适合很多3D视频处理算法的改进的三角形网格。

The generation of triangular mesh for 3D images

A device is arranged to generate triangular meshes for three-dimensional images. The device includes a depth map source (101) that provides depth maps and a tree generator (105) for generating the K D tree according to the depth map. The K D tree represents the hierarchical layout of the depth map area, which satisfies the requirement that the depth change measure for the undivided area is below the threshold. Triangle mesh generators (107) locate the inner vertices in each region of the K D tree. Then the triangle mesh is generated by dividing the triangle edges of the triangular mesh into the lines between the inner vertices of the adjacent regions. This method can generate an improved triangular mesh suitable for many 3D video processing algorithms.

【技术实现步骤摘要】
【国外来华专利技术】针对三维图像的三角形网格的生成
本专利技术涉及针对三维图像的三角形网格的生成，更具体而言，但不排他地涉及针对由二维图像和深度图表示的三维图像的三角形网格的生成。
技术介绍
三维(3D)显示通过为观看者的双眼提供被观看场景的不同视图，向观看体验增加了第三个维度。这可以通过让用户佩戴眼镜以分离显示的两个视图来实现。然而，由于用户可能会认为这样不方便，因此在很多场景中优选使用自动立体显示，其在显示器处使用设备(例如双凸透镜或屏蔽)以分离视图，并在不同方向上发射它们，在这些方向上它们可以逐个到达用户的眼睛。对于立体显示而言，需要两个视图，而自动立体显示典型地需要更多视图(例如，九个视图)。为了实施3D功能，重要的是可以采用三维信息的有效表示和处理。一种被广泛使用的方法是由能够通过适当算法处理和操控的三维对象表示三维信息。在很多场景中特别有效的方法是由多边形网格表示图像对象，在网格中通过其公共边或角连接一组多边形，该边或角是由三维位置给出的。因此，组合的三维多边形网格提供了三维对象的有效模型，可能包括整个图像的三维描述。多边形网格通常是由具有在3D空间中给出的公共角的三角形形成的三角形网格。在这样的表示中，多边形网格用于提供对象的三维几何形状的信息，而纹理通常被提供为独立的数据结构。具体而言，纹理常常被提供为独立的二维图，其能够通过处理算法被叠加在三维几何形状上。使用三角形网格尤其适于通过计算机图形算法处理和操控，并且很多有效软件和硬件方案已经被开发出来并在市场上可获得。在很多系统中，基本的计算效率是通过算法处理公用于多个多边形的个体顶点而非独立处理每个多边形来实现的。例如，对于典型的三角形网格而言，个体顶点常常是几个(常常为3-8个)三角形公共的。因此单个顶点的处理可以适用于较高数量的三角形，由此显著减少了图像或其他对象中被处理点的数量。作为具体示例，很多当前的片上系统(SoC)包含图形处理单元(GPU)，其为处理3D图形进行了高度优化。例如，3D对象几何形状和3D对象纹理的处理是在所谓的OpenGL绘制管线(或在诸如DirectX的很多其他API)中使用两条大致分离的路径进行的。SoC上的GPU的硬件可以高效率地处理3D图形，只要以(典型为三角形的)顶点和纹理的形式向GPU呈现3D源即可。OpenGL应用接口然后允许设置和控制虚拟透视相机，该相机确定如何将3D对象表示为如同投射在2D屏幕上那样。尽管OpenGL使用3D对象作为输入，但输出典型为标称2D显示器上的2D图像。然而，尽管这样的方法在很多场景中很吸引人，但其需要由多边形网格和关联的纹理信息提供三维信息。然而，在很多应用中，可以通过不同格式，例如图像和深度图提供三维图像数据。实际上，广泛使用的3D格式是具有深度图的视频，深度图典型地是在后期制作中产生，根据立体视频估计，或使用深度相机捕获的。另一种常常使用的3D格式是使用对应于左右眼视图的立体图像。这样常用的格式不包含由多边形和纹理表示的静态对象。对于这样的应用，因此希望进行变换，将视频加深度(或立体图像)格式变换成由多边形网格和纹理图像构成的格式，这种格式会直接适合使用例如openGL算法回放。然而，这样的变换远远不是微不足道，而是带来了大量复杂的问题和挑战。具体而言，为了将具有深度图的图像(或立体图像)变换成(由多边形网格表示的)几何形状和纹理，必须要将深度图变换成一组具有顶点的多边形，其中每个顶点都具有x、y和z坐标。此外，该变换典型地能够确定所谓的u,v-纹理坐标，其指定每个顶点映射到视频纹理上的哪里。例如，能够使用投影矩阵从(x,y)参数导出这些(u,v)参数，或者反之亦然。已知有不同的方式用于执行这种多边形图的变换。在很多应用中，该变换的优选性质包括：-多边形应当形成这样的网格，其中每个u,v-纹理坐标映射到3D多边形网格上的唯一位置。-该网格应当连续而没有任何孔。-多边形应当精确地对深度图建模。-多边形的数量应当很小，以限制GPU的负荷；-用于从深度图提取多边形的算法应当是低复杂度的；-优选地，可以在客户端或在服务器端进行变换。然而，用于从图像生成多边形网格的已知算法往往并非最优，而是有着缺陷。因此，用于为三维图像生成三角形网格的改进方法将是有利的，尤其是允许提高灵活性、提高精确度、实现更一致和/或连续的三角形网格、降低复杂度、改善计算效率、适合后续图形处理的表示、提高与用于图形处理的现有方法的兼容性和/或改善性能的方法将是有利的。
技术实现思路
因此，本专利技术试图优选地单独地或通过任意组合方式缓解、减轻或消除上述缺点中的一个或多个。根据本专利技术的一方面，提供了一种用于为三维图像生成三角形网格的装置，所述装置包括：用于提供深度图的深度图源；用于为深度图生成k-D树的树生成器，所述k-D树表示深度图的区域的分级布置，该布置满足针对未划分区域的深度变化度量低于阈值的要求；三角形网格生成器，其被布置为在k-D树的每个未划分区域内定位内部顶点；并通过将三角形网格的三角形的边形成为相邻未划分区域的内部顶点之间的线来生成三角形网格。本专利技术可以允许生成改进的三角形网格。该方法可以允许在很多实施例中实现更精确和/或更高质量的3D图像或视频处理和绘制。在很多场景中，可以生成没有任何孔的精确且一致的三角形网格，同时提供用于生成三角形网格的高效率方法。在很多实施例中，可以降低复杂性和/或资源的使用。深度图可以提供用于三维图像的深度图。可以由深度图和二维图像表示三维图像。三维图像可以是更大三维图像的部分，例如，其可以是更大图像中的三维对象的表示。深度图可以是用于三维图像的部分的深度图。所述三角形网格可以是部分的，也可以仅针对三维图像的部分而被生成。具体而言，可以(仅)针对图像的三维对象提供深度图和/或可以(仅)针对图像的三维对象生成三角形网格。树生成器105可以被布置为响应于检测到针对区域的深度变化度量超过阈值而将所述区域划分成子区域。阈值可以是自适应阈值。例如，用于区域的阈值可以取决于区域的尺寸。所述k-D树可以是分级树，其中每个节点表示深度图的区域，父节点的子节点表示由父节点表示的区域的子区域。如果多个区域在至少一个点接触，可以专门称为相邻。可以通过将区域迭代地划分成更小子区域，直到所有未划分区域满足深度变化度量低于阈值的要求来生成所述k-D树。因此，对于k-D树的最小区域，深度变化度量低于阈值，并且因此深度可以被认为在未划分区域中相对恒定。内部顶点被定位于区域内，并且因此完全被该区域围绕。内部顶点仅接触一个区域，并且因此未被定位在两个或更多区域之间的边或边界或连结处。该三角形网格可以包括至少一个三角形，该三角形具有在至少两个相邻未划分区域的内部顶点之间形成的边。相应地形成该三角形以包括至少两个相邻未划分区域的部分，即，该三角形跨越两个区域的至少部分且不限于完全在单个区域内。在很多实施例中，三角形网格的所有三角形都是通过在内部顶点之间形成边而生成的。在很多实施例中，至少一个三角形是通过三角形的角部、角或顶点为三个相邻未划分区域的三个内部顶点来形成的。在很多实施例中，三角形网格的至少一段的所有三角形是由均具有被确定为三个相邻未划分区域的内部顶点的角部、角或顶点的三角形形成的。所述三角形网格可以提供三角形的连本文档来自技高网...

【技术保护点】
一种用于生成针对三维图像的三角形网格的装置，所述装置包括：‑深度图源(101)，其用于提供深度图；‑树生成器(105)，其用于生成针对所述深度图的k‑D树，所述k‑D树表示所述深度图的区域的分级布置，所述分级布置满足针对未划分区域的深度变化度量低于阈值的要求；‑三角形网格生成器(107)，其被布置为在所述k‑D树的每个未划分区域内定位内部顶点；并通过将所述三角形网格的三角形的边形成为相邻未划分区域的内部顶点之间的线来生成所述三角形网格。

【技术特征摘要】
【国外来华专利技术】2015.09.23 EP 15186439.41.一种用于生成针对三维图像的三角形网格的装置，所述装置包括：-深度图源(101)，其用于提供深度图；-树生成器(105)，其用于生成针对所述深度图的k-D树，所述k-D树表示所述深度图的区域的分级布置，所述分级布置满足针对未划分区域的深度变化度量低于阈值的要求；-三角形网格生成器(107)，其被布置为在所述k-D树的每个未划分区域内定位内部顶点；并通过将所述三角形网格的三角形的边形成为相邻未划分区域的内部顶点之间的线来生成所述三角形网格。2.根据权利要求1所述的装置，其中，针对区域的所述内部顶点被定位于所述区域的中心。3.根据权利要求1所述的装置，其中，所述三角形网格生成器(107)被布置为针对三个区域之间的每个连结来形成三角形，所述三角形具有连接所述三个区域的所述内部顶点的边。4.根据权利要求1所述的装置，其中，所述三角形网格生成器(107)被布置为针对四个区域之间的每个连结来形成两个三角形，所述两个三角形具有连接所述四个区域中的两个对角相对区域的顶点的公共边，并且一个三角形是通过具有将所述两个对角相对区域的所述顶点连接到所述四个区域中的第三区域的内部顶点的边而形成的，并且一个三角形是通过具有将所述两个对角相对区域的所述内部顶点连接到所述四个区域中的第四区域的内部顶点的边而形成的。5.根据权利要求1所述的装置，其中，所述k-D树是四叉树。6.根据权利要求1所述的装置，其中，所述树生成器(105)还被布置为响应于所述三维图像的亮度或色度性质来划分区域。7.根据权利要求1所述的装置，其中，所述树生成器(105)被布置为生成所述k-D树以具有并非被约束为正方形区域的矩形区域。8.根据权利要求1所述的装置，其中，所述树生成器(105)被布置为划分受到约束的区域，所述约束为所述划分之后由三个区域形成的每个连结都包括所述连结。9.根据权利要求1所述的装置，其中，所述树生成器(105)是...

【专利技术属性】
技术研发人员：C·韦雷坎普，P·L·E·万德瓦勒，B·克龙，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰,NL