用于生成光强度图像的装置和方法制造方法及图纸

一种生成图像的方法包括分别接收(301、303)来自第一视点和第二视点的表示场景的第一和第二纹理图以及网格。针对第三视点生成(305)光强度图像。对于第一位置，这包括通过分别基于所述第一纹理图和所述第一网格并且基于所述第二纹理图和所述第二网格的视点变换来确定(401、403)针对所述第一位置的第一和第二光强度值。然后通过第一和第二光强度值的加权组合来确定(405)所述光强度值。所述加权取决于所述第一网格中的与所述第一位置相对应的第一网格位置处的深度梯度相对于所述第二网格中的与所述第一位置相对应的第二网格处的深度梯度。

Devices and methods for generating light intensity images

【技术实现步骤摘要】
【国外来华专利技术】用于生成光强度图像的装置和方法
本专利技术涉及一种用于生成光强度图像的装置和方法，并且具体而言涉及基于来自多个不同视点的纹理图和网格来生成适于加速硬件处理的针对新视点的光强度图像。
技术介绍
基于三维场景的图形应用已经在许多应用中变得普遍，例如特别是计算机图形应用。为了支持快速三维图形处理，已经开发了许多标准和规范。这不仅提供了更快的设计和实现，因为它可以为许多标准操作(例如视点移位)提供标准化的功能和例程，而且还允许针对这些例程开发和优化专用硬件图形引擎。实际上，对于许多计算机，图形处理单元(GPU)现在通常至少与中央处理单元(CPU)一样强大和重要。用于支持快速图形处理的标准的示例是OpenGL规范，其提供具有若干支持图形处理的功能的请求者处理接口(API)。该规范通常用于提供硬件加速图形处理，其中，特定例程由GPU形式的专用加速硬件实现。在大多数这样的图形规范中，场景的表示是通过纹理图和三维网格的组合。实际上，在许多情况下，一种特别有效的方法是通过多边形网格来表示图像对象，或者实际上整个场景，其中一组多边形通过它们的公共边或角(顶点)连接，其是由三维位置给出的。因此，组合的三维多边形网格提供了三维对象的有效模型，包括可能的整幅图像的三维描述。多边形网格通常是由具有在3D空间中给出的公共角的三角形形成的三角形网格。作为示例，立体相机可以从给定视点记录场景的图像。对于每个像素，可以执行视差估计以估计到由像素表示的对象的距离。这可以针对每个像素执行，从而提供针对每个像素的x,y,z的三维位置。然后可以将这些位置用作三角形网格的顶点，其中为每个2×2像素的组形成两个三角形。由于这可能导致大量三角形，所述过程可以包括将一些初始三角形组合成更大的三角形(或者在一些场景中更一般地组合成更大的多边形)。这将减少三角形的数量，但也会降低网格的空间分辨率。因此，它通常取决于深度变化并且主要在较平坦的区域中进行。每个顶点还与纹理图的光强度值相关联。纹理图实质上为顶点的像素位置处的对象提供场景中的光/颜色强度。通常，光强度图像/纹理图与网格一起提供，每个顶点包含表示顶点的x,y,z位置的数据，识别纹理图中的链接的位置的u,v数据，即它指向在纹理图中捕获的x,y,z位置处的光强度。在这样的表示中，多边形网格用于提供对象的三维几何形状的信息，而纹理通常作为单独的数据结构提供。具体地，纹理通常作为单独的二维图提供，其通过处理算法可以叠加在三维几何结构上。三角形网格的使用特别适合于通过计算机图形算法进行处理和操纵，并且已经开发了许多有效的软件和硬件解决方案并且其可以在市场上获得。通过针对多个多边形共同处理各个顶点而不是分别处理每个多边形的算法在许多系统实现了显著的计算效率。例如，对于典型的三角形网格，单个顶点通常是几个(通常是3-8个)三角形的公共点。因此，对单个顶点的处理可以应用于相对大量的三角形，从而实质上减少了正在处理的图像或其他对象中的点的数量。作为具体示例，许多当前的片上系统(SoC)包含GPU，其针对3D图形的处理进行了高度优化。例如，3D对象几何结构和3D对象纹理的处理在所谓的OpenGL渲染管道(或许多其他API，例如DirectX)中是使用两个很大程度上分离的路径完成的。只要3D源以顶点(通常为三角形)和纹理的形式呈现给GPU，SoC上的GPU的硬件就可以有效地处理3D图形。然后，OpenGL应用接口允许设置和控制虚拟透视相机，所述相机确定3D对象在2D屏幕上的投影方式。虽然OpenGL使用3D对象作为输入，但输出通常是适合于普通2D显示的2D图像。然而，这种方法需要由多边形网格和相关的纹理信息提供三维信息。尽管这在一些应用中可能相对容易提供，例如基于完全由计算机生成的虚拟场景和环境的游戏，但是在其他实施例中可能不太容易。特别是，在基于捕获真实场景的应用程序中，需要将它们转换为纹理和网格表示。如前所述，这可以基于立体图像或基于场景的图像和深度表示。然而，尽管已知许多用于执行这种转换的方法，但这并不是微不足道的并且带来若干复杂的问题和挑战。图形处理中的常见操作是视点变化，其中，针对与输入纹理图和网格的视点不同的视点来生成图像。图形API通常具有非常有效地执行这种视点转换的功能。然而，由于输入网格通常不是完美的，因此这样的视点变换可能导致移位的质量下降过于显著。此外，来自视点的场景的表示通常将包括多个被遮挡的元素，其中前景对象遮挡其后面的元素。这些元素可以从新的方向可见，即视点改变可以导致去遮挡(de-occlusion)。然而，在这种情况下，输入纹理图和网格将不包括针对这些去遮挡部分的任何信息。因此，由于无法获得所需信息，因此无法对其进行最佳表示。由于这些原因，视点变换通常基于对应于不同视图方向的多个纹理图和网格。实际上，为了合成新的(看不见的)视点，通常优选或甚至必须将来自不同视点的多个捕获的网格与相关联的相机图像(纹理)组合。组合来自不同视点的数据的主要原因是恢复在一个视图中隐藏(被遮挡)但在另一个视图中可见的对象。此问题通常称为视点插值。然而，传统方法仍然倾向于次优。例如，一种用于生成新的视点的方法是将源自不同视点的网格变换到单个全局坐标系，然后在新的相机平面上执行透视投影。这些步骤可以在标准图形硬件中完成。但是，这通常不会正确显示隐藏的表面。具体而言，当点在单个像素处组合时，图形硬件使用深度测试来选择的最前面的点。该方法用于解决自遮挡，其中，视点移位可导致图像对象相对于彼此移动，使得发生新的遮挡，即，在新的视点处，可能存在针对两个在原始视点未被遮挡点。但是，当应用于不同的图像时，这可能导致错误或劣化。实际上，深度通常是线性内插的，使得它延伸超出前景对象(像光晕效果)，最前面的点通常对应于由于紧邻前景对象而可能被遮挡的区域。在C.L.Zitnick等人的"High-qualityvideoviewinterpolationusingalayeredrepresentation".SIGGRAPH’04ACMSIGGRAPH2004,第600-608页中提供了用于基于深度图像的视图插值的技术的示例。为了实现高质量，所述技术使用由主层和边界层(围绕深度过渡)组成的两层表示。这些是使用alpha计算(alphamatting)(考虑透明度)构建的，并且在渲染过程中两者都被翘曲(并与其他视图混合)。该方法的缺点是需要断开网格以生成双层表示。该过程需要选择深度图的阈值并在深度不连续处擦除相应网格的三角形。这是不期望的，因为使用阈值可能潜在地降低绘制中的时间稳定性。因此，一种用于针对不同视点生成图像的改进方法将是有利的，并且特别是允许增加灵活性、增加准确性、降低复杂性、提高计算效率、改进与现有图形处理方法的兼容性、改善图像质量、改进去遮挡性能和/或改进的性能的方法将是有利的。
技术实现思路
因此，本专利技术寻求单独地或以任何组合来优选地减弱、减轻或消除一个或多个上述缺点。根据本专利技术的一个方面，提供了一种生成光强度图像的方法，所述方法包括：接收表示来自第一视点的场景的第一纹理图和第一网格；接收表示来自第二视点的场景的第二纹理图和第二网格；响应于所述第一纹理图、所述第一网格、所述第二纹理图和所述第二网格，确定来自第三视本文档来自技高网...

【技术保护点】
1.一种生成光强度图像的方法，所述方法包括：接收(301)表示来自第一视点的场景的第一纹理图和第一网格；接收(303)表示来自第二视点的所述场景的第二纹理图和第二网格；响应于所述第一纹理图、所述第一网格、所述第二纹理图和所述第二网格而确定(305)表示来自第三视点的所述场景的所述光强度图像，其中，确定(305)所述光强度图像包括针对所述光强度图像中的第一位置执行以下步骤：通过基于所述第一纹理图和所述第一网格的视点变换来确定(401)针对所述第一位置的第一光强度值；通过基于所述第二纹理图所述和第二网格的视点变换来确定(403)针对所述第一位置的第二光强度值；通过所述第一光强度值与所述第二光强度值的加权组合来确定(405)针对所述光强度图像的所述第一位置处的光强度值；通过所述加权组合的所述第一光强度值相对于所述第二光强度值的加权取决于所述第一网格中的对应于所述第一位置的第一网格位置处的第一深度梯度相对于所述第二网格中的对应于所述第一位置的第二网格位置处的第二深度梯度。

【技术特征摘要】
【国外来华专利技术】2016.12.06 EP 16202469.91.一种生成光强度图像的方法，所述方法包括：接收(301)表示来自第一视点的场景的第一纹理图和第一网格；接收(303)表示来自第二视点的所述场景的第二纹理图和第二网格；响应于所述第一纹理图、所述第一网格、所述第二纹理图和所述第二网格而确定(305)表示来自第三视点的所述场景的所述光强度图像，其中，确定(305)所述光强度图像包括针对所述光强度图像中的第一位置执行以下步骤：通过基于所述第一纹理图和所述第一网格的视点变换来确定(401)针对所述第一位置的第一光强度值；通过基于所述第二纹理图所述和第二网格的视点变换来确定(403)针对所述第一位置的第二光强度值；通过所述第一光强度值与所述第二光强度值的加权组合来确定(405)针对所述光强度图像的所述第一位置处的光强度值；通过所述加权组合的所述第一光强度值相对于所述第二光强度值的加权取决于所述第一网格中的对应于所述第一位置的第一网格位置处的第一深度梯度相对于所述第二网格中的对应于所述第一位置的第二网格位置处的第二深度梯度。2.根据权利要求1所述的方法，其中，所述加权包括所述第一光强度值相对于所述第二光强度值的加权，对所述第一光强度值的所述加权是所述第一深度梯度的绝对值的单调递减函数。3.根据权利要求1所述的方法，其中，所述加权包括所述第一光强度值相对于所述第二光强度值的加权，对所述第一光强度值的所述加权是所述第二深度梯度的绝对值的单调递增函数。4.根据权利要求1所述的方法，还包括确定针对所述第一网格的至少一些顶点的深度梯度；并且响应于针对所述至少一些顶点的所述深度梯度来确定所述第一深度梯度。5.根据权利要求4所述的方法，其中，确定所述深度梯度包括响应于所述顶点的深度、所述第一网格中的至少一个其他顶点的深度以及所述顶点与所述至少一个其他顶点之间的距离来确定针对所述第一网格的所述至少一些顶点中的顶点的深度梯度。6.根据权利要求4所述的方法，其中，确定所述深度梯度包括响应于从所述顶点到多个相邻顶点的深度梯度来确定针对所述第一网格的所述至少一些顶点中的顶点的深度梯度。7.根据前述权利要求中的任一项所述的方法，还包括：响应于针对所述第一纹理图的深度图中的深度变化，确定所述第一深度梯度。8.根据前述权利要求中的任一项所述的方法，还包括以下步骤：确定针对所述第一纹理图的深度梯度图；将视点变换应用到所述深度梯度图以生成经...

【专利技术属性】
技术研发人员：C·韦雷坎普，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰,NL