用于在渲染图像中使用的可重新照明纹理制造技术

可重新照明的自由视点渲染允许基于来自多个照相机视点的场景的多视图的场景的新视图被渲染和重新照明。可将来自多个照相机视点的图像值分离成漫射图像分量和镜面反射图像分量，使得通过使用分离的漫反射图像分量可以确定镜面反射场景的可重新照明纹理的本征颜色分量。而且，通过基于初始表面法线场的保守分量构建高度映射，然后基于所构建的高度映射确定细化的表面法线，可以对场景中几何的表面法线进行细化。

【技术实现步骤摘要】

本公开涉及用于在渲染图像中使用的可重新照明纹理。
技术介绍
可以从照相机的视点捕捉场景的图像。在一些情况下，可以有捕捉场景的不同图 像的一个以上的照相机。场景的每一个图像表示来自相应的照相机的视点的场景的视图。 但是，将存在场景的一些视点会不对应照相机视点的任何一个。图像可以是一帧视频序列。 诸如自由视点视频渲染（FVVR)的技术允许基于来自多个照相机视点的场景的一组多个视 图生成表示场景的新视图的图像。优选校准照相机且彼此同步以促进推断场景的中间图 像。 基于场景的不同图像，例如使用多视图立体（MVS)可构建场景几何的模型，并且 可形成可以应用于该模型的纹理（texture)。该纹理可以通过投射地使具有原始图像的场 景几何纹理化并混合所投射的图像而形成。然后具有该纹理的模型可用于从可以与照相机 视点之一相同或不同的渲染视点来渲染场景。除从渲染视点重新构建"真实世界"场景外， 真实世界场景的内容可以与电脑生成的或真实世界的其它场景内容一起被渲染。 术语"几何"用于本领域中，且在本文中指场景中计算机生成的对象表面的表 示，从而该几何允许对场景中对象的形状、大小和位置建模。该几何可被纹理化，从而将 纹理（例如限定颜色和其它表面细节）应用于几何以便表示场景中对象的外观。从真实 场景的多个图像重建的几何在本文中可被称为"代理（proxy)"或"几何代理（geometric proxy)"。几何通常是三角形网格，尽管其它的表示（诸如点云）是可能的。 当生成新的场景视点时，特别是当将内容集成到与所捕捉的那些不同的周围环 境中时，可能需要考虑若干事宜。例如，对场景重新照明可能是困难的。从由照相机捕 捉的图像提取的纹理（例如视频序列帧）具有隐含的真实世界照明信息，使得照明伪影 (artefacts)存在（即"烤入（baked-in)"）于纹理中。 解决如何对新视点的纹理重新照明的问题的一种方法是当照相机捕捉场景的不 同视图时控制场景的照明。例如，漫射（diffuse)照明可用于最初的视频捕捉，以避免产生 过量的阴影区域和镜面反射（specularities)，它们会损害使用所提取的纹理渲染的场景 的似真性（plausibility)。照明中变化的影响可通过估计纹理的材料属性（例如本征颜色 (反照率（albedo))和精细细节（表面法线））来重现，以用于随后使用常规的计算机图形 技术来重新照明（relighting)。这可以使用主动照明（或"光级（light-stage)"）布置来 解决，其中在各种校准的照明条件下捕捉场景的图像，同时使纹理的材料属性（诸如本征 颜色，或"反照率"，和表面的精细细节）被适配到图像。然而，该方法需要昂贵的设备，并且 通常限于静态场景。用任意的照明布置对场景重新照明是相当地更加挑战的。
技术实现思路
提供本
技术实现思路
从而以简化形式介绍在下文的【具体实施方式】中进一步描述的构 思的选择。本
技术实现思路
不意图识别所要求保护的主题的关键特征或必要特征，也不意图用 于限制所要求保护的主题的范围。 提供了一种确定在场景的一个或多个图像中可见的对象表面的表面法线估计的 方法，其中，该对象表示为从场景的一个或多个图像构建的几何，该方法包括：获得对象表 面的表面法线估计，该表面法线估计表示第一表面法线场；基于第一表面法线场的保守分 量来构建对象的所述表面的高度映射；使用该高度映射来确定对象表面的细化表面法线估 计，该细化表面法线估计表示对象的所述表面的保守表面法线场；以及存储细化表面法线 估计用于在渲染对象的图像中的后续使用。 提供一种图像处理系统，其被配置为确定在场景的一个或多个图像中可见的对象 表面的表面法线估计，其中该图像处理系统被配置为获得表示对象的几何，其中该几何是 从场景的一个或多个图像而构建的，该图像处理系统包括：第一表面法线逻辑，被配置成获 得对象表面的表面法线估计，该表面法线估计表示第一表面法线场；高度映射构建逻辑，被 配置为基于第一表面法线场的保守分量来构建对象的所述表面的高度映射；第二表面法线 逻辑，被配置为使用该高度映射来确定对象表面的细化表面法线估计，该细化表面法线估 计表示对象的所述表面的保守表面法线场；以及存储，被配置为存储细化表面法线估计用 于在渲染对象的图像中的后续使用。 可以提供计算机可读代码，其被适配为当该代码在计算机上运行时以执行本文描 述的任何方法的步骤。此外，可以提供用于产生被配置以执行本文描述的任何方法的处理 块（block)的计算机可读代码。计算机可读代码可被编码在计算机可读存储介质上。 上述特征可以视情况组合，且正如对本领域技术人员显而易见的，上述特征可以 与本文描述的示例的任何方面组合。【附图说明】 现在参照附图详细描述示例，附图中： 图1表示其中布置多个照相机捕捉场景的不同图像的布置； 图2是图像处理系统的不意图； 图3是确定可重新照明纹理的本征颜色分量和一组表面法线用于在任意照明条 件下从渲染视点渲染图像的方法的流程图； 图4示出图3所示流程图的步骤之一的更详细的视图； 图5示出来自两个照相机视点的场景的两个视图；并且示出从渲染视点的场景的 经渲染的图像； 图6示出将原始图像分离成颜色估计和阴影估计的两个示例； 图7示出第一表面法线估计的分量和细化表面法线估计的分量的示例； 图8示出其中可以实现图像处理系统的计算机系统。 附图示出各种示例。本领域技术人员将意识到附图中所图示的要素边界（例如框 (box)、框的组或其它形状）表示边界的一个示例。可以在一些示例中，一个要素可被设计 为多个要素或者多个要素可被设计为一个要素。适当的情况下共同附图标记被贯穿附图用 于指示类似的特征。【具体实施方式】 现仅通过示例的方式描述实施例。本文详细描述的示例涉及自由视点渲染，但确 定可重新照明的纹理的相同原理可适用于其它示例，例如其中仅有一个照相机（而不是如 自由视点渲染中的多个照相机）可移动以从不同角度捕捉场景的多个视图，和/或其中渲 染视点与照相机视点相同的示例。 自由视点渲染允许生成图像以基于来自多个照相机视点的场景的一组多个图像 来提供场景的新的视图。作为一个示例，所生成的图像可以是所生成的视频序列内的帧。自 由视点视频渲染（FVVR)是参照使用一组照相机捕捉的视频数据而随时间变化的场景的新 视图的合成。大多数标准FVVR系统不支持场景的重新照明。然而，本文描述的示例当从新 的视点渲染场景时允许场景被重新照明并且在任意照明条件下观察。例如，这可以用于对 演员的表现重新照明，用于无缝合成任意的真实世界和/或计算机生成的周围环境，其可 以具有与其中演员的图像被捕捉的那些不同的照明条件。例如，在图像表示一帧视频序列 的地方，本文描述的示例涉及"可重新照明的FVVR"。场景的外观可表示为多个参数的函数， 该参数包括：（i)场景中对象的本征颜色（其可被称为"反照率"），（ii)场景中对象表面的 表面法线，（iii)场景中表面的镜面反射，以及（iv)场景照明（lighting)。在本文描述的 方法中，场景的外观分解为这四个参数的估计，且颜色估计（即反照率估计）和表面法线可 被用于后续在任意的照明条件下从渲染视点渲染场景的图像。将场景的外观分离成本文档来自技高网...

【技术保护点】
一种确定在场景的一个或多个图像中可见的对象的表面的表面法线估计的方法，其中所述对象由从所述场景的所述一个或多个图像构建的几何表示，所述方法包括：获得所述对象的所述表面的表面法线估计，所述表面法线估计表示第一表面法线场；基于所述第一表面法线场的保守分量构建所述对象的所述表面的高度映射；使用所述高度映射来确定所述对象的所述表面的细化表面法线估计，所述细化表面法线估计表示所述对象的所述表面的保守表面法线场；以及存储所述细化表面法线估计以用于在渲染所述对象的图像中的后续使用。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：J·伊姆伯，A·希尔顿，JY·吉耶莫特，
申请(专利权)人：想象技术有限公司，
类型：发明
国别省市：英国;GB