利用具有网络渲染层的神经网络编辑数字图像制造技术

本公开的各实施例总体涉及利用具有网络渲染层的神经网络编辑数字图像。具体地，本公开包括用于利用包括渲染层的神经网络来生成已修改数字图像的方法和系统。特别地，所公开的系统和方法可以训练神经网络以将输入数字图像分解成固有的物理属性(例如，诸如材料、照明和形状)。此外，系统和方法可以用目标属性(例如，已修改材料、照明或形状)替换固有物理属性之一。系统和方法可以利用被训练为合成数字图像的渲染层以基于目标属性和剩余的(未替换的)固有物理属性生成已修改数字图像。系统和方法可以通过生成已修改数字图像来提高已修改数字图像的准确度，已修改数字图像实际上反映输入数字图像的固有物理属性和目标(即，已修改)属性的融合。

Editing digital images using neural network with network rendering layer

Embodiments of the disclosure generally involve editing digital images using neural networks with a network rendering layer. Specifically, the present disclosure includes methods and systems for generating modified digital images using neural networks including rendering layers. In particular, the disclosed systems and methods can train neural networks to decompose input digital images into intrinsic physical attributes (e.g., materials, lighting, and shapes). In addition, systems and methods can replace one of the inherent physical attributes with target attributes, such as modified materials, lighting, or shapes. The system and method can utilize the rendering layer trained to synthesize digital images to generate modified digital images based on the target attributes and the remaining (unreplaceable) inherent physical attributes. The system and method can improve the accuracy of the modified digital image by generating the modified digital image. The modified digital image actually reflects the fusion of the intrinsic physical attributes of the input digital image and the target (that is, the modified) attributes.

【技术实现步骤摘要】
利用具有网络渲染层的神经网络编辑数字图像
本公开的各实施例总体上涉及图像处理，具体地涉及利用具有网络渲染层的神经网络编辑数字图像。
技术介绍
近年来，数字图像编辑领域已经得到了迅速的发展。实际上，由于算法和硬件的进步，传统的数字编辑系统现在能够通过简单的用户输入来数字地修改各种图像特性。例如，传统的数字编辑系统可以应用滤波器来修改数字图像的外观，或者将在第一数字图像中描绘的对象添加到第二数字图像。尽管传统的数字编辑系统近年来已经取得进展，但是它们仍然具有几个显著的缺点。例如，传统的数字编辑系统可以应用滤波器或将对象添加到数字图像，但是难以生成反映各种不同目标图像属性的逼真外观模型的已修改数字图像。为了说明，传统的数字编辑系统可以对数字图像应用滤波器，但是难以修改在数字图像中描绘的对象的材料，使得材料准确地反映数字图像的环境(例如，将新材料反映为好像被放置在原始数字图像的照明环境中)。类似地，虽然传统的数字编辑系统可以从数字图像中添加或去除对象，但是这样的系统不能准确地修改在数字图像中描绘的对象，使得已修改对象反映数字图像的环境(例如，已修改对象呈现为好像被放置在原始数字图像的照明环境中)。此外，虽然传统的数字编辑系统可以修改数字图像的颜色或外观，但是这样的系统通常不能修改数字图像的照明环境，使得在数字图像中描绘的对象改变以准确地反映已修改照明环境。一些传统的系统已经设法解决这些问题，但是每个都引入了它们自己的限制和关注。例如，一些数字图像分解系统寻求通过简化关于数字图像的假设来标识和修改在数字图像中描绘的场景的物理属性。例如，一些数字图像分解系统假设在数字图像中描绘的对象的几何形状，假设在数字图像中描绘的对象的材料属性(例如，假设漫射材料)，或者假设照明条件(例如，低频照明)以降低对在数字图像中描绘的物理属性进行分解的复杂度。这样简化假设可以增加标识物理属性和修改数字图像的能力，但是它们也引入不准确并且限制了这样的系统所适用的环境。此外，一些数字图像分类系统利用机器学习过程来编辑数字图像。然而，这些解决方案也引入了它们自己的缺点。例如，利用机器学习的数字图像编辑系统通常限于仅对漫射材料建模(即，这样的系统不能用镜面材料操作)。此外，数字图像编辑系统通常不能与高级材料属性一起操作，高级材料属性通常不可区分并且在训练神经网络时带来困难。类似地，利用机器学习从数字图像推断属性的数字图像分类系统通常在神经网络的潜在特征空间中表示这些属性。因此，虽然这样的系统可以编辑数字图像，但是它们不能容易地操纵物理属性，因为这些属性本质上被表示为神经网络的层内的潜在特征(或以其他方式组合)。关于数字图像编辑存在这些和其他问题。
技术实现思路
本公开的一个或多个实施例使用通过利用包括渲染层的神经网络来生成已修改数字图像的系统和方法提供优点和/或解决本领域的前述或其他问题中的一个或多个。特别地，在一个或多个实施例中，所公开的系统和方法利用具有渲染层的神经网络，渲染层被训练为基于在输入数字图像中描绘的物理属性来明确地建模图像形成过程。例如，在一个或多个实施例中，所公开的系统和方法向神经网络提供输入数字图像，神经网络预测数字图像的固有属性(例如，材料属性、照明和/或表面取向)。所公开的系统和方法然后利用已训练渲染层基于这些固有属性来生成已修改数字图像。具体地，所公开的系统和方法用一个或多个目标属性替换一个或多个预测的物理属性，并且利用渲染层来生成已修改数字图像。以这种方式，所公开的系统和方法生成能够反映输入数字图像的物理属性和一个或多个目标属性的准确的逼真的已修改数字图像。为了说明，在一个或多个实施例中，所公开的系统和方法接收在照明环境内描绘对象的输入数字图像，其中对象描绘在法线方向上对准的材料的表面。所公开的系统和方法接收修改输入数字图像的属性的请求(即，修改材料、表面取向或照明环境的请求)。所公开的系统和方法利用神经网络预测数字图像的固有属性(例如，材料属性集、表面取向图和/或照明环境图)，并且然后用已修改属性替换一个或多个固有属性。所公开的系统和方法然后将已修改属性与未已修改的固有属性一起提供给神经网络的渲染层，渲染层生成反映已修改属性的已修改数字图像。通过利用具有对图像形成过程进行建模(例如，基于预测的材料属性、表面取向和照明来生成已修改数字图像)的渲染层的神经网络，所公开的系统和方法生成描绘已修改材料、已修改对象或已修改照明环境的准确的已修改数字图像。因此，例如，所公开的系统和方法可以将对象的材料从钝金属改变为反射金属，同时仍然描绘在输入数字图像中描绘的形状和照明环境。类似地，所公开的系统和方法可以在生成已修改数字图像时修改对象形状(例如，将汽车改变为卡车)和/或照明环境(例如，将照明环境从中午改变为黄昏)，同时仍然实际地描绘输入数字图像的其他物理属性。此外，所公开的系统和方法生成已修改数字图像，而不做出将鲁棒应用限于各种情况的假设。实际上，所公开的系统和方法不需要在生成已修改数字图像时对特定几何形状或材料做出假设。此外，由于所公开的系统明确地建模输入数字图像的物理属性，所以所公开的系统和方法替代和修改那些物理属性用于在神经网络内利用以生成已修改数字图像。另外，在一个或多个实施例中，所公开的系统和方法通过利用关于光方向和材料属性(例如，材料参数或材料系数)可区分的参数材料表示来考虑高级材料属性(例如，双向反射分布函数)。这样的方法使得所公开的系统和方法能够针对各种各样的材料、对象和环境进行操作。例如，所公开的系统和方法不限于漫射材料，而且还可以建模镜面材料，从而得到更逼真的外观模型。此外，利用可区分参数表示使得能够将所公开的系统和方法实现为各种网络架构，因为参数表示使得能够在训练期间使用反向传播方法。因此，所公开的系统和方法使得能够更有效地训练准确的神经网络以生成已修改数字图像。本公开的一个或多个实施例的附加特征和优点将在下面的描述中阐述，并且部分地将从描述中变得容易理解，或者可以通过实施这样的示例实施例来了解。附图说明参考附图描述“具体实施方式”，在附图中：图1示出了根据一个或多个实施例的用于建模数字图像的物理属性的表示；图2示出了根据一个或多个实施例的利用包括渲染层的神经网络来生成已修改数字图像的表示；图3A和图3B示出了根据一个或多个实施例的表面取向图和照明环境的表示；图4示出了根据一个或多个实施例的训练包括渲染层的神经网络的表示；图5A至图5C示出了根据一个或多个实施例的用于预测物理属性的网络架构；图6A和图6B示出根据一个或多个实施例的包括从多个原始数字图像生成的多个已修改数字图像的阵列；图7示出了根据一个或多个实施例的利用两个目标材料属性集来生成描绘两个已修改材料的已修改数字图像；图8示出了根据一个或多个实施例的数字神经网络渲染系统的示意图；图9示出了示出根据一个或多个实施例其中可以实现数字神经网络渲染系统的示例性环境的示意图；图10示出了根据一个或多个实施例的在用于利用具有被训练为生成描绘漫射和镜面材料的目标数字图像的渲染层的神经网络来渲染用已修改属性反映输入数字图像的已修改数字图像的步骤中的动作的表示；图11示出了根据一个或多个实施例的训练具有渲染层的神经网络以生成已修改数字图像的方法中的一系列本文档来自技高网...

【技术保护点】
1.一种用于从输入数字图像生成已修改数字图像的系统，包括：一个或多个存储器，包括：神经网络，包括渲染层，所述渲染层被训练为从描绘漫射材料的输入数字图像和描绘镜面材料的输入数字图像生成合成的数字图像；以及输入数字图像；以及至少一个计算设备，所述至少一个计算设备上存储有在由所述至少一个计算设备执行时引起所述系统进行以下操作的指令：利用所述神经网络基于所述输入数字图像预测材料属性集、表面取向图或照明环境图中的至少两项；用目标材料属性集、目标表面取向图或目标照明图替换所述材料属性集、所述表面取向图或所述照明环境图中的至少一项；以及利用所述神经网络的所述渲染层基于所述目标材料属性集、所述目标表面取向图或所述目标照明图中的至少一项从所述输入图像生成已修改数字图像。

【技术特征摘要】
2017.03.02 US 15/448,2061.一种用于从输入数字图像生成已修改数字图像的系统，包括：一个或多个存储器，包括：神经网络，包括渲染层，所述渲染层被训练为从描绘漫射材料的输入数字图像和描绘镜面材料的输入数字图像生成合成的数字图像；以及输入数字图像；以及至少一个计算设备，所述至少一个计算设备上存储有在由所述至少一个计算设备执行时引起所述系统进行以下操作的指令：利用所述神经网络基于所述输入数字图像预测材料属性集、表面取向图或照明环境图中的至少两项；用目标材料属性集、目标表面取向图或目标照明图替换所述材料属性集、所述表面取向图或所述照明环境图中的至少一项；以及利用所述神经网络的所述渲染层基于所述目标材料属性集、所述目标表面取向图或所述目标照明图中的至少一项从所述输入图像生成已修改数字图像。2.根据权利要求1所述的系统，还包括在由所述至少一个计算设备执行时引起所述系统进行以下操作的指令：基于所述输入数字图像预测所述表面取向图、所述照明环境图和所述材料属性集；用所述目标材料属性集替换所述材料属性集；以及利用所述神经网络的所述渲染层基于所述目标材料属性、所述表面取向图和所述照明环境图生成已修改数字属性。3.根据权利要求1所述的系统，其中所述输入数字图像描绘与所述材料属性集相对应的第一材料并且描绘第二材料，并且所述系统还包括在由所述至少一个计算设备执行时还引起所述系统进行以下操作的指令：利用所述神经网络预测与所述第一材料相对应的所述材料属性集以及与所述第二材料相对应的第二材料属性集；用所述目标材料属性集替换所述材料属性集；用第二目标材料属性集替换所述第二材料属性集；以及利用所述神经网络的所述渲染层基于所述目标材料属性集、所述第二目标材料属性集、所述目标表面取向图和所述目标照明图生成所述已修改数字图像。4.根据权利要求1所述的系统，还包括在由所述至少一个计算设备执行时引起所述系统进行以下操作的指令：利用所述神经网络基于关于入射光方向、出射光方向和材料属性可区分的参数表示预测所述材料属性集。5.根据权利要求1所述的系统，还包括在由所述至少一个计算设备执行时引起所述系统进行以下操作的指令：利用所述神经网络预测所述材料表面取向图，其中所述表面取向图包括具有带有RBG的多个像素的RBG数字图像，其中所述多个像素中的每个像素的RBG值对所述数字图像中描绘的对象的每个像素的表面取向的x、y和z维度进行编码。6.根据权利要求1所述的系统，还包括在由所述至少一个计算设备执行时引起所述系统进行以下操作的指令：生成所述已修改数字图像使得所述已修改数字图像描绘镜面材料。7.一种在对数字图像进行基于计算机的编辑的数字介质环境中的、用于修改数字图像的计算机实现的方法，包括：接收描绘照明环境内的对象的输入数字图像，其中所述对象包括材料的表面，并且其中所述表面具有表面法线方向；接收修改所述输入数字图像的固有属性的请求，其中所述固有属性包括所述材料、所述表面法线方向或所述照明环境中的至少一项；以及利用具有渲染层的神经网络渲染已修改数字图像的步骤，所述已修改数字图像用已修改属性反映所述输入数字图...

【专利技术属性】
技术研发人员：M·E·于梅，杨济美，刘桂林，D·C·阿克斯特，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国,US