利用高度图生成针对数字图像内的数字对象的阴影制造技术

一种利用高度图生成针对数字图像内的数字对象的阴影。本公开涉及生成针对数字图像中描绘的数字对象的高度图并且进一步利用该高度图来生成针对数字对象的阴影的系统、方法和非瞬态计算机可读介质。实际上，在一个或多个实施例中，公开的系统生成(例如，利用神经网络)高度图，该高度图指示针对数字图像中描绘的数字对象的像素的像素高度。公开的系统利用像素高度以及针对数字图像的照明信息来确定数字图像的像素如何投影以创建针对数字对象的阴影。此外，在一些实现中，公开的系统利用确定的阴影投影来生成(例如，利用另一神经网络)针对数字对象的软阴影。因此，在一些情况下，公开的系统修改数字图像以包括阴影。开的系统修改数字图像以包括阴影。开的系统修改数字图像以包括阴影。

【技术实现步骤摘要】
利用高度图生成针对数字图像内的数字对象的阴影

技术介绍

[0001]近年来，用于编辑数字图像的硬件和软件平台有了显著的进步。具体地，许多传统系统实现诸如通过增加数字图像所描绘的真实感来改善数字图像的美感的各种技术。为了说明，一些传统系统提供用于创建阴影以描绘在某些照明条件下在数字图像内描绘的对象(例如，人)的外观的工具。实际上，这些系统在最初不存在阴影的地方创建阴影(例如，在对象被人工插入到背景图像中的合成数字图像内)，以在数字图像中更逼真地描绘对象。
[0002]然而，尽管取得了这些进步，传统的图像阴影系统仍存在多个技术缺陷，导致操作不灵活、不准确和低效。例如，许多传统系统依赖于使用在二维图像中描绘的对象的三维模型来生成针对对象的阴影。具体地，这些传统系统通常采用基于物理的阴影绘制算法来使用对象的三维模型来生成阴影。因此，在对应的三维模型不可用的情况下，这样的系统不能产生对象的阴影。一些系统使用基于神经网络的图像合成来创建阴影来解决这个问题。然而，这些系统缺乏用于控制所产生的阴影的特性(例如，方向、透视、软度)的特征。
[0003]除了上述灵活性问题之外，传统的图像阴影系统通常也不能生成在真实照明条件下准确描绘对象阴影的阴影。例如，许多传统系统采用的三维模型通常是错误的，而基于物理的阴影绘制算法通常对这些错误很敏感。因此，这种模型产生的阴影往往包括各种伪影——特别是在地面接触区域中，因为三维模型通常不能与地面完全接触。尽管利用基于神经网络的图像合成的传统系统避免使用三维模型，但所采用的神经网络由于未能显式地对对象几何形状和相关照明进行建模而通常具有有限的泛化能力。实际上，这样的系统通常利用所采用的神经网络来学习光信息和所生成的阴影之间的映射，而不受几何约束。因此，这些系统也往往会产生不真实的阴影。
[0004]此外，传统的图像阴影系统存在效率低下的问题。例如，由许多传统系统采用的、基于物理的阴影绘制算法通常需要大量的计算资源(例如，存储器和计算机处理)来生成所产生的阴影。此外，这些系统通常需要各种用户调整来将阴影所基于的三维模型与图像中所描绘的对应对象对齐，这可能是困难并且耗时的。因此，这些系统通常需要大量的用户交互来产生与对象对齐的阴影。
[0005]关于传统图像阴影系统存在这些以及附加的难题和问题。

技术实现思路

[0006]本文描述的一个或多个实施例利用利用对应于对象的灵活高度图来生成针对数字图像中描绘的对象的阴影的系统、方法和非瞬态计算机可读介质，提供了益处和/或解决了本领域中的一个或多个问题。例如，在一个或多个实施例中，系统生成针对二维数字图像中描绘的对象的高度图。在一些情况下，高度图指示数字图像的图像投影空间内的对象的像素的高度。该系统例如通过基于某些照明条件来确定对象的阴影如何投影到数字图像中描绘的表面上，来利用高度图生成针对对象的阴影。在一些实施例中，该系统在图形用户界面内提供具有阴影的数字图像。该系统还基于与经由图形用户界面检测到的数字图像的一个或多个用户交互来修改阴影。以这种方式，该系统生成针对数字图像内的对象的准确的
阴影，同时提供用于修改这些阴影的特性的灵活控制。
[0007]本公开的一个或多个实施例的附加特征和优点在下面的说明书中概述，并且部分地将从说明书中清楚的，或者可以通过这种示例实施例的实践来了解。
附图说明
[0008]通过参考附图，本公开将以附加的具体性和细节来描述本专利技术的一个或多个实施例。以下段落简要描述了这些附图，其中：
[0009]图1示出了根据一个或多个实施例的基于高度的阴影系统操作的示例环境；
[0010]图2A至图2B示出了根据一个或多个实施例、基于高度的阴影系统来修改数字图像以包括其中描绘的数字对象的对象阴影的概览图；
[0011]图3A示出了根据一个或多个实施例、用于使用高度预测神经网络来生成针对数字图像中所描绘的数字对象的高度图的图示；
[0012]图3B示出了根据一个或多个实施例、生成针对数字图像中描绘的数字对象的高度图的高度预测神经网络的架构；
[0013]图3C示出了根据一个或多个实施例、用于生成高度预测神经网络以生成高度图的图示；
[0014]图4A至图4B示出了根据一个或多个实施例、用于使用高度图和光源信息来确定针对数字对象的像素的阴影投影的图示；
[0015]图5示出了根据一个或多个实施例、利用阴影样式化神经网络生成软对象阴影的图示；
[0016]图6A至图6C各自示出了根据一个或多个实施例、修改数字图像以包括针对其中显示的数字对象的对象阴影；
[0017]图7示出了根据一个或多个实施例、基于高度的阴影系统用来显示数字图像并允许用户交互以进行进一步的改变的图形用户界面；
[0018]图8示出了根据一个或多个实施例的基于高度的阴影系统的示意图；
[0019]图9示出了根据一个或多个实施例、用于生成针对数字图像中描绘的数字对象的对象阴影的一系列动作的流程图；以及
[0020]图10示出了根据一个或多个实施例的示例计算设备的框图。
具体实施方式
[0021]本文描述的一个或多个实施例包括基于高度的阴影系统，用于通过利用对象的高度图来准确地确定阴影的投影，来灵活地生成针对数字图像内的对象的阴影。实际上，在一个或多个实施例中，基于高度的阴影系统针对二维数字图像中描绘的对象生成高度图，该高度图指示对象的像素相对于数字图像中描绘的平面的高度(例如，相对于地面)。基于高度的阴影系统利用高度图以及针对数字图像的光源的位置，基于三维几何约束的投影而在二维空间中投射阴影。换言之，基于高度的阴影系统确定针对对象的阴影如何跨数字图像来投影，并且使用所确定的投影生成针对对象的阴影。
[0022]为了提供说明，在一个或多个实施例中，基于高度的阴影系统从描绘数字对象的数字图像中提取对应于数字对象的对象掩模。此外，基于高度的阴影系统从对应于数字对
象的对象掩模中生成高度图，该高度图包括利用高度预测神经网络的针对数字对象的像素的像素高度。使用来自高度图的像素高度和针对数字图像的光源信息，基于高度的阴影系统确定针对数字对象的像素的阴影投影。此外，基于高度的阴影系统使用针对数字对象的像素的阴影投影来修改数字图像以包括针对数字对象的对象阴影。
[0023]如上所述，在一个或多个实施例中，基于高度的阴影系统生成针对数字图像内描绘的数字对象的高度图。具体地，基于高度的阴影系统生成高度图，该高度图针对数字对象的像素指示图像空间内的像素高度。为了说明，在一个或多个实施例中，基于高度的阴影系统提取针对数字对象的对象掩模并且利用该对象掩模来生成高度图。在一些情况下，基于高度的阴影系统还确定针对数字对象的对象抠图(cutout)和对应于数字图像的坐标方案。因此，基于高度的阴影系统进一步利用对象抠图和坐标方案来生成高度图高度。
[0024]在一些实现中，基于高度的阴影系统利用高度预测神经网络来生成高度图。在一些情况下，基于高度的阴影系统使用合成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在用于编辑数字图像的数字介质环境中、用于生成针对描绘的图像对象的阴影的计算机实现的方法，包括：执行用于生成针对数字图像中描绘的数字对象的高度图的步骤；使用所述高度图来确定所述数字图像中描绘的所述数字对象的阴影投影；以及使用所述阴影投影来修改所述数字图像以包括针对所述数字对象的对象阴影。2.根据权利要求1所述的计算机实现的方法，其中修改所述数字图像以包括针对所述数字对象的所述对象阴影包括：修改所述数字图像以包括与所述数字对象相关联的软对象阴影。3.根据权利要求1所述的计算机实现的方法，还包括：提供具有所述对象阴影的所述数字图像用于在客户端设备的图形用户界面内显示；经由所述图形用户界面来检测在所述数字图像内重新定位所述数字对象的一个或多个用户交互；以及基于重新定位所述数字对象的所述一个或多个用户交互来修改所述数字图像内的所述对象阴影。4.根据权利要求1所述的计算机实现的方法，其中：使用所述高度图来确定所述数字图像中描绘的所述数字对象的所述阴影投影包括：确定在所述数字图像中描绘的非平面表面上的所述阴影投影；以及使用所述阴影投影来修改所述数字图像以包括针对所述数字对象的所述对象阴影包括：修改所述数字图像以包括从所述数字对象投射的、并且跨所述非平面表面的所述对象阴影。5.一种在其上存储指令的非瞬态计算机可读介质，所述指令当由至少一个处理器执行时，使计算设备：从描绘数字对象的数字图像中提取对应于所述数字对象的对象掩模；利用高度预测神经网络从对应于所述数字对象的所述对象掩模中生成高度图，所述高度图包括针对所述数字对象的像素的像素高度；使用来自所述高度图的所述像素高度和针对所述数字图像的光源信息来确定针对所述数字对象的所述像素的阴影投影；以及使用针对所述数字对象的所述像素的所述阴影投影来修改所述数字图像以包括针对所述数字对象的对象阴影。6.根据权利要求5所述的非瞬态计算机可读介质，还包括指令，所述指令当由所述至少一个处理器执行时，使所述计算设备使用针对所述数字对象的所述像素的所述阴影投影来生成针对所述数字对象的软对象阴影，其中所述指令当由所述至少一个处理器执行时，使所述计算设备通过修改所述数字图像以包括针对所述数字对象的所述软对象阴影来修改所述数字图像以包括针对所述数字对象的所述对象阴影。7.根据权利要求6所述的非瞬态计算机可读介质，其中所述指令当由所述至少一个处理器执行时，使所述计算设备通过利用阴影样式化神经网络来生成所述软对象阴影，来生成针对所述数字对象的所述软对象阴影。8.根据权利要求6所述的非瞬态计算机可读介质，
还包括指令，所述指令当由所述至少一个处理器执行时，使所述计算设备使用针对所述数字对象的所述像素的所述阴影投影来生成针对所述数字对象的硬阴影掩模，其中，所述指令当由所述至少一个处理器执行时，使所述计算设备通过使用对应于所述数字对象的所述硬阴影掩模和所述对象掩模来生成针对所述数字对象的所述软对象阴影，从而使用针对所述数字对象的所述像素的所述阴影投影来生成针对所述数字对象的所述软对象阴影。9.根据权利要求6所述的非瞬态计算机可读介质，还包括指令，所述指令当由所述至少一个处理器执行时，使所述计算设备：提供具有所述软对象阴影的数字图像用于在客户端设备的图形用户界面内显示；经由所述图形用户界面来检测与对应于所述软对象阴影的软度控件的一个或多个用户交互；以及根据与所述软度控件的所述一个或多个用户交互来修改所述软对象阴影的软度。10.根据权利要求5所述的非瞬态计算机可读介质，其中，所述指令当由所述至少一个处理器执行时，使所述计算设备通过针对所述数字对象的每个像素，利用来自所述高度图的对应像素高度和所述光源信息来确定所述数字图像内的对应阴影像素的位置，从而使用来自所述高度图的所述像素高度和针对所述数字图像的所述光源信息来确定针对所述数字对象的所述像素的所述阴影投影。11.根据权利要求10所述的非瞬态计算机可读介质，其中，针对所述数字对象的每个像素，利用来自所述高度图的对应像素高度和所述光源信息来确定所述数字图像内的对应阴影像素的位置包括：利用所述对应像素高度、所述数字图像内的所述像素的位置、针对所述数字图像的光源...

【专利技术属性】
技术研发人员：刘伊凡，张健明，张赫，E，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：