深度感知照片编辑制造技术

本文描述的方法和系统提供了深度感知图像编辑和交互式特征。特别地，计算机应用可以提供利用(a)深度图和(b)分段数据的组合的图像相关特征来处理一个或多个图像，并且生成所述一个或多个图像的编辑版本(108)。述一个或多个图像的编辑版本(108)。述一个或多个图像的编辑版本(108)。

【技术实现步骤摘要】
【国外来华专利技术】深度感知照片编辑
[0001]相关申请的交叉引用
[0002]本申请要求于2019年12月19日提交的美国专利申请No.16/720,743的优先权，该申请要求于2019年8月9日提交的美国临时专利申请No.62/884,772的优先权，其全部内容通过引用合并在此。

技术介绍

[0003]许多现代计算设备(包括移动电话、个人计算机以及平板)包括图像捕获设备，诸如静态和/或视频相机。图像捕获设备可以捕获图像，诸如包括人、动物、风景和/或对象的图像。
[0004]一些图像捕获设备和/或计算设备能够校正或以其他方式修改捕获的图像。例如，一些图像捕获设备能够提供“红眼”校正，该“红眼”校正移除可能存在于使用亮光诸如闪光灯光照所捕获的图像中的伪影，诸如人们和动物的发红眼睛。在捕获的图像已被校正之后，经校正后的图像能够被保存、显示、发送、打印到纸和/或以其他方式利用。

技术实现思路

[0005]在一个方面，提供了一种计算机实现的方法。该方法涉及计算设备：(i)在计算设备处接收第一图像的图像数据，(ii)确定第一图像的深度图，(iii)确定用于第一图像的分段数据，以及(iv)至少部分地基于(a)深度图和(b)分段数据，来处理第一图像以生成第一图像的编辑版本。第一图像可以是场景的第一图像。场景能够包括一个或多个对象。可选地，处理第一图像能够包括编辑图像中的对象以生成第一图像的编辑版本。
[0006]在另一方面，一种计算设备包括一个或多个处理器和在其上存储有计算机可执行指令的数据存储。当由一个或多个处理器执行时，指令使计算设备执行以下各项的功能，包括：(i)接收第一图像的图像数据，(ii)确定第一图像的深度图，(iii)确定用于第一图像的分段数据，以及(iv)至少部分地基于(a)深度图和(b)分段数据，来处理第一图像以生成第一图像的编辑版本。指令还可以使计算设备执行包括本文描述的任何方法步骤的功能。
[0007]在另一方面，一种系统包括：(i)用于在计算设备处接收第一图像的图像数据的手段，(ii)用于确定第一图像的深度图的手段，(iii)用于确定第一图像的分段数据的手段，以及(iv)用于至少部分地基于(a)深度图和(b)分段数据来处理第一图像以生成第一图像的编辑版本的手段。该系统还可以包括用于执行本文描述的任何方法步骤的手段。
[0008]在另一方面，一种示例计算机程序或计算机可读介质包括程序指令，这些程序指令可由处理器运行以执行包括以下各项功能，包括：(i)在计算设备处接收第一图像的图像数据，(ii)确定第一图像的深度图，(iii)确定第一图像的分段数据，以及(iv)至少部分地基于(a)深度图和(b)分段数据，来处理第一图像以生成第一图像的编辑版本。指令还可以使计算设备执行包括本文描述的任何方法步骤的功能。
[0009]前述
技术实现思路
仅仅是说明性的，且不旨在以任何方式进行限制。除了上文所描述的说明性方面、实施例以及特征之外，其它方面、实施例以及特征将通过参考各图和以下详
细描述以及附图而变得显而易见。
附图说明
[0010]图1是图示根据示例实施例的用于深度感知图像处理的计算机实现的方法的流程图。
[0011]图2A到2D示出根据示例实施例的用于编辑图像的图形界面。
[0012]图3A和3B示出根据示例实施例的用于编辑图像和/或与图像交互的另一个图形界面。
[0013]图4A到4C示出根据示例实施例的用于编辑图像和/或与图像交互的另一个图形界面。
[0014]图5A到5E示出根据示例实施例的用于编辑图像和/或与图像交互的另一个图形界面。
[0015]图6A和6B示出根据示例实施例的用于编辑图像和/或与图像交互的另一个图形界面。
[0016]图7A到7C示出根据示例实施例的用于编辑图像和/或与图像交互的另一个图形界面。
[0017]图8A到8D示出根据示例实施例的用于编辑图像和/或与图像交互的另一个图形界面。
[0018]图9是根据示例实施例的计算设备的框图。
具体实施方式
[0019]本申请描述用于结合深度图数据利用图像分段来提供各种类型的深度感知照片编辑的方法和系统。可以在图像后处理中或实时地(例如，在用于相机应用的实况视图取景器中)应用深度感知照片编辑。
[0020]I.图像的分段
[0021]示例实施例可以利用用于(或表示)图像的分段数据来对图像执行各种类型的图像处理。特别地，示例实施例可以利用对象分段数据，诸如在图像内勾勒、隔离或分离人或其他感兴趣对象的分段蒙版，例如通过指示由场景中的一个或多个前景对象占据的图像的一个或多个区域，以及与场景背景相对应的图像的一个或多个区域。
[0022]蒙版常常用在图像处理中并且能够涉及将图像内的像素值设置为零或某个其他背景值。例如，蒙版图像能够对应于其中一些像素强度值为零而其他像素值为非零的图像(例如，使用“1”和“0”的二元蒙版)。只要在蒙版图像中像素强度值为零，那么就能够将所得的掩蔽图像的像素强度设置为背景值(例如，零)。为了进一步图示，示例蒙版可以涉及将与图像的前景中的对象相对应的所有像素设置为白色并且将与背景特征或对象相对应的所有像素设置为黑色。预测蒙版能够对应于由卷积神经网络(CNN)产生的图像的估计分段(或其他估计输出)。能够将预测蒙版与基准真相蒙版进行比较，该基准真相蒙版能够表示输入图像的期望分段。
[0023]在实施例中，可以通过利用机器学习的过程来生成或提供图像分段蒙版。例如，可以训练CNN并且随后利用它来解决语义分段任务。特定分段任务可以是使图像的前景中的
对象与图像中的一个或多个背景区域分开的二元或多级预测蒙版。预测蒙版能够对应于由CNN产生的图像的估计分段(或其他估计输出)。
[0024]在一些实施例中，可以利用CNN来实时地估计图像或视频分段蒙版，使得能够针对视频(例如，以每秒30帧)以及针对静止图像来执行分段。为了这样做，可以将图像序列中的每个图像分成其三个颜色信道(RGB)，并且然后可以将这三个颜色信道与用于序列中的前一个图像的蒙版级联。然后，可以将此级联的帧作为输入提供给CNN，该CNN输出用于当前图像的蒙版。针对当前图像的蒙版输出是用于当前图像的分段数据的示例。
[0025]更具体地，在一些实施例中，图像补丁中的每个像素的每个颜色信道是单独的初始输入值。假定每个像素有三个颜色信道(例如，红色、绿色和蓝色)，甚至像素的小32x32补丁也将为第一隐藏层中的每个节点产生3072个传入权重。能够将此CNN架构认为是三维的，其中节点被布置在具有宽度、高度和深度的块中。例如，可以将具有3个颜色信道的前述32
×
32像素补丁布置到具有32个节点的宽度、32个节点的高度和3个节点的深度的输入层中。
[0026]当利用其中输入图像数据依靠来自序列中的前一个图像帧的蒙版的CNN时，示例CNN能够提供帧到帧的时间连续性，同时还说明时间不连续性(例如，意外地出现在相机视场中的人或宠物)本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：在计算设备处接收用于场景的第一图像的图像数据；确定用于所述场景的深度图；确定用于所述第一图像的分段数据；以及至少部分地基于(a)所述深度图和(b)所述分段数据，处理所述第一图像以生成所述第一图像的编辑版本。2.根据权利要求1所述的方法，其中，处理所述第一图像包括应用对象移除过程以从所述第一图像移除所选对象。3.根据权利要求1所述的方法，其中，处理所述第一图像包括：至少部分地基于所述分段数据，标识所述第一图像中的一个或多个对象；经由图形界面接收对象移除输入，其中，所述对象移除输入指示对所标识的对象中的至少一个的选择；以及应用对象移除过程以从所述第一图像中移除所述至少一个所选对象。4.根据权利要求3所述的方法，其中，处理所述第一图像进一步包括：基于所述深度图，确定所述第一图像中与所述至少一个所选对象相邻或靠近的至少一个区域的深度信息；使用用于所述至少一个相邻或靠近区域的所述深度信息以生成替换图像数据；以及用所述替换图像数据替换所述第一图像中的所述至少一个所选对象。5.根据权利要求1所述的方法，其中，处理所述第一图像包括，应用选择性缩放过程以改变所述图像中的至少一个所选对象相对于所述图像中的背景的大小。6.根据权利要求5所述的方法，其中，应用所述选择性缩放过程包括：至少部分地基于所述分段数据，标识所述第一图像中的一个或多个对象；经由图形界面接收选择性缩放输入，其中，所述选择性缩放输入指示对所标识的对象中的至少一个的选择；以及应用所述选择性缩放过程以改变所述图像中的所述至少一个所选对象相对于所述图像中的背景的大小。7.根据权利要求6所述的方法，其中，所述选择性缩放过程减小所述至少一个所选对象相对于所述背景的大小，并且其中，处理所述第一图像进一步包括：基于所述深度图，确定所述第一图像中与所述至少一个所选对象相邻或靠近的至少一个区域的深度信息；使用所述至少一个相邻或靠近区域的所述深度信息以为所述第一图像中的区域生成替换图像数据，所述区域在所述至少一个所选对象的大小相对于所述背景减小时被揭示；以及用所述替换图像数据替换所述第一图像中的所述被揭示区域。8.根据权利要求1所述的方法，其中，处理所述第一图像包括：应用视角调整过程，所述视角调整过程模拟经由所述图像中的至少一个所选对象相对于所述图像中的背景的移动而在所述图像中捕获的视角的变化。9.根据权利要求8所述的方法，其中，应用所述视角调整过程包括：至少部分地基于所述分段数据，标识所述图像中的至少一个对象和至少一个背景区
域；基于所述深度图，确定用于所述至少一个对象的第一深度信息和用于所述至少一个背景区域的第二深度信息；以及基于所述第一深度信息与所述第二深度信息的比较，确定至少一个对象的每单位移动的所述背景区域的移动量。10.根据权利要求1所述的方法，其中，处理所述第一图像包括，将深度可变的光源效果应用于所述第一图像。11.根据权利要求10所述的方法，其中，应用所述深度可变的光源效果包括：在三维图像坐标系中确定光源的坐标；至少部分地基于所述分段数据，标识所述图像中的至少一个对象和至少一个背景区域；基于所述深度图，确定所述至少一个对象的一个或多个表面在所述三维图像坐标系中的相应位置；以及至少部分地基于(a)所述至少一个对象的所述一个或多个表面的所述相应位置，以及(b)所述光源的所述坐标，将光照效果应用到所述一个或多个表面。12.根据权利要求11所述的方法，其中，应用所述深度可变的光源效果进一步包括：基于所述深度图，确定所述至少一个背景区域的深度信息；以及至少部分地基于(a)所述至少一个背景区域的所述深度信息，(b)所述光源的所述坐标，以及(c)所述至少一个对象在所述三维图像坐标系中的坐标，生成对应于所述至少一个对象和所述光源的所述背景区域的阴影数据。13.根据权利要求1所述的方法，其中，处理所述第一...

【专利技术属性】
技术研发人员：蒂姆，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：