提供了与将照明模型应用于对象的图像相关的装置和方法。示例方法包括：将几何模型应用于输入图像，以基于表面几何形状确定指示对象上的照明分布的表面取向图。该方法还包括：将环境光估计模型应用于输入图像，以确定要应用于输入图像的合成照明的方向。该方法还包括：基于表面取向图和合成照明的方向，应用光能模型，以确定指示要应用于输入图像的每个像素的光能的量的商图像。该方法还包括：基于商图像，增强输入图像的一部分。可以训练一个或多个神经网络来执行上述方面中的一个或多个。多个神经网络来执行上述方面中的一个或多个。多个神经网络来执行上述方面中的一个或多个。
【技术实现步骤摘要】
【国外来华专利技术】基于机器学习模型的增强的照片重新照明
[0001]相关申请的交叉引用
[0002]本申请要求享有于2020年9月30日提交的第63/085,529号美国临时专利申请的优先权，通过引用其全部内容并入本文。
技术介绍
[0003]包括移动电话、个人计算机和平板的许多现代计算设备包括诸如静态和/或视频相机这样的图像捕捉设备。图像捕捉设备可以捕捉图像，例如包括人、动物、风景和/或对象的图像。
[0004]一些图像捕捉设备和/或计算设备可以校正或以其他方式78修改所捕捉的图像。例如，一些图像捕捉设备可以提供“红眼”校正，其去除在使用诸如闪光照明这样的强光捕捉的图像中可能存在的诸如人和动物的出现红色的眼睛这样的伪像。在对所捕捉的图像进行校正之后，经校正的图像可以被保存、显示、传送、打印到纸上和/或以其他方式使用。
[0005]专业拍摄者(诸如例如肖像拍摄者)利用被摄体上的光的属性来创建被摄体的引人注目的照片。这样的拍摄者往往使用专门的设备(例如相机外置闪光灯和反光板(reflector))来定位照明并照亮他们的被摄体，以实现专业的外观。在一些实例中，这样的活动是在受控的工作室环境中进行的，并且涉及对设备、照明等的专业知识。
[0006]移动电话用户通常接触不到这样的专门的肖像工作室资源，或者不知道如何使用这些资源。然而，用户可能更喜欢获得经验丰富的肖像拍摄者的专业、高质量的结果。
技术实现思路
[0007]在一个方面，图像捕捉设备可以被配置为将专业拍摄者对光的理解和对相机外置照明的使用转化成计算机实现的方法。由机器学习组件的系统供电，图像捕捉设备可以被配置为使用户能够针对肖像或其他类型的图像创建有吸引力的照明。
[0008]在一些方面，移动设备可以配置有这些特征，从而可以实时地增强图像。在一些情况下，移动设备可以自动地增强图像。在其他方面，移动电话用户可以非破坏性地增强图像，以匹配他们的偏好。此外，例如，可以基于本文描述的技术来增强用户图像库中预先存在的图像。
[0009]在一个方面，提供了一种计算机实现的方法。计算设备将几何模型应用于输入图像，以基于对象的表面几何形状来确定指示输入图像中的对象上的照明分布的表面取向图。计算设备将环境光估计模型应用于输入图像，以确定要应用于输入图像以增强输入图像的至少一部分的合成照明的方向。计算设备基于表面取向图和合成照明的方向，应用光能模型，以确定指示要应用于输入图像的每个像素的光能的量的商图像。计算设备基于商图像来增强输入图像的所述部分。
[0010]在另一方面，提供了一种计算设备。该计算设备包括一个或多个处理器和数据存储装置。数据存储装置在其上存储有计算机可执行指令，该计算机可执行指令在由一个或多个处理器执行时使计算设备执行功能。功能包括：将几何模型应用于输入图像，以基于对
象的表面几何形状来确定指示输入图像中的对象上的照明分布的表面取向图；将环境光估计模型应用于输入图像，以确定要应用于输入图像以增强输入图像的至少一部分的合成照明的方向；基于表面取向图和合成照明的方向，应用光能模型以确定指示要应用于输入图像的每个像素的光能的量的商图像；以及基于商图像来增强输入图像的所述部分。
[0011]在另一方面，提供了一种制造品。该制造品包括其上存储有计算机可读指令的一个或多个计算机可读介质，该计算机可读指令在由计算设备的一个或多个处理器执行时使计算设备执行功能。功能包括：将几何模型应用于输入图像，以基于对象的表面几何形状来确定指示输入图像中的对象上的照明分布的表面取向图；将环境光估计模型应用于输入图像，以确定要应用于输入图像以增强输入图像的至少一部分的合成照明的方向；基于表面取向图和合成照明的方向，应用光能模型以确定指示要应用于输入图像的每个像素的光能的量的商图像；以及基于商图像来增强输入图像的所述部分。
[0012]在另一方面，提供了一种系统。该系统包括：用于将几何模型应用于输入图像以基于对象的表面几何形状来确定指示输入图像中的对象上的照明分布的表面取向图的部件；用于将环境光估计模型应用于输入图像以确定要应用于输入图像以增强输入图像的至少一部分的合成照明的方向的部件；用于基于表面取向图和合成照明的方向来应用光能模型以确定指示要应用于输入图像的每个像素的光能的量的商图像的部件；以及用于基于商图像来增强输入图像的所述部分的装置。
[0013]前面的概述仅是说明性的，并不旨在以任何方式进行限制。除了上述说明性的方面、实施例和特征，进一步的方面、实施例和特征将通过参考附图和以下详细描述以及附图而变得显而易见。
附图说明
[0014]图1示出根据示例实施例的具有不同照明的图像100。
[0015]图2是描绘根据示例实施例的用于增强图像的照明的重新照明网络的图。
[0016]图3是描绘根据示例实施例的预测表面取向图的示例网络的图。
[0017]图4是根据示例实施例的预测表面取向图的神经网络的示例架构。
[0018]图5示出根据示例实施例的来自所拍摄的反射场的示例图像。
[0019]图6示出根据示例实施例的推荐光方向的示例方法。
[0020]图7示出根据示例实施例的具有所估计的照明的示例图像。
[0021]图8A示出根据示例实施例的确定光可见度图的示例网络架构。
[0022]图8B示出根据示例实施例的突出照片光照中的表面几何形状的效果的示例图像。
[0023]图9是描绘根据示例实施例的预测商图像的示例网络的图。
[0024]图10是根据示例实施例的预测商图像的神经网络的示例架构。
[0025]图11是示出根据示例实施例的后处理技术的示例网络。
[0026]图12是根据示例实施例的示例交互式图形用户界面。
[0027]图13示出根据示例实施例的基于表面取向图的示例输入
‑
输出图像对。
[0028]图14示出根据示例实施例的示例重新照明流水线。
[0029]图15示出根据示例实施例的具有预测的面部光估计的示例输入图像。
[0030]图16是示出根据示例实施例的机器学习模型的训练和推断阶段的图。
[0031]图17描绘根据示例实施例的分布式计算架构。
[0032]图18是根据示例实施例的计算设备的框图。
[0033]图19描绘根据示例实施例的被布置为基于云的服务器系统的计算集群的网络。
[0034]图20是根据示例实施例的方法的流程图。
具体实施方式
[0035]本申请涉及使用机器学习技术(诸如但不限于神经网络技术)增强对象(例如，描绘人类面部的对象)的图像。在移动计算设备用户拍摄诸如人这样的对象的图像时，得到的图像可能不总是具有理想的照明。例如，图像可能太亮或太暗，光可能来自不期望的方向，或者照明可能包括给图像带来不期望的色调的不同颜色。此外，即使图像在一个时间确实具有期望的照明，用户也可能想要在稍后的时间改变照明。这样，出现涉及调整已获得的图像的照明的图本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：由计算设备将几何模型应用于输入图像，以基于对象的表面几何形状来确定指示输入图像中的对象上的照明分布的表面取向图；由计算设备将环境光估计模型应用于输入图像，以确定要应用于输入图像以增强输入图像的至少一部分的合成照明的方向；由计算设备基于表面取向图和合成照明的方向，应用光能模型，以确定指示要应用于输入图像的每个像素的光能的量的商图像；以及基于商图像，增强输入图像的所述部分。2.如权利要求1所述的计算机实现的方法，还包括：训练神经网络以执行下列中的一个或多个：(1)应用几何模型来预测表面取向图，(2)应用环境光估计模型来确定合成照明的方向，或者(3)应用光能模型来预测商图像。3.如权利要求2所述的计算机实现的方法，其中，神经网络被训练为应用几何模型来预测表面取向图，并且所述方法还包括：使用所训练的神经网络来预测表面取向图。4.如权利要求2所述的计算机实现的方法，其中，神经网络被训练为应用环境光估计模型来确定合成照明的方向，并且所述方法还包括：通过使用所训练的神经网络来预测合成照明的方向。5.如权利要求1
‑
4中的任一项所述的计算机实现的方法，其中，应用环境光估计模型包括：由计算设备检测输入图像中的对象的姿势，以及其中，合成照明的方向的确定基于所述姿势。6.如权利要求2所述的计算机实现的方法，其中，神经网络被训练为应用光能模型来预测商图像，并且所述方法还包括：通过使用所训练的神经网络来预测商。7.如权利要求1
‑
6中的任一项所述的计算机实现的方法，还包括：由计算设备基于表面取向图和合成照明的方向来生成光可见度图，以及其中，商图像基于所述光可见度图。8.如权利要求1
‑
7中的任一项所述的计算机实现的方法，其中，增强输入图像的所述部分包括：由计算设备确定增强输入图像的所述部分的请求；将请求增强输入图像的所述部分的请求从计算设备发送给第二计算设备，第二计算设备包括所训练的神经网络；以及在发送请求之后，计算设备从第二计算设备接收应用商图像以增强输入图像的所述部分的输出图像。9.如权利要求2
‑
8中的任一项所述的计算机实现的方法，其中，训练神经网络包括：利用对象的多个图像，其中，所述多个图像利用多个光照简档来照明对象。10.如权利要求1
‑
9中的任一项所述的计算机实现的方法，其...
【专利技术属性】
技术研发人员：S，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。