确定摄影函数的感兴趣区域制造技术

提供了与摄影相关的设备和方法。计算装置可以接收输入图像。所述计算装置的对象检测器可以确定与在所述输入图像中检测到的对象相关联的所述输入图像的对象感兴趣区域。经过训练的机器学习算法可以基于所述对象感兴趣区域和所述输入图像来确定所述输入图像的输出摄影感兴趣区域。可以将所述机器学习算法训练为识别适合于由摄影函数用于图像生成的输出摄影感兴趣区域。所述计算装置可以生成与所述输出摄影感兴趣区域相关的输出。

【技术实现步骤摘要】
【国外来华专利技术】确定摄影函数的感兴趣区域
技术介绍
许多现代计算装置(包括移动电话、个人计算机以及平板)包括图像捕获装置，诸如静态和/或视频照相机。图像捕获装置可以捕获图像，诸如包括人、动物、风景和/或对象的图像。一些图像捕获装置和/或计算装置在捕获和生成图像时利用自动摄影函数，诸如自动曝光(AE)函数、自动白平衡(AWB)函数以及自动聚焦(AF)函数。在已经捕获和生成了图像之后，图像可以被保存、显示、传输、打印到纸张和/或以其它方式被利用。
技术实现思路
在一个方面中，提供了一种计算机实现的方法。计算装置接收输入图像。利用计算装置的对象检测器来确定输入图像的对象感兴趣区域。输入图像的对象感兴趣区域与在输入图像中检测到的对象相关联。经过训练的机器学习算法用于基于对象感兴趣区域和输入图像来确定输入图像的输出摄影感兴趣区域。将机器学习算法训练为识别适合于由摄影函数用于图像生成的摄影感兴趣区域。计算装置生成与输出摄影感兴趣区域相关的输出。在另一方面中，提供了一种计算装置。该计算装置包括：一个或多个处理器；以及一种或多种计算机可读介质，该一种或多种计算机可读介质在其上存储有计算机可读指令，该计算机可读指令在被一个或多个处理器执行时使计算装置进行功能。该功能包括：接收输入图像；利用计算装置的对象检测器来确定输入图像的与在输入图像中检测到的对象相关联的对象感兴趣区域；使用经过训练的机器学习算法基于对象感兴趣区域和输入图像来确定输入图像的输出摄影感兴趣区域，其中，将机器学习算法训练为识别适合于由摄影函数用于图像生成的摄影感兴趣区域；以及生成与输出摄影感兴趣区域相关的输出。在另一方面中，提供了一种计算装置。该计算装置包括：用于接收输入图像的构件；用于利用计算装置的对象检测器来确定与在输入图像中检测到的对象相关联的输入图像的对象感兴趣区域的构件；用于使用经过训练的机器学习算法基于对象感兴趣区域和输入图像来确定输入图像的输出摄影感兴趣区域的构件，其中，将机器学习算法训练为识别适合于由摄影函数用于图像生成的摄影感兴趣区域；以及用于生成与输出摄影感兴趣区域相关的输出的构件。在另一方面中，提供了一种制品。该制品包括一种或多种计算机可读介质，该一种或多种计算机可读介质在其上存储有计算机可读指令，该计算机可读指令在由计算装置的一个或多个处理器执行时使计算装置进行功能。该功能包括：接收输入图像；利用计算装置的对象检测器来确定与在输入图像中检测到的对象相关联的输入图像的对象感兴趣区域；使用经过训练的机器学习算法基于对象感兴趣区域和输入图像来确定输入图像的输出摄影感兴趣区域，其中，将机器学习算法训练为识别适合于由摄影函数用于图像生成的摄影感兴趣区域；以及生成与输出摄影感兴趣区域相关的输出。前述
技术实现思路
仅仅是说明性的，且不旨在以任何方式进行限制。除了上文所描述的说明性方面、实施例以及特征之外，其它方面、实施例以及特征将通过参考各图以及以下详细描述和附图而变得显而易见。附图说明图1示出了根据示例实施例的具有摄影感兴趣区域(ROI)和对象感兴趣区域的图像。图2是根据示例实施例的具有一个或多个机器学习模型的训练阶段和推断阶段的系统的图。图3是图示了根据示例实施例的与机器学习算法的训练阶段相关的系统的图。图4图示了根据示例实施例的输入图像和地面实况感兴趣区域。图5是根据示例实施例的另一方法的流程图。图6是图示了根据示例实施例的与经过训练的机器学习算法的推断阶段相关的系统的图。图7是根据示例实施例的另一方法的流程图。图8图示了根据示例实施例的具有不同的机器学习算法摄影感兴趣区域的图4的输入图像。图9图示了根据示例实施例的使用对象感兴趣区域捕获的图像和使用摄影感兴趣区域捕获的另一图像。图10描绘了根据示例实施例的分布式计算架构。图11是根据示例实施例的计算装置的框图。图12描绘了根据示例实施例的布置为基于云的服务器系统的计算集群的网络。图13是根据示例实施例的另一方法的流程图。具体实施方式可以在摄影期间使用软件和/或硬件对象检测器。例如，对象检测器可以提供感兴趣区域(ROI)，该感兴趣区域包括检测到的对象和/或以其它方式与检测到的对象相关联。“对象ROI”可以是包括检测到的对象和/或以其它方式与检测到的对象相关联的感兴趣区域。可以将ROI指定为几何形状(例如，矩形、正方形、边界框、凸多边形、椭圆形)和/或指定为图像的像素掩码(mask)(或类似数据项)。例如，对象ROI可以是由对象检测器产生的矩形，该矩形限定特定对象(例如，人脸)的边界和/或包括特定对象。在通过对象检测器确定对象ROI之后，摄影函数可以接收对象ROI作为输入“摄影ROI”或提供给摄影函数的感兴趣区域。摄影函数的输出可以由照相机用于捕获图像；例如，检测到的对象的图像。这种摄影函数包括但不限于自动曝光函数、自动聚焦函数、面部检测函数、自动白平衡函数和/或局部色调映射函数。例如，自动曝光函数可以用于在捕获图像之前设置照相机的镜头的光圈、照相机的模拟和/或数字增益，和/或照相机的快门速度；自动聚焦函数可以用于调整照相机的镜头的位置以确保对象处于焦点对准；面部检测函数可以将一张或多张人脸定位于图像内；并且自动白平衡函数和/或局部色调映射函数可以提供用于调整由照相机捕获的颜色以提高图像质量的一个或多个输出。当将对象ROI用作摄影ROI时，不同摄影ROI可以比摄影函数的对象ROI更好。例如，对象检测器可以生成与描绘人脸的图像的区对准的对象ROI。然而，针对人脸使用与对象ROI不同的摄影ROI可以产生更好的摄影质量。作为示例，用于在很少覆盖或不覆盖人脸的其它部分和/或图像的其它部分的情况下识别皮肤区的自动曝光函数的摄影ROI可以为人脸提供比对象ROI更好的摄影质量。即，与在使用人脸的对象ROI时的情况相比，自动曝光函数可以使用具有人脸的最大化皮肤覆盖和图像的其它方面的最小化覆盖的摄影ROI执行得更好。作为另一示例，用于自动聚焦函数的摄影ROI通常可以位于与人脸的对象ROI相同的区域中，但可以选择该摄影ROI以使人脸的边缘的数量最大化并且使图像的背景方面最小化，因此可以与对象ROI不同。其它摄影ROI和/或摄影ROI与对象ROI之间的差异也是可能的。可以训练并将机器学习算法(诸如但不限于神经网络)用于确定摄影ROI。例如，计算装置可以接收输入图像并且使用对象检测器来确定输入图像的对象ROI；例如，在输入图像中所描绘的人脸的对象ROI。然后，经过训练的机器学习算法可以用于识别一个或多个摄影ROI，该一个或多个摄影ROI适合于由一个或多个摄影函数用于生成一个或多个附加图像。机器学习算法可以基于输入图像并且可能基于在输入图像中检测到的对象ROI来确定摄影ROI。即，在一些示例中，机器学习算法可以基于输入图像和对象ROI来确定摄影ROI，而在其它示例中，机器学习算法可以在不将对象ROI作为输入的情况下基于输入图像来确定摄影ROI。由机器学习算法确定的摄影ROI可以与对象本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，所述计算机实现的方法包括：/n接收计算装置处的输入图像；/n利用所述计算装置的对象检测器来确定与在所述输入图像中检测到的对象相关联的所述输入图像的对象感兴趣区域；/n使用经过训练的机器学习算法基于所述对象感兴趣区域和所述输入图像来确定所述输入图像的输出摄影感兴趣区域，其中，所述机器学习算法被训练以识别适合于由摄影函数用于图像生成的摄影感兴趣区域；以及/n生成与所述输出摄影感兴趣区域相关的所述计算装置的输出。/n

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，所述计算机实现的方法包括：
接收计算装置处的输入图像；
利用所述计算装置的对象检测器来确定与在所述输入图像中检测到的对象相关联的所述输入图像的对象感兴趣区域；
使用经过训练的机器学习算法基于所述对象感兴趣区域和所述输入图像来确定所述输入图像的输出摄影感兴趣区域，其中，所述机器学习算法被训练以识别适合于由摄影函数用于图像生成的摄影感兴趣区域；以及
生成与所述输出摄影感兴趣区域相关的所述计算装置的输出。


2.根据权利要求1所述的计算机实现的方法，其中，所述计算装置与照相机相关联，并且其中，生成所述计算装置的所述输出包括：
将所述输出摄影感兴趣区域提供给所述照相机；以及
由所述照相机利用所述输出摄影感兴趣区域来执行所述摄影函数。


3.根据权利要求2所述的计算机实现的方法，其中，生成所述计算装置的所述输出进一步包括：
在由所述照相机执行所述摄影函数之后，使用所述照相机来捕获所述对象的第二图像；以及
提供包括所述第二图像的所述计算装置的输出。


4.根据权利要求1至3中的任一项所述的计算机实现的方法，其中，所述摄影函数包括以下中的一个或多个：自动聚焦函数、自动曝光函数、面部检测函数和/或自动白平衡函数。


5.根据权利要求1至4中的任一项所述的计算机实现的方法，其中，所述输出摄影感兴趣区域包括矩形感兴趣区域。


6.根据权利要求1至5中的任一项所述的计算机实现的方法，其中，所述经过训练的机器学习算法包括特征提取器，所述特征提取器被配置为从所述输入图像中提取特征以用于确定一个或多个摄影感兴趣区域，所述一个或多个摄影感兴趣区域包括所述输出摄影感兴趣区域。


7.根据权利要求6所述的计算机实现的方法，其中，所述经过训练的机器学习算法包括与一个或多个摄影函数相关联的一个或多个回归器，所述一个或多个回归器被配置为基于由所述特征提取器提取的所述特征来确定所述一个或多个摄影感兴趣区域。


8.根据权利要求1至7中的任一项所述的计算机实现的方法，进一步包括：
基于所述对象感兴趣区域来确定地面实况感兴趣区域；
利用所述机器学习算法来确定所述摄影函数的所述输出摄影感兴趣区域；以及
基于所述输出摄影感兴趣区域与所述地面实况感兴趣区域之间的比较来训练所述机器学习算法。


9.根据权利要求8所述的计算机实现的方法，其中，确定所述地面实况...

【专利技术属性】
技术研发人员：瑞安·盖斯，杨瑞多，马克·勒瓦，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US