使用时间聚类中的隐式偏好照片的照片质量的自监督学习制造技术

本公开涉及用于执行图像的自动化标记的系统和方法。所标记的图像可以用于训练机器学习模型以推断图像属性，诸如用于建议用户动作的质量。的质量。的质量。

【技术实现步骤摘要】
【国外来华专利技术】使用时间聚类中的隐式偏好照片的照片质量的自监督学习


[0001]本公开一般地涉及机器学习。更具体地，本公开涉及可以利用指示图像质量的隐式用户信号来自动生成用于确定照片质量的所标记的训练数据的自监督学习方法。

技术介绍

[0002]在日常设备中，相机的普遍存在的性质已经导致用于存储的照片和视频的数量不断增加。虽然用户可能最初对他们拍摄的照片具有兴趣，但是随着时间的推移，这种兴趣可能减少，并且用户可能忘记他们偏好哪些照片。组织大量照片可能是耗时的，并且可能导致可用存储与当前拍摄新照片的期望相冲突的问题。
[0003]本领域需要用于学习照片质量以改进对用户偏好存储的照片的建议或指示的方法。虽然照片质量模型可用于诸如检测眼睛是否睁开的特征，但是这些模型通常应用范围窄。另外，使用典型监督学习技术开发广义机器学习模型将会需要对训练数据的大规模获取和手动标记。对训练数据的手动标记是耗时、昂贵的，并且最终可能不能真实地反映关于相对图像质量的潜在用户判断。

技术实现思路

[0004]本公开涉及用于执行图像的自动化标记的系统和方法。所标记的图像可以用于训练机器学习模型以推断图像属性，诸如用于建议用户动作的质量。
[0005]本公开的一个示例方面涉及通过利用隐式用户偏好对照片的时间聚类进行自标记来自动收集训练数据(例如，“地面实况标签”)。
[0006]本公开的另一示例方面涉及至少部分地基于时间度量来将图像分组到一个或多个聚类中。由于摄影师通常捕获同一场景的若干图像，因此对图像进行分组可以提供照片相似性的初始评估。以这种方式，时间度量可以减少用户倾向(user bias)的影响，因为可以针对聚类中的每一个图像而不是显示基本上不同的主题的图像来推断隐式信号。
[0007]本公开的另一示例方面涉及基于一个或多个推断的隐式信号来确定质量度量。
[0008]通常，本公开的示例实现方式包括用于执行图像数据的自动化标记的方法和系统，其可以包括用于以下项的计算机可执行操作：获得多个图像；至少部分地基于时间度量来将所述多个图像中的每一个图像分组到一个或多个聚类中；以及针对所述一个或多个聚类中的至少一个：获得描述相对于所述聚类中的图像中的一个或多个图像的用户动作的一个或多个用户信号；至少部分地基于描述相对于所述聚类中的图像的所述用户动作的所述一个或多个用户信号来推断用于所述聚类中的至少一个图像的质量度量；至少部分地基于针对所述聚类中的图像所确定的所述质量度量来生成用于所述聚类的至少一个图像的标签；将针对所述至少一个图像生成的所述标签与所述聚类中的所述至少一个图像相关联；以及将所标记的图像和针对所标记的图像生成的相应标签存储在训练数据集中。
附图说明
[0009]针对本领域普通技术人员的实施例的详细论述在说明书中阐述，说明书参考了附图，在附图中：
[0010]图1A图示了根据本公开的示例实现方式的包括一个或多个机器学习模型的示例计算系统。
[0011]图1B图示了根据本公开的示例实现方式的包括一个或多个机器学习模型的示例计算设备。
[0012]图1C图示了根据本公开的示例实现方式的包括一个或多个机器学习模型的另一示例计算设备。
[0013]图2A图示了根据本公开的示例实现方式的用于确定多个图像的质量度量的示例过程流程。
[0014]图2B图示了根据本公开的示例实现方式的用于基于所确定的质量度量来生成标签的示例过程流程。
[0015]图2C图示了根据本公开的示例实现方式的用于将标签关联到图像的示例过程流程。
[0016]图3A图示了根据本公开的示例实现方式的用于训练机器学习模型的流程图。
[0017]图3B图示了根据本公开的示例实现方式的显示被配置成接收包括一个或多个图像的输入并且生成包括一个或多个标签的输出的机器学习模型的示例过程流程。
[0018]图4图示了描绘根据本公开的示例实现方式的用于执行自动化标签生成的示例方法的流程图。
[0019]图5A图示了根据本公开的示例实施例的显示标签生成的示例的照片。该图描绘了一个图像具有用于每组三个图像的边界(作为示例标签)以指示该图像为更高质量。
[0020]图5B图示了根据本公开的示例实施例的显示标签生成的另一示例的照片。该图示出了一个图像具有边界作为每组三个图像中的示例标签以指示该图像为更高质量。
[0021]图6图示了根据本公开的示例实施例的实现示例机器学习模型的示例用户设备。用户设备可以包括用于图像存储或获取的一个或多个应用，该一个或多个应用可以通过应用编程接口(API)将图像数据传输到机器学习模型。由机器学习模型生成的输出也可以用于调整用于用户设备上的图像显示的(多个)设定。
[0022]图7图示了根据本公开的示例实施例的可以应用于训练个人机器学习模型的联邦学习的示例框架。
[0023]在多个图中重复的附图标记旨在标识各种实现方式中的相同特征。
具体实施方式
[0024]概述
[0025]总体上，本公开涉及用于基于指示图像质量的隐式用户信号来自动生成所标记的图像数据的系统和方法。例如，隐式信号可以描述对图像的用户动作，并且可以包括与图像相关联的数据和/或与托管图像的应用相关联的数据。描述用户动作的这种相关联数据的示例可以包括与图像的用户交互(例如，点击、缩放、编辑、点赞、查看时间和/或分享)的数量、类型、频率或性质。用户动作可以是不为任何图像提供显式标签的动作。基于这些隐式
信号，计算系统可以推断包括在图像聚类中的一个或多个图像的质量度量。计算系统可以基于所推断的质量度量自动地生成训练标签并且将训练标签应用于聚类中的一个或多个图像。通过该过程生成的训练数据可以用于训练机器学习模型。作为一个示例，可以在训练数据上训练模型以从图像的聚类中选择“最佳”图像。这样，所标记的图像数据可以用于训练机器学习模型以推断主观特性，诸如照片质量或合意性，而标签基于客观度量(诸如与图像的用户交互的数量、类型、频率或性质)来生成。
[0026]因此，本公开提出了用于通过利用隐式用户偏好对照片的时间聚类进行自标记来自动收集训练数据(例如，“地面实况标签”)的技术。这些用户偏好的示例包括停留时间、照片被查看的次数、照片是否被分享、照片是否是“收藏的”等等。时间聚类方面确保照片的内容是相似的(例如，但不相同)，这允许控制可能影响用户对那些照片的偏好的其它变量。一旦完成，该数据可以用于训练自监督模型，该自监督模型然后可以应用于其它未标记的照片以预测它们的质量。这样，不需要人类标记/注释，因此所提出的技术是相当可缩放的、高效的且廉价的。
[0027]更具体地，为了考虑主题和/或个人偏好的差异，可以基于将照片聚类到一个或多个时间聚类中来学习照片质量。时间聚类可以被定义为包括在某个时间跨度内(例如，在1、2、3、4、5、6、7、8、9、10或大于10秒的时间内)拍摄的图像。在其它示例中，聚类可以基于类似的图像内容和/或分享位置(例如，如由EXIF数本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于基于指示图像质量的隐式用户信号的对图像进行自动化标记的计算机实现的方法，所述方法包括：由一个或多个计算设备获得多个图像；由所述一个或多个计算设备至少部分地基于时间度量来将所述多个图像中的每个图像分组到一个或多个聚类中；以及针对所述一个或多个聚类中的至少一个聚类：由所述一个或多个计算设备获得一个或多个用户信号，所述一个或多个用户信号描述相对于所述聚类中的所述图像中的一个或多个图像的一个或多个用户动作；由所述一个或多个计算设备至少部分地基于描述相对于所述聚类中的所述图像的所述用户动作的所述一个或多个用户信号来推断用于所述聚类中的至少一个图像的质量度量；由所述一个或多个计算设备至少部分地基于针对所述聚类中的所述图像所确定的所述质量度量来生成用于所述聚类的至少一个图像的标签；由所述一个或多个计算设备将针对所述至少一个图像生成的所述标签与所述聚类中的所述至少一个图像相关联；以及由所述一个或多个计算设备将所标记的图像和针对所标记的图像生成的相应标签存储在训练数据集中。2.根据前述权利要求中的任一项所述的计算机实现的方法，其中，描述相对于所述聚类中的所述图像的用户动作的所述一个或多个用户信号包括用户停留数据，所述用户停留数据指示用户在所述聚类中的所述图像中的一个或多个图像上的聚合停留时间。3.根据前述权利要求中的任一项所述的计算机实现的方法，其中，描述相对于所述聚类中的所述图像的用户动作的所述一个或多个用户信号包括用户查看数据，所述用户查看数据指示每个图像已经被用户查看的次数。4.根据前述权利要求中的任一项所述的计算机实现的方法，其中，描述相对于所述聚类中的所述图像的用户动作的所述一个或多个用户信号包括用户交互数据，所述用户交互数据指示用户已经经由物理用户输入控件与每个图像交互的次数。5.根据前述权利要求中的任一项所述的计算机实现的方法，其中，描述相对于所述聚类中的所述图像的用户动作的所述一个或多个用户信号包括用户分享数据，所述用户分享数据指示每个图像已经被用户分享的次数。6.根据前述权利要求中的任一项所述的计算机实现的方法，其中，描述相对于所述聚类中的所述图像的用户动作的所述一个或多个用户信号包括用户收藏数据，所述用户收藏数据指示每个图像已经被用户收藏的次数。7.根据前述权利要求中的任一项所述的计算机实现的方法，其中，由所述一个或多个计算设备至少部分地基于针对所述聚类中的所述图像所确定的所述质量度量来生成用于所述聚类的所述至少一个图像的所述标签包括：由所述一个或多个计算设备至少部分地基于所述质量度量来标识来自所述聚类的第一图像集合，所述第一图像集合具有比来自所述聚类的第二不同的图像集合优质的质量；由所述一个或多个计算设备用第一标签来标记所述第一图像集合；以及由所述一个或多个计算设备用第二不同的标签来标记所述第二图像集合。
8.根据前述权利要求中的任一项所述的计算机实现的方法，还包括：由所述一个或多个计算设备并且使用学习技术在所述训练数据集上训练机器学习模型。9.根据权利要求8所述的计算机实现的方法，其中，所述机器学习模型被训练以从输入图像序列中选择一个或多个优质的质量的图像。10.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述训练数据集不包括由人类所标记的地面实况数据。11.根据前述权利要求中的任一项所述的计算机实现的方法，其中，由所述一个或多个计算设备将所述多个图像中的每个图像分组到一个或多个聚类中包括：由所述一个或多个计算设备标识与每个图像相关联的时间戳；以及由所述一个或多个计算设备从所述多个图像中选择图像以包括在所述一个或多个聚类中的每个聚类中，使得与每个聚类内的每个图像相关联的时间戳在时间跨度内。12.根据权利要求11所述的计算机实现的方法，其中，所述多个图像基...

【专利技术属性】
技术研发人员：肖恩，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：