学习统一嵌入制造技术

描述了一种用于在数据处理装置上使用神经网络生成统一机器学习模型的计算机实施的方法。该方法包括数据处理装置为多个对象顶点中的每一个确定相应学习目标。数据处理装置基于神经网络的两个或更多个嵌入输出来确定相应学习目标。该方法还包括数据处理装置训练神经网络以识别与多个对象顶点中的每一个相关联的数据。数据处理装置使用相应学习目标并基于第一损失函数来训练神经网络。数据处理装置使用经训练的神经网络来生成统一机器学习模型，其中该模型被配置为识别与多个对象顶点中的每一个相关联的特定数据项。

Unified learning embedding

This paper describes a computer implementation method for generating a unified machine learning model using neural networks on data processing devices. The method includes a data processing device to determine a corresponding learning target for each of a plurality of object vertices. The data processing device determines the corresponding learning target based on two or more embedded outputs of the neural network. The method also includes data processing apparatus training neural network to identify the data associated with each vertex of multiple objects. The data processing device uses the corresponding learning target and trains the neural network based on the first loss function. The data processing apparatus uses a trained neural network to generate a unified machine learning model, which is configured to identify specific data items associated with each of a plurality of object vertices.

【技术实现步骤摘要】
【国外来华专利技术】学习统一嵌入
技术介绍
本说明书涉及训练统一(unified)神经网络模型。神经网络是机器学习模型，其采用一层或多层操作来为接收的输入生成输出，例如分类。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层(即网络的下一隐藏层或输出层)的输入。网络的一些或所有层按照相应参数集的当前值从接收的输入生成输出。一些神经网络包括一个或多个卷积神经网络层。每个卷积神经网络层具有一组相关联的内核。每个内核包括由用户创建的神经网络模型建立的值。在一些实施方式中，内核识别特定图像轮廓、形状或颜色。内核可以表示为权重输入的矩阵结构。每个卷积层也可以处理激活输入的集合。该激活输入的集合也可以表示为矩阵结构。
技术实现思路
本说明书描述了用于在数据处理装置上使用神经网络生成统一机器学习模型的系统和方法。根据所描述的技术，数据处理装置为一组对象顶点中的每个对象顶点确定学习目标。数据处理装置可以基于神经网络的两个或更多个嵌入(embedding)输出来确定每个学习目标。每个嵌入输出可以由使用三元组损失函数(tripletlossfunction)单独训练的独立专用模型生成。每个专用模型被配置为识别与特定对象顶点相关联的数据。当数据处理装置训练神经网络以识别与组中的每个对象顶点相关联的数据时，生成统一机器学习模型。数据处理装置基于L2损失函数并使用专用模型的相应学习目标来训练神经网络。数据处理装置使用经训练的神经网络来生成统一机器学习模型。统一模型可以被配置为识别包括对象顶点中的每一个中的项的对象表示的特定电子数据项。本说明书中描述的主题的一个方面可以体现在用于在数据处理装置上使用神经网络生成统一机器学习计算模型的计算机实施的方法中。该方法包括：由数据处理装置并且为神经网络确定多个对象顶点中的每一个的相应学习目标，其中每个对象顶点定义属于该顶点的对象的不同类别；由数据处理装置并且基于第一损失函数来训练神经网络，以识别与多个对象顶点中的每一个相关联的数据，其中神经网络是使用相应学习目标来训练的；以及由数据处理装置并且使用基于第一损失函数训练的神经网络生成统一机器学习模型，该统一机器学习模型被配置为识别包括在与多个对象顶点中的每一个相关联的数据中的项。这些和其它实施方式可以各自可选地包括以下特征中的一个或多个。例如，在一些实施方式中，为神经网络确定相应学习目标还包括：由数据处理装置并且基于第二损失函数训练至少一个其它神经网络，以识别与多个对象顶点中的每一个相关联的数据；响应于训练，由数据处理装置生成两个或更多个嵌入输出，其中每个嵌入输出指示特定学习目标并且包括对应于与特定对象顶点相关联的数据的参数的向量；以及由数据处理装置并且使用基于第二损失函数训练的至少一个其它神经网络生成相应机器学习模型，每个机器学习模型被配置为使用特定嵌入输出。在一些实施方式中，为神经网络确定相应学习目标还包括：提供从相应独立模型生成的相应学习目标，用于训练神经网络。在一些实施方式中，多个对象顶点中的每一个对应于项的特定类别，并且与多个对象顶点中的每一个相关联的数据包括项的特定类别中的项的图像数据。在一些实施方式中，特定类别是服饰类别，并且特定类别的项包括以下各项中的至少一个：手提包、鞋子、连衣裙、裤子或外套；并且其中图像数据指示以下各项中的至少一个的图像：特定手提包、特定鞋子、特定连衣裙、特定裤子或特定外套。在一些实施方式中，相应机器学习模型中的每一个被配置为识别与特定对象顶点相关联的数据且在第一准确度内；并且统一机器学习模型被配置为识别与多个对象顶点中的每一个相关联的数据且在超过第一准确度的第二准确度内。在一些实施方式中，确定多个对象顶点中的每一个的相应学习目标包括：分析两个或更多个嵌入输出，每个嵌入输出对应于多个对象顶点中的特定对象顶点；以及基于该分析，确定多个对象顶点中的每一个的相应学习目标。在一些实施方式中，第一损失函数是L2损失函数，并且生成统一机器学习模型包括：生成最小化与L2损失函数相关联的计算输出的特定统一机器学习模型。在一些实施方式中，神经网络包括接收多个层输入的多个神经网络层，并且其中基于第一损失函数训练神经网络包括：执行批量规范化(batchnormalization)以规范化到特定神经网络层的层输入；以及响应于执行批量规范化，最小化协变量偏移。在一些实施方式中，第二损失函数是三元组损失函数，并且生成相应机器学习模型包括：基于锚图像、正图像和负图像之间的关联生成特定机器学习模型。该方面和其它方面的其它实施方式包括对应系统、装置和计算机程序，其被配置为执行编码在计算机存储设备上的方法的动作。一个或多个计算机或电路的计算系统可以通过安装在系统上的软件、固件、硬件或它们的组合来如此配置，使得在操作中使系统执行这些动作。一个或多个计算机程序可以通过具有指令来如此配置，该指令在被数据处理装置运行时使得装置执行这些动作。本说明书中描述的主题可以在特定实施例中实施，以实现一个或多个以下优点。对象辨别在视觉研究中受到越来越多的关注。在这种背景下，所描述的教导包括使用神经网络来使用L2损失函数生成统一机器学习模型的过程，其中该统一模型可以用于识别或辨别多个对象顶点的各种对象(例如，连衣裙、手提包、鞋子)。例如，给定描绘一件衣服的表示的图像数据，根据所描述的教导生成的统一模型可用于定位或检索相同或相似的项。在一些实例中，项的外观可能随着光照、视点、遮挡和背景条件而改变。不同的对象顶点也可以具有不同的特性，使得来自连衣裙顶点的图像可能比来自鞋子顶点的图像经历更多的变形。因此，由于这些区别，独立模型被训练来识别每个对象顶点中的项。然而，独立专用模型要求用于模型存储的大量资源和增加的计算需求来支持多个模型的部署。当在移动平台上使用多个模型时，这些资源负担可能会变得更加严重。因此，用于跨不同服饰顶点的对象辨别的统一模型可以降低处理器利用率，并提供增加的示例对象辨别系统的计算效率。此外，对象检索功能可以通过将多个专用模型组合到使用更小计算覆盖量(footprint)的单个统一模型中来高效地执行。这导致模型生成和使用
的技术改进。本说明书中描述的主题的一个或多个实施方式的细节在附图和以下描述中阐述。从说明书、附图和权利要求书中，主题的其它潜在特征、方面和优点将变得显而易见。附图说明图1示出了用于基于第一损失函数生成机器学习模型的神经网络架构。图2示出了用于基于第二损失函数生成机器学习模型的神经网络架构。图3示出了与不同对象顶点相关的嵌入数据的示例图形表示。图4是基于特定损失函数为多个对象顶点生成统一机器学习模型的过程的示例流程图。图5示出了包括对应于特定服饰类别的对象顶点的相应嵌入模型的图形表示的图示。图6示出了具有用于获得用于训练一个或多个机器学习模型的图像数据的计算功能的图示。不同附图中相同的附图标记和名称指示相同的元素。具体实施方式机器学习系统可以使用深度神经网络来训练，以基于学习到的本文档来自技高网...

【技术保护点】
1.一种用于在数据处理装置上使用神经网络生成统一机器学习计算模型的计算机实施的方法，所述方法包括：/n由数据处理装置并且为神经网络确定多个对象顶点中的每一个的相应学习目标，其中，每个对象顶点定义属于所述顶点的对象的不同类别；/n由数据处理装置并且基于第一损失函数来训练神经网络，以识别与所述多个对象顶点中的每一个相关联的数据，其中，所述神经网络是使用相应学习目标来训练的；以及/n由数据处理装置并且使用基于第一损失函数训练的神经网络生成统一机器学习模型，所述统一机器学习模型被配置为识别包括在与所述多个对象顶点中的每一个相关联的数据中的项。/n

【技术特征摘要】
【国外来华专利技术】20170717 US 62/533,5351.一种用于在数据处理装置上使用神经网络生成统一机器学习计算模型的计算机实施的方法，所述方法包括：
由数据处理装置并且为神经网络确定多个对象顶点中的每一个的相应学习目标，其中，每个对象顶点定义属于所述顶点的对象的不同类别；
由数据处理装置并且基于第一损失函数来训练神经网络，以识别与所述多个对象顶点中的每一个相关联的数据，其中，所述神经网络是使用相应学习目标来训练的；以及
由数据处理装置并且使用基于第一损失函数训练的神经网络生成统一机器学习模型，所述统一机器学习模型被配置为识别包括在与所述多个对象顶点中的每一个相关联的数据中的项。


2.根据权利要求1所述的方法，其中，为所述神经网络确定相应学习目标还包括：
由所述数据处理装置并且基于第二损失函数训练至少一个其它神经网络，以识别与所述多个对象顶点中的每一个相关联的数据；
响应于训练，由数据处理装置生成两个或更多个嵌入输出，其中，每个嵌入输出指示特定学习目标并且包括对应于与特定对象顶点相关联的数据的参数的向量；以及
由数据处理装置并且使用基于第二损失函数训练的所述至少一个其它神经网络生成相应机器学习模型，每个机器学习模型被配置为使用特定嵌入输出。


3.根据权利要求2所述的方法，其中，为所述神经网络确定相应学习目标还包括：
提供从相应独立模型生成的相应学习目标，用于训练所述神经网络。


4.根据权利要求2或3所述的方法，其中，所述多个对象顶点中的每一个对应于项的特定类别，并且与所述多个对象顶点中的每一个相关联的数据包括项的所述特定类别中的项的图像数据。


5.根据权利要求4所述的方法，其中，所述特定类别是服饰类别，并且所述特定类别的项包括以下各项中的至少一个：手提包、鞋子、连衣裙、裤子或外套；以及
其中，所述图像数据指示以下各项中的至少一个的图像：特定手提包、特定鞋子、特定连衣裙、特定裤子或特定外套。


6.根据权利要求5所述的方法，其中：
所述相应机器学习模型中的每一个被配置为识别与特定对象顶点相关联的数据且在第一准确度内；并且
所述统一机器学习模型被配置为识别与所述多个对象顶点中的每一个相关联的数据且在超过所述第一准确度的第二准确度内。


7.根据权利要求2至6中任一项所述的方法，其中，确定所述多个对象顶点中的每一个的相应学习目标包括：
分析所述两个或更多个嵌入输出，每个嵌入输出对应于所述多个对象顶点中的特定对象顶点；以及
基于所述分析，确定所述多个对象顶点中的每一个的相应学习目标。


8.根据权利要求2至7中任一项所述的方法，其中，所述第一损失函数是L2损失函数，并且生成所述统一机器学习模型包括：
生成最小化与所述L2损失函数相关联的计算输出的特定统一机器学习模型。


9.根据权利要求2至8中任一项所述的方法，其中，所述神经网络包括接收多个层输入的多个神经网络层，并且其中，基于所述第一损失函数训练所述神经网络包括：
执行批量规范化以规范化到特定神经网络层的层输入；以及
响应于执行批量规范化，最小化协变量偏移。


10.根据权利要求2至9中任一项所述的方法，其中，所述第二损失函数是三元组损失函数，并且生成所述相应机器学习模型包括：
基于锚图像、正图像和负图像之间的关联生成特定机器学习模型。


11.根据前述权利要求中任一项所述的方法，其中，与所述多个对象顶点中的每一个相关联的数据包括图像数据。


12.一种用于使用神经网络生成统一机器学习计算模型的系统，所述计算系统包括：
用于神经网络的数据处理装置，所述数据处理装置包括一个或多个处理设备；以及
一个或多个非暂时性机器可读存储设备，用于存储可由所述一个或多个处理设备运行以使得执行包括根据任一前述权利要求的方法的操作的指令。


13.一个或多个非暂时性机器可读存储设备，用于存储可由一个或多个处理设备运行以使得执行包括根据权利要求1至10中任一项的方法的操作的指令。


14.一种用于在数据处理装置上使用神经网络生成统一机器学习计算模型的计算机实施的方法，所述方法包括：
由数据处理装置并且为神经网络确定多个对象顶点中的每一个的相应学习目标，其中，每个对象顶点定义属于所述顶点的对象的不同类别；
由数据处理装置并且基于第一损失函数来训练神经网络，以识别与所述多个对象顶点中的每一个相关联的数据，其中，所述神经网络是使用相应学习目标来训练的；以及
由数据处理装置并且使用基于第一损失函数训练的神经网络生成统一机器学习模型，所述统一机器学习模型被配置为识别包括在与所述多个对象顶点中的每一个相关联的数据中的项。


15.根据权利要求14所述的方法，其中，为所述神经网络确定相应学习目标还包括：
由所述数据处理装置并且基于第二损失函数训练至少一个其它神经网络，以识别与所述多个对象顶点中的每一个相关联的数据；
响应于训练，由数据处理装置生成两个或更多个嵌入输出，其中，每个嵌入输出指示特定学习目标并且包括对应于与特定对象顶点相关联的数据的参数的向量；以及
由数据处理装置并且使用基于第二损失函数训练的所述至少一个其它神经网络生成相应机器学习模型，每个机器学习模型被配置为使用特定嵌入输出。


16.根据权利要求15所述的方法，其中，为所述神经网络确定相应学习目标还包括：
提供从相应独立模型生成的相应学习目标，用于训练所述神经网络。


17.根据权利要求15所述的方法，其中，所述多个对象顶点中的每一个对应于项的特定类别，并且与所述多个对象顶点中的每一个相关联的数据包括项的所述特定类别中...

【专利技术属性】
技术研发人员：宋扬，李源，武勃，CY陈，张晓，H亚当，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US