训练精炼的机器学习模型制造技术

一种用于训练精炼的机器学习模型的方法、系统和装置，包括编码在计算机存储媒体上的计算机程序。其中一个方法包括训练繁冗的机器学习模型，其中该繁冗的机器学习模型被配置为接收输入并生成针对多个分类中的每个的相应的分数；以及在多个训练输入上训练精炼的机器学习模型，其中该精炼的机器学习模型也被配置为接收输入并生成针对所述多个分类的分数，包括：使用繁冗的机器学习模型处理每个训练输入以生成针对该训练输入的繁冗的目标软输出；以及训练精炼的机器学习模型以针对每个训练输入生成与针对该训练输入的该繁冗的目标软输出匹配的软输出。出匹配的软输出。出匹配的软输出。

【技术实现步骤摘要】
训练精炼的机器学习模型
[0001]分案说明
[0002]本申请属于申请日为2015年6月8日的中国专利技术专利申请201510435904.1的分案申请。


[0003]本说明书涉及训练机器学习模型。

技术介绍

[0004]机器学习模型接收输入并基于所接收的输入和模型的参数值生成输出。例如，机器学习模型可接收图像并生成针对每个分类集合的分数，针对给定分类的分数表示该图像中包含属于该分类的对象的图像的概率。
[0005]机器学习模型可由例如线性或非线性操作的单个级别组成或者可为深度网络，即由多个级别组成的机器学习模型，其中的一个或多个可为非线性操作的层。深度网络的一个示例是具有一个或多个隐藏层的神经网络。

技术实现思路

[0006]总的来说，本说明书描述了用于使用繁冗的机器学习模型训练精炼的机器学习模型的技术。
[0007]可实施本说明书中描述的主题的特定实施例以便实现一个或多个下述优点。精炼的机器学习模型相对于繁冗的机器学习模型，更易于部署，即，因为它比繁冗的机器学习模型需要更少的计算、存储或者两本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练图像处理模型的系统，所述系统包括一个或多个计算机以及存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时使得所述一个或多个计算机执行方法，所述方法包括：训练繁冗的机器学习模型，其中所述繁冗的机器学习模型被配置为接收表示图像的输入图像数据并生成针对多个分类中的每个的相应的分数，其中，所述分数表示所述图像包含属于该分类的对象的概率；以及在多个训练图像上训练精炼的机器学习模型，其中所述精炼的机器学习模型也被配置为接收表示图像的输入图像数据并生成针对所述多个分类中的每个的相应分数，其中，所述分数表示所述图像包含属于该分类的对象的概率，包括：使用所述繁冗的机器学习模型处理每个训练图像以生成针对该训练图像的繁冗的目标软输出；以及训练所述精炼的机器学习模型以针对所述多个训练图像中的每个生成与针对该训练图像的繁冗的目标软输出匹配的软输出，其中，繁冗的目标软输出和与所述繁冗的目标软输出匹配的软输出各自包括由相应的机器学习模型的最后层生成的针对所述多个分类中的每个的相应的软分数，并且其中每个软分数满足：其中q
i
是针对分类i的分数，z
i
是由所述最后层接收的相应的机器学习模型的前一层的输出的加权组合，j的范围为从1到所述多个分类中的分类的总数，T是温度常数，并且其中为了生成所述软分数，T被设置为比在相应的机器学习模型已被训练后用于生成针对所述分类的分数的值更高的值。2.根据权利要求1所述的系统，其中在所述机器学习模型已被训练后用于生成针对所述分类的分数的T的值为1。3.根据权利要求2所述的系统，进一步包括在所述精炼的机器学习模型已被训练后为所述精炼的机器学习模型将T的值设置为1。4.根据权利要求1所述的系统，其中机器学习模型的软输出包括由所述机器学习模型的最后层生成的针对所述多个分类中的每个的相应的软分数，并且其中所述软分数定义出与在所述机器学习模型已被训练后由所述机器学习模型生成的分数相比在所述多个分类上的更软的分数分布。5.根据权利要求1所述的系统，其中所述繁冗的机器学习模型是由多个机器学习模型组成的集成模型，并且其中由所述繁冗...

【专利技术属性】
技术研发人员：奥里奥尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：