通过更改神经网络参数来精确汇总制造技术

提供了一种计算机实现的方法，所述计算机实现的方法用于减少用于基于机器学习的分类器的汇总的训练开销。所述方法包括：由处理器训练来自所述汇总中的给定的基于机器学习的分类器，以获得训练的分类器。所述方法还包括：由所述处理器转储用于训练所述训练的分类器的参数，以获得转储的参数。所述方法还包括：由所述处理器记录所述转储的参数中的每个转储的参数的变化率。所述方法附加地包括：由所述处理器通过针对由所述训练的分类器的每个局部预测来计算所述转储的参数加上变化率乘以随机数，来从所述汇总中的至少一个其他基于机器学习的分类器中创建新的分类器，而不需要训练。

【技术实现步骤摘要】
通过更改神经网络参数来精确汇总
技术介绍
本专利技术总体上涉及机器学习，并且更具体地涉及通过更改神经网络参数来精确汇总。在预测每个输入的类别标签的基于机器学习的分类任务中，通常使用汇总技术来获得更好的精确度。使用汇总方法，通过对多个局部预测进行汇总(例如求平均)来获得最终的分类结果；局部预测基于不同的分类器或基于略微修改(例如使用裁剪或翻转)的输入图像。因此，总的来说，更精确和独立的局部预测通过对它们进行汇总来得到更好的最终结果。通过从头开始独立训练多个分类器，可以获得独立的分类器。但是，同样会导致训练多个分类器的开销。因此，需要一种低开销的方案来训练用于汇总的多个分类器。
技术实现思路
根据本专利技术的一方面，提供了一种计算机实现的方法，所述方法用于减少针对基于机器学习的分类器的汇总的训练开销。所述方法包括由处理器训练来自汇总中的给定的基于机器学习的分类器，以获得训练的分类器。该方法还包括由处理器转储用于训练所述训练的分类器的参数以获得转储的参数。该方法还包括由处理器记录转储的参数中的而每个的变化率。所述方法还包括：由处理器通过针对由训练的分类器的每个局部预测来计算转储的参数加上变化率乘以随机数，从汇总中的至少一个其他基于机器学习的分类器创建新的分类器，而不需要训练。根据本专利技术的另一个方面，提供了一种计算机程序产品，所述计算机程序产品用于减少基于机器学习的分类器的汇总的训练开销。所述计算机程序产品包括具有与其一起体现的程序指令的非暂态计算机可读存储介质。程序指令由计算机可执行以使计算机执行方法。该方法包括由计算机的处理器训练来自汇总中的给定的基于机器学习的分类器，以获得训练的分类器。该方法还包括由处理器转储用于训练所述训练的分类器的参数以获得转储的参数。该方法还包括由处理器记录转储的参数中的每个的变化率。所述方法还包括：由处理器通过针对训练的分类器的每个局部预测来计算转储的参数加变化率乘以随机数，来从汇总中的至少一个其他基于机器学习的分类器创建新的分类器，而不需要训练。根据本专利技术的又一方面，提供了一种计算机处理系统，所述计算机处理系统用于减少用于基于机器学习的分类器的汇总的训练开销。所述系统包括用于存储程序代码的存储器。该系统进一步包括硬件处理器，该硬件处理器用于运行程序代码以训练来自汇总中的给定的基于机器学习的分类器以获得训练的分类器。硬件处理器还运行程序代码以转储用于训练所述训练的分类器的参数，以获取转储的参数。硬件处理器还运行程序代码以记录转储的参数中的每个的变化率。硬件处理器还运行程序代码，以通过针对由训练的分类器的每个局部预测来计算转储的参数加变化率乘以随机数，来从汇总中至少一个其他基于机器学习的分类器创建新的分类器，而不需要训练。这些和其他特征和优点将从其示意性实施例的以下详细描述中变得显而易见，该详细描述将结合附图来阅读。附图说明以下描述将参考以下附图提供优选实施例的细节，在附图中：图1是示出了根据本专利技术的实施例的可以应用本专利技术的示例性处理系统的框图；图2是示出了根据本专利技术的实施例的可以应用本专利技术的示例性神经网络的框图；图3是示出了根据本专利技术的实施例的示例性人工神经网络(ANN)架构的框图；图4是示出了根据本专利技术的实施例的用于减少在训练神经网络的汇总中的训练开销的示例性方法的流程图；图5是示出了根据本专利技术的实施例的可以将本专利技术应用于的另一示例性环境的框图；以及图6是示出了根据本专利技术的实施例的可以将本专利技术应用于的另一示例性环境的框图。具体实施方式通过更改神经网络参数，本专利技术针对一种精确汇总。本专利技术的各种实施例通过使局部预测相对于彼此更加独立而不产生任意额外的训练开销，而实现比使用汇总方法的常规方法更高的精确度。在一个实施例中，考虑到参数中每一个的变化率来对诸如训练权重的参数进行更改。这样，避免了精确度降低。在一个实施例中，对用于训练神经网络的汇总中的给定分类器/NN的参数进行转储和更改，以提供新的训练分类器，而不必显式地训练新分类器，因为新分类器使用经训练的分类器的被更改的参数。这样，减少了神经网络的汇总的训练开销。在机器学习中，超参数是其值在学习过程开始之前被设置的参数。相反，其他参数的值是经由训练得出的。给定这些超参数，训练算法会从数据中学习参数。参数可以包括例如但不限于人工神经网络中的权重、支持向量机中的支持向量、逻辑回归或对数回归中的系数、高斯分布中的均值和标准差、最近邻居分类中的调整参数、依此类推。本专利技术的一个或多个实施例涉及非超参数，以下可交换地简称为“参数”。因此，如本领域普通技术人员很容易理解，尽管本文将ANN的权重描述为根据本专利技术的一个或多个示意性实施例而被更改的参数，但是可以根据所使用的学习机制的实现和类型来使用其他参数。例如在一个实施例中，可以使用支持向量机中的支持向量、逻辑回归或对数回归中的系数、高斯分布中的均值和标准差、最近邻居分类中的调整参数、依此类推。因此，在其他实施例中，可以将与本文所述的公式类似的公式用于权重，其中随机数，优选地小数(例如非整数或不超过2的整数)，诸如在预定范围内(例如0.5-2)，用于对参数值进行更改以获得更改值。更改值将表示训练的模型，例如在ANN汇总中的训练的ANN，即在分类器/预测器的汇总中的新分类器/预测器，而不必对新的分类器/预测器执行任意实际训练。相反，更改值的计算代替和/或以其他方式代替了通常被执行但本专利技术避免的训练过程。图1是示出了根据本专利技术的实施例的可以应用本专利技术的示例性处理系统100的框图。处理系统100包括处理单元(例如CPU)101的集合、GPU102的集合、存储设备103的集合、通信设备104的集合、以及外围设备105的集合。CPU101可以是单核CPU或多核CPU。GPU102可以是单核GPU或多核GPU。一个或多个存储设备103可以包括高速缓存、RAM、ROM和其他存储器(闪存、光学、磁性等)。通信设备104可以包括无线和/或有线通信设备(例如网络(例如WIFI等)适配器等)。外围设备105可以包括显示设备、用户输入设备、打印机、成像设备等。处理系统100的元件通过一个或多个总线或网络(由附图标记110共同表示)连接。在一个实施例中，存储设备103可以存储经特殊编程的软件模块，以便将计算机处理系统转换为被配置为实现本专利技术的各个方面的专用计算机。在一个实施例中，专用硬件(例如专用集成电路等)可以用于实现本专利技术的各个方面。当然，如本领域技术人员容易想到的，处理系统100还可以包括其他元件(未示出)，并且省略某些元件。例如根据本领域普通技术人员容易理解的，取决于各种其他输入设备和/或输出设备的特定实现，可以将这些各种其他输入设备和/或输出设备包括在处理系统100中。例如可以使用各种类型的无线和/或有线输入和/或输出设备。而且，如本领域的普通技术人员容易理解的，还可以利用各种配置的附加处理器、控制器、存储器等。给定本文提供的本专利技术的教导，本领域的普通技术人员很容易想到处理系统本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，所述方法用于减少针对基于机器学习的分类器的汇总的训练开销，所述方法包括：/n由处理器训练来自所述汇总中的给定的基于机器学习的分类器，以获得训练的分类器；/n由所述处理器转储被用于训练所述训练的分类器的参数，以获得转储的参数；/n由所述处理器记录所述转储的参数中的每个转储的参数的变化率；以及/n由所述处理器通过针对由所述训练的分类器的每个局部预测来计算所述转储的参数加上变化率乘以随机数，来从所述汇总中的至少一个其他基于机器学习的分类器创建新分类器，而不需要训练。/n

【技术特征摘要】
20190515 US 16/412,9061.一种计算机实现的方法，所述方法用于减少针对基于机器学习的分类器的汇总的训练开销，所述方法包括：
由处理器训练来自所述汇总中的给定的基于机器学习的分类器，以获得训练的分类器；
由所述处理器转储被用于训练所述训练的分类器的参数，以获得转储的参数；
由所述处理器记录所述转储的参数中的每个转储的参数的变化率；以及
由所述处理器通过针对由所述训练的分类器的每个局部预测来计算所述转储的参数加上变化率乘以随机数，来从所述汇总中的至少一个其他基于机器学习的分类器创建新分类器，而不需要训练。


2.根据权利要求1所述的计算机实现的方法，其中用于训练所训练的分类器的所述转储的参数是所述给定的基于机器学习的分类器中的连接权重。


3.根据权利要求1所述的计算机实现的方法，其中记录步骤是响应于转储步骤而被执行的。


4.根据权利要求1所述的计算机实现的方法，其中所述新分类器在缺少训练所述新分类器时被创建用于推断使用。


5.根据权利要求1所述的计算机实现的方法，其中创建步骤基于所记录的所述变化率来对所述转储的参数进行更改，以避免由所述新分类器的预测精确度降低。


6.根据权利要求1所述的计算机实现的方法，其中所述随机数取自有限范围的随机数。


7.根据权利要求1所述的计算机实现的方法，其中所述变化率是从最终训练时期的开始时间到结束时间。


8.根据权利要求1所述的计算机实现方...

【专利技术属性】
技术研发人员：井上拓，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US