机器学习和深度学习模型的基于梯度的自动调整制造技术

在本文中，水平可伸缩技术高效地配置机器学习算法以实现最佳准确度而无需知悉的输入。在实施例中，对于每个特定超参数，并且对于每个历元，计算机处理所述特定超参数。历元基于超参数元组探索一个超参数。从每个元组计算相应的分数。元组包含值的不同组合，每个值被包含在不同超参数的值范围内。元组的属于特定超参数的所有值都是不同的。元组的属于其它超参数的所有值都保持恒定。根据基于分数的第一线和基于分数的第二线的交点来缩小特定超参数的值范围。根据重复缩小的超参数值范围，最佳地配置机器学习算法。调用经配置的算法以获得结果。

【技术实现步骤摘要】
【国外来华专利技术】机器学习和深度学习模型的基于梯度的自动调整
本公开涉及机器学习。本文提出的是用于机器学习算法的高效配置的水平可伸缩技术，以实现最优准确度而无需知悉的输入。
技术介绍
虽然机器学习(ML)的应用正变得无处不在，但数据科学专业知识可能仍将稀缺。诸如对于大型企业供应商及其企业客户，依靠数据科学家可能不是可持续的或可伸缩的。ML建模涉及：·选取合适的模型。·将模型调整(tune)到给定的数据集，这是最耗时且特别的(ad-hoc)工作，其在很大程度上依赖于数据科学家的专业知识。由于以下原因，模型调整是费力的。可能涉及大量的超参数(hyperparameter)，尤其是对于具有许多参数(诸如多个层或多个神经元)的深度神经网络模型，诸如多层感知器(MLP)或卷积神经网络(CNN)。也许更重要的是，超参数可能具有广泛的可能值。实际值的选择可能会严重影响模型的性能，诸如测得的预测准确度。遗憾的是，超参数值的选择通常是特别的，并且在很大程度上取决于数据科学家的经验。模型的训练时间通常很长，并且调整需要重新训练模型，并本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n对于多个超参数中的不是类别型超参数的每个特定超参数，对于历元序列中的每个历元，通过以下操作来处理所述特定超参数：/na)对于多个超参数元组中的每个超参数元组，基于所述超参数元组计算分数，其中：/n所述超参数元组包含不同的多个值，/n所述不同的多个值中的每个值被包含在多个超参数中的不同超参数的当前值范围中，并且/n所述多个超参数元组的属于同一超参数的所有值具有相同值，除非所述同一超参数是所述特定超参数；以及/nb)根据基于所述分数的第一线与基于所述分数的第二线的交点来缩小所述特定超参数的当前值范围；/n基于所述多个超参数的当前值范围配置机器学习算法；/n调用所述机器学习算...

【技术特征摘要】
【国外来华专利技术】20170928 US 62/565,009;20180131 US 15/885,5151.一种方法，包括：
对于多个超参数中的不是类别型超参数的每个特定超参数，对于历元序列中的每个历元，通过以下操作来处理所述特定超参数：
a)对于多个超参数元组中的每个超参数元组，基于所述超参数元组计算分数，其中：
所述超参数元组包含不同的多个值，
所述不同的多个值中的每个值被包含在多个超参数中的不同超参数的当前值范围中，并且
所述多个超参数元组的属于同一超参数的所有值具有相同值，除非所述同一超参数是所述特定超参数；以及
b)根据基于所述分数的第一线与基于所述分数的第二线的交点来缩小所述特定超参数的当前值范围；
基于所述多个超参数的当前值范围配置机器学习算法；
调用所述机器学习算法以获得结果。


2.如权利要求1所述的方法，其中，所述计算所述分数包括：当所述分数超过与所述特定超参数相关联的最佳超参数分数时，更新与所述特定超参数相关联的最佳超参数值和所述最佳超参数分数。


3.如权利要求2所述的方法，其中，属于所述同一超参数的所述相同值是先前历元中的与所述特定超参数相关联的所述最佳超参数值。


4.如权利要求2所述的方法，还包括在所述每个历元的末尾处：
基于与所述多个超参数中的所述每个超参数相关联的所述最佳超参数值来计算分数；
当所述分数超过与所述多个超参数中的所述每个超参数相关联的所述最佳超参数分数时，更新与所述多个超参数中的所述每个超参数相关联的所述最佳超参数值和所述最佳超参数分数。


5.如权利要求1所述的方法，其中，对于历元序列中的每个历元，包括：当对所述历元的最佳超参数分数的改善超过阈值时：
对于所述多个超参数中作为类别型超参数的每个类别型超参数，通过以下操作来处理所述特定超参数：
对于第二多个超参数元组中的每个超参数元组，基于该超参数元组计算分数，其中：
该超参数元组包含不同的多个值，
所述多个超参数元组的属于同一超参数的所有值具有相同的值，除非所述同一超参数是所述类别型超参数，
所述多个超参数元组的属于所述类别型超参数的所有值具有不同的值。


6.如权利要求1所述的方法，其中，对于所述多个超参数，所述对于每个特定超参数同时发生。


7.如权利要求1所述的方法，其中：
所述多个超参数元组包括超参数元组的第一子集和超参数元组的第二子集；
所述第一子集的属于所述特定超参数的所有值在所述特定超参数的所述当前值范围内均等地间隔开；
对于所述第一子集的每个均等地间隔开的超参数元组，第二子集包含共线超参数元组，自属于所述特定超参数的该均等地间隔开的超参数元组的值起，所述共线超参数元组与该均等地间隔开的超参数元组相差仅预定义的量。


8.如权利要求7所述的方法，其中：
第一线包含第一点和第二点；
第二线包含第三点和第四点；
第一点基于所述第一子集的具有最佳分数的第一超参数元组；
第二点基于所述第一超参数元组的共线超参数元组；
第三点基于所述第一子集的具有第二最佳分数的第二超参数元组；
第四点基于所述第二超参数元组的共线超参数元组。


9.如权利要求8所述的方法，其中，缩小所述特定超参数的当前值范围还基于所述第一线的特定点。<...

【专利技术属性】
技术研发人员：V·瓦拉达拉珍，S·伊蒂库拉，S·阿格尔沃，N·阿格尔沃，
申请(专利权)人：甲骨文国际公司，
类型：发明
国别省市：美国;US