机器学习模型的自动化生成制造技术

本公开涉及诸如神经网络的机器学习模型的自动化生成。一个示例系统包括硬件处理单元和存储资源。存储资源可存储计算机可读指令，该可读指令可使硬件处理单元执行包括修改父模型以获取子模型的迭代模型生长过程。迭代模型生长过程也可以包括至少基于在候选层的初始化过程中学习到的权重来选择候选层以包括在子模型中。该系统也可以输出从子模型中选择的最终模型。

【技术实现步骤摘要】
【国外来华专利技术】机器学习模型的自动化生成
技术介绍
传统上，机器学习模型被由专家手动构建，他们定义模型的结构然后用自动化技术进行模型训练。随着机器学习模型变得越来越复杂，已做出各种尝试来自动化生成机器学习模型的过程。然而，这些努力仅取得有限的成绩。
技术实现思路
提供本“
技术实现思路
”以简化形式介绍了一些构思，这些构思将在下面的“具体实施方式”中进一步描述。本“
技术实现思路
”不旨在标识所要求保护的主题的必要特征，也不旨在用于帮助理解所要求保护的主题的范围。本说明通常涉及用于机器学习模型自动化生成的技术。一个示例包括一种可以在计算设备上被执行的方法或技术。该方法或技术可以包括执行迭代模型生长过程的两次或更多次迭代。迭代模型生长过程可以包括从一个或多个父模型构成的父模型池中选择一个特定父模型，生成多个候选层，并且当重用学习参数和/或特定父模型的结构时初始化多个候选层。迭代模型生长过程也可以包括选择诸如层的特定候选组件，以包括在子模型中用于训练。各个子模型也可以包括特定父模型、以及特定候选层中的一个或多个特定候选层、或其他结构。迭代模型生长过程也可以包括训练多个子模型用以获取经训练的子模型，并使用一个或多个标准来评估经训练的子模型。迭代模型生长过程也可以包括至少基于该评估指定个体经训练的子模型为新的父模型，并且添加新的父模型到父模型池中。该方法或技术也可以包括在两次或更多次迭代后，选择至少一个经训练的子模型作为最终模型，并输出该最终模型。另一示例包括一种系统，该系统包含硬件处理单元和存储资源。存储资源可以存储计算机可读指令，计算机可读指令当被硬件处理单元执行时使硬件处理单元执行迭代模型生长过程，该迭代模型生长过程涉及修改父模型以获取子模型。该迭代模型生长过程可以至少基于在候选层的初始化过程中学习到权重来选择候选层以包括在子模型中。该计算机可读指令也可以使硬件处理单元输出从子模型中选择的最终模型。另一示例包括一种存储指令的计算机可读存储介质，指令当被处理设备执行时使处理设备执行动作。动作可以包括执行迭代模型生长过程的两次或更多次迭代。迭代模型生长过程可以包括从一个或多个父模型构成的父模型池中选择特定父模型，初始化多个候选层，并且选择多个子模型以用于训练。各个子模型可以包括从特定父模型继承的结构和候选层中的至少一个候选层。迭代模型生长过程也可以包括训练多个子模型以获取经训练的子模型，并且至少基于一个或多个标准指定个体经训练的子模型作为新的父模型。迭代模型生长过程也可以包括添加新的父模型到父模型池。动作也包括在两次或更多次迭代后选择至少一个经训练的子模型作为最终模型，并输出最终模型。上述列出的示例旨在提供快速参考以帮助读者，且不旨在定义本文描述的构思的范围。附图说明参考附图描述具体实施方式。在附图中，附图标记的最左侧的数字表示该附图标记首次出现的附图。在说明书和附图中的不同实例中，使用相似附图标记来指示相同或相似的项目。图1图示了根据本公开构思的一些实施方式的用于机器学习模型的自动化生成的示例方法或技术。图2图示了根据本公开构思的一些实施方式的用于生成机器学习模型的候选层的示例方法。图3图示了根据本公开构思的一些实施方式的用于初始化机器学习模型的候选层的示例方法。图4图示了根据本公开构思的一些实施方式的用于初始化机器学习模型的候选层的另一示例方法。图5图示了根据本公开构思的一些实施方式的用于训练子模型的示例方法。图6至图8图示了根据本公开构思的一些实施方式的与迭代模型生长过程的连续迭代相关联的散点图。图9图示了根据本公开构思的一些实施方式的用于机器学习模型的自动化生成的示例处理流程。图10图示了根据本公开构思的一些实施方式的示例系统。图11图示了根据本公开构思的一些实施方式的示例图形用户界面。具体实施方式概述存在各种类型的机器学习框架，使用有监督和/或无监督学习，它们可以被训练。支持向量机、决策树、和神经网络是适合有监督学习的一些机器学习框架，其中模型可从标注的训练数据中学习。一些机器学习框架，例如神经网络，使用执行特定操作的节点层。在神经网络中，节点经由一个或多个边而彼此连接。神经网络可以包括输入层、输出层、以及一个或多个中间层。根据预定义函数，个体节点可以处理它们各自的输入，并向后续层提供输出，或在某些情况下向一个先前层提供输出。对给定的节点输入可以被乘以该输入和节点之间的边的相应权重值。此外，节点可以具有个体的偏差值，该偏差值被用于产生输出。各种训练程序可以被用于学习边的权重和/或偏差值。为本公开的目的，术语“学习参数”指通过训练分层机器学习模型(例如神经网络)而学习到的参数，例如边和偏差值。神经网络结构可以被以模块化的方式构建。例如，一个或多个节点层可以共同执行一项特定操作，例如池化操作或卷积运算。之后，不同的层可以被连接在一起以形成整个网络结构。为本公开的目的，术语“层”指代一组节点，其与一个或多个输入层以及从该层中节点接收输入的一个或多个目标层共享连接性。术语“操作”指代可以被一个或多个节点层执行的函数。术语“模型结构”指代一个分层模型的整体架构，包括层数、层的连接性、和由个体层执行的操作类型。术语“神经网络结构”指神经网络的模型结构。所公开的实施方式主要使用神经网络结构作为用于分层机器学习模型的示例模型结构。术语“经训练的模型”指模型结构和针对该模型结构的学习参数。注意两个经训练的模型可以共享相同的模型结构且仍可具有不同的学习参数，例如，两个模型在不同的训练数据被训练，或在训练过程中有底层随机过程。如前所述，生成模型结构的方法是人类手动定义模型结构。之后模型结构可以在一些由计算机设置的训练数据集上被训练，用以获取经训练的模型，并且之后可以使用验证数据集来验证该经训练的模型。随后，可以手动产生对模型结构的修改，例如，通过添加或移除层或者层之间的连接。之后，修改的数据可以被再次训练以重新获取附加经训练的模型，附加经训练的模型可以被相互比较以选择最终模型，和良好适用于给定任务的相应结构。然而，这种方法要求相关领域的人类专家介入以创建初始模型数据和修改，并需要他们选择最终模型结构。另一方法是，通过使用计算机生成不同模型结构并从生成的结构中选择最终模型来使过程自动化。然而，之前为了自动化模型生成的努力仅取得了有限的成绩。虽然现代计算机在计算性能上已经极大提升，但是模型结构(例如神经网络结构)的自动化生成的现有方法倾向于探索有限的搜索空间或要求不切实际的计算资源量。在实践中，生成模型结构倾向于是在计算上可行的，但在给定的当前可用计算硬件的情况下，独立地训练大量不同模型结构倾向于是在计算上不可行的。一种量化模型结构训练时间的方法为，通过定义参考诸如虚拟机或处理器的计算资源和在参考计算资源上完成训练所需的时间量。例如，在特定类型图形处理单元(“GPU”)上训练一天可以被称为一个GPU天(GPU-day)，并且给定模型训练的计算成本可以被指定为多个GPU天。其他方法也是可能的，例如，在特定CPU或FP本文档来自技高网...

【技术保护点】
1.一种在计算设备上执行的方法，所述方法包括：/n执行迭代模型生长过程的两次或更多次迭代，所述迭代模型生长过程包括：/n从一个或多个父模型构成的父模型池中，选择一个特定父模型；/n生成多个候选层，并且当重用所述特定父模型的学习参数时初始化所述多个候选层；/n选择特定候选层以包括在子模型中用于训练，各个子模型包括所述特定父模型和所述特定候选层中的一个或多个特定候选层；/n训练所述多个子模型以获取经训练的子模型；/n使用一个或多个标准来评估所述经训练的子模型；以及/n至少基于所述评估，指定个体经训练的子模型为新的父模型，并添加所述新的父模型到所述父模型池中；以及/n在所述两次或更多次迭代后，选择至少一个经训练的子模型作为最终模型，并输出所述最终模型。/n

【技术特征摘要】
【国外来华专利技术】20181207 US 16/213,4701.一种在计算设备上执行的方法，所述方法包括：
执行迭代模型生长过程的两次或更多次迭代，所述迭代模型生长过程包括：
从一个或多个父模型构成的父模型池中，选择一个特定父模型；
生成多个候选层，并且当重用所述特定父模型的学习参数时初始化所述多个候选层；
选择特定候选层以包括在子模型中用于训练，各个子模型包括所述特定父模型和所述特定候选层中的一个或多个特定候选层；
训练所述多个子模型以获取经训练的子模型；
使用一个或多个标准来评估所述经训练的子模型；以及
至少基于所述评估，指定个体经训练的子模型为新的父模型，并添加所述新的父模型到所述父模型池中；以及
在所述两次或更多次迭代后，选择至少一个经训练的子模型作为最终模型，并输出所述最终模型。


2.根据权利要求1所述的方法，还包括：
确定训练或测试所述子模型的计算成本；以及
当评估所述经训练的子模型时，使用所述计算成本作为第一标准。


3.根据权利要求2所述的方法，还包括：
确定与所述经训练的子模型相关联的损失；以及
当评估所述经训练的子模型时，使用所述损失作为第二标准。


4.根据权利要求3所述的方法，还包括：
在图上绘制所述子模型，所述图具有反映所述计算成本的第一轴和反映所述损失的第二轴；以及
至少基于所述新的父模型在所述图上的对应位置，选择所述新的父模型。


5.根据权利要求4所述的方法，还包括：
在所述图上确定下凸包或帕累托边界中的至少一个；以及
至少基于所述新的父模型到所述下凸包或所述帕累托边界的接近度，选择所述新的父模型。


6.根据权利要求5所述的方法，其中所述选择包括：
标识在所述下凸包或所述帕累托边界的预定邻近区内的所述经训练的子模型的子集；
确定针对所述经训练的子模型的所述子集的各个概率；以及
至少基于所述各个概率选择所述新的父模型。


7.根据权利要求1所述的方法，其中生成个体候选层包括：
从所述特定父模型选择...

【专利技术属性】
技术研发人员：D·戴，胡含章，R·A·卡鲁阿纳，J·C·兰福德，E·J·霍维茨，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US