用于机器学习系统的学习教练技术方案

一种机器学习系统，其包括教练机器学习系统，所述教练机器学习系统利用机器学习来帮助学生机器学习系统学习其自己的系统。通过监测学生学习系统，所述教练机器学习系统可以(通过机器学习技术)学习用于所述学生学习系统的“超级参数”，所述超级参数控制所述学生学习系统的机器学习过程。机器学习教练还可以确定针对学生学习系统架构的结构性修改。所述学习教练还可以控制流向所述学生学习系统的数据流。

【技术实现步骤摘要】
【国外来华专利技术】用于机器学习系统的学习教练优先权本PCT申请要求以下美国临时专利申请的优先权：(1)2016年9月28日提交的标题为“利用问答法教练的深度学习(DeepLearningWithSocraticCoaches)”的系列第62/400,853号；以及(2)2017年3月24日提交的标题为“用于机器学习系统的学习教练(LearningCoachforMachineLearningSystem)”的系列第62/476,280号。这两个临时申请通过引用以其整体并入本文。
技术介绍
机器学习是一种通过计算机实现的用来自我学习算法的过程，其可以通过由采样数据输入构建模型对数据做出预测，而无需被明确地编程为如此。存在多种类型的机器学习系统类型，例如，人工神经网络(ANN)、决策树、支持向量机(SVM)以及其它类型。这些系统在利用新数据做出有意义的预测之前首先需要根据一些采样输入接受训练。例如，ANN通常由多层神经元组成。每个神经元与多个其它神经元相连接，并且链路可以增强或抑制其对相连接的神经元的激活状态的影响。每个单独的神经元单元可以具有将其所有输入的值合并在一起的求和函数。可以存在对每个连接和对神经元自本文档来自技高网...

【技术保护点】
1.一种机器学习计算机系统，其包括：第一学生机器学习系统，所述第一学生机器学习系统利用机器学习自动地向输入源数据学习并对所述输入源数据做出预测；以及第一学习教练机器学习系统，所述第一学习教练机器学习系统与所述第一学生机器学习系统进行通信，其中：输入到所述第一学习教练机器学习系统的输入包括与所述第一学生机器学习系统的内部状态有关的数据；并且所述学习教练机器学习系统利用机器学习基于与所述第一学生机器学习系统的所述内部状态有关的所述数据自动地学习并对所述第一学生机器学习系统实现增强以改善所述第一学生机器学习系统的操作。

【技术特征摘要】
【国外来华专利技术】2016.09.28 US 62/400,853;2017.03.24 US 62/476,2801.一种机器学习计算机系统，其包括：第一学生机器学习系统，所述第一学生机器学习系统利用机器学习自动地向输入源数据学习并对所述输入源数据做出预测；以及第一学习教练机器学习系统，所述第一学习教练机器学习系统与所述第一学生机器学习系统进行通信，其中：输入到所述第一学习教练机器学习系统的输入包括与所述第一学生机器学习系统的内部状态有关的数据；并且所述学习教练机器学习系统利用机器学习基于与所述第一学生机器学习系统的所述内部状态有关的所述数据自动地学习并对所述第一学生机器学习系统实现增强以改善所述第一学生机器学习系统的操作。2.根据权利要求1所述的机器学习计算机系统，其中所述第一学习教练机器学习系统包括模式识别系统，所述模式识别系统识别与所述第一学生机器学习系统不同的模式。3.根据权利要求1所述的机器学习计算机系统，其中所述第一学生机器学习系统具有与所述第一学生机器学习系统不同的目标。4.根据权利要求1所述的机器学习计算机系统，其中所述第一学生机器学习系统包括深度神经网络。5.根据权利要求4所述的机器学习计算机系统，其中所述第一学习教练机器学习系统包括并非深度神经网络的机器学习架构。6.根据权利要求1所述的机器学习计算机系统，其中所述增强包括用于所述第一学生机器学习系统的一个或多个修正超级参数，所述一个或多个修正超级参数改善所述第一学生机器学习系统的学习。7.根据权利要求6所述的机器学习计算机系统，其中所述一个或多个修正超级参数包括用于所述第一学生机器学习系统的小批量大小。8.根据权利要求6所述的机器学习计算机系统，其中所述一个或多个修正超级参数包括用于所述第一学生机器学习系统的学习速率。9.根据权利要求6所述的机器学习计算机系统，其中所述一个或多个修正超级参数包括用于所述第一学生机器学习系统的正则化参数。10.根据权利要求6所述的机器学习计算机系统，其中所述一个或多个修正超级参数包括用于所述第一学生机器学习系统的动量参数。11.根据权利要求1所述的机器学习计算机系统，其中所述增强包括对所述第一学生机器学习系统的结构性改变。12.根据权利要求11所述的机器学习计算机系统，其中：所述第一学生机器学习系统包括具有多个层的网络，其中每一层包括一个或多个节点；并且所述结构性改变包括要被添加到所述第一学生机器学习系统的所述网络的选定层中的一个或多个附加的节点。13.根据权利要求12所述的机器学习计算机系统，其中所述学习教练机器通过向所述第一学生机器学习系统提供与一组特定的数据输入值相关联的一组虚拟节点和针对所述虚拟节点的激活水平来实现所述一个或多个附加的节点。14.根据权利要求13所述的机器学习计算机系统，其中：所述选定层中的现有节点接收来自所述虚拟节点的输入；所述现有节点在训练期间并不向虚拟节点反向传播；所述虚拟节点向所述第一学生机器学习系统的所述网络中位于所述选定层下方的层反向传播；并且所述虚拟节点的激活由所述第一学习教练机器学习系统控制。15.根据权利要求12所述的机器学习计算机系统，其中所述学习教练机器通过提供要被添加到所述选定层的第一和第二组节点来实现所述一个或多个附加的节点，其中：所述第一和第二组由相同数量的节点组成；并且所述第一学习教练机器学习系统控制关于所述第二组节点的正则化，使得所述第二组节点的激活趋向于与所述第一组节点相一致以控制所述第一和第二组中的所述节点的丢包率。16.根据权利要求15所述的机器学习计算机系统，其中所述第一学习教练机器学习系统在控制所述正则化中的性能目标与所述第一学生机器学习系统的性能目标不同。17.根据权利要求12所述的机器学习计算机系统，其中所述学习教练机器通过为所述第一学生机器学习系统的所述网络的所述附加的节点提供连接权重来实现所述一个或多个附加的节点。18.根据权利要求11所述的机器学习计算机系统，其中：所述第一学生机器学习系统包括具有多个层的网络，其中每一层包括一个或多个节点；并且所述结构性改变包括要添加到所述第一学生机器学习系统的所述网络中的一个或多个附加的层。19.根据权利要求1所述的机器学习计算机系统，其中所述其中所述增强包括选择性地控制输入到所述第一学生机器学习系统的训练数据以控制所述第一学生机器学习系统的学习。20.根据权利要求1所述的机器学习计算机系统，其中：所述机器学习系统包括计算机网络，所述计算机网络包括：第一计算机系统，所述第一计算机系统包括至少一个处理器和高速存储器；以及远程辅助存储装置，所述远程辅助存储装置与所述第一计算机系统进行通信；当所述第一学生机器学习系统活动时，用于所述第一学生机器学习系统的连接权重和激活被存储在所述高速存储器中，使得所述第一学生机器学习系统可以运行；并且当所述第一学生机器学习系统非活动时，用于所述第一学生机器学习系统的所述连接权重和激活被存储在所述辅助存储装置中。21.根据权利要求1所述的机器学习系统，其中所述第一学生机器学习...

【专利技术属性】
技术研发人员：J·K·巴克尔，
申请(专利权)人：D五A一有限责任公司，
类型：发明
国别省市：美国,US