【技术实现步骤摘要】
【国外来华专利技术】具有学习教练的异步代理以及在不降低性能的情况下在结构上修改深度神经网络优先权本申请要求2017年6月5日提交的标题为“具有学习教练的异步代理”的美国临时申请序列第62/515,142号的优先权，其具有与上述申请相同的专利技术人，并且其全部内容通过引用整体并入本文。相关申请的交叉引用本申请涉及以下申请，所有这些申请的全部内容被并入本文：标题为“用于机器学习系统的学习教练”的PCT申请第PCT/US17/52037号；以及标题为“用于机器学习系统的学习教练”的PCT申请第PCT/US18/20887号。
技术介绍
机器学习系统，特别是深度神经网络，近年来已经取得了巨大的成功。特别地，机器学习系统在处理大量数据的问题时可以很好地缩放。实际上，机器学习系统趋于满足“越大总是越好”的特性。也就是说，针对给定问题可用的数据越多，机器学习分类器或预测器的性能就越好。对于深度神经网络，网络越大且学习的参数越多，就越好，直到达到数据量的限制。作为数据集大小的一个示例，行业标准基准ImageNet拥有超过1400万张图像，其中超过一百万张已被注释并配有边框。然而，诸如深度神经网络的机器学习系统中的较大的数据集和大量参数也存在问题。例如，训练深度神经网络所需的计算量往往与数据集的大小乘以神经网络的大小成比例地增长。另外，具有多个隐藏层的大型神经网络很难解释。还难以以任何细化的方式来控制学习过程。对于非常大的网络存在的另一个问题是计算需要在多个计算机之间进行分配。然而，当网络训练在通过有限带宽的数据通道相互通信的多
【技术保护点】
1.一种用于改善深度神经网络的方法，包括：/n用训练数据将基础深度神经网络训练到期望的性能标准，其中：/n所述基础深度神经网络包括输入层、输出层以及位于所述输入层和所述输出层之间的第一隐藏层；/n所述第一隐藏层包括第一节点；以及/n所述第一节点包括第一入弧和第一出弧；/n在结构上改变所述基础深度神经网络以创建更新的深度神经网络，其中相对于所述基础深度神经网络，所述更新的深度神经网络在所述训练数据上未产生性能下降；以及/n随后训练所述更新的深度神经网络。/n
【技术特征摘要】
【国外来华专利技术】20170605 US 62/515,1421.一种用于改善深度神经网络的方法，包括：
用训练数据将基础深度神经网络训练到期望的性能标准，其中：
所述基础深度神经网络包括输入层、输出层以及位于所述输入层和所述输出层之间的第一隐藏层；
所述第一隐藏层包括第一节点；以及
所述第一节点包括第一入弧和第一出弧；
在结构上改变所述基础深度神经网络以创建更新的深度神经网络，其中相对于所述基础深度神经网络，所述更新的深度神经网络在所述训练数据上未产生性能下降；以及
随后训练所述更新的深度神经网络。
2.根据权利要求1所述的方法，其中在结构上改变所述基础网络包括：在相对于所述基础神经网络未降低所述更新的神经网络的性能的情况下，向所述第一节点添加新的入弧。
3.根据权利要求2所述的方法，其中在随后训练所述更新的深度神经网络之前，将所述新的入弧的权重初始设置为零。
4.根据权利要求1所述的方法，其中在结构上改变所述基础网络包括：在相对于所述基础神经网络未降低所述更新的神经网络的性能的情况下，向所述第一节点添加新的出弧。
5.根据权利要求2所述的方法，其中在随后训练所述更新的深度神经网络之前，将所述新的出弧的权重初始设置为零。
6.根据权利要求1所述的方法，其中在结构上改变所述基础网络包括：在相对于所述基础神经网络未降低所述更新的神经网络的性能的情况下，向所述第一隐藏层添加第二节点。
7.根据权利要求6所述的方法，其中：
所述第二节点具有至少一个入弧和至少一个出弧；以及
在随后训练所述更新的深度神经网络之前，将所述第二节点的所述至少一个出弧中的每一个的权重初始设置为零。
8.根据权利要求6所述的方法，其中所述第二节点的激活并非由所述基础深度神经网络中的其它节点确定。
9.根据权利要求6所述的方法，其中所述第二节点具有针对到所述第二节点的输入数据值的每个向量的指定目标值。
10.根据权利要求1所述的方法，其中在结构上改变所述基础网络包括：在相对于所述基础神经网络未降低所述更新的神经网络的性能的情况下，向所述基础神经网络添加第二隐藏层，其中所述第二隐藏层位于所述输入层和所述输出层之间并且不同于所述第一隐藏层。
11.根据权利要求10所述的方法，其中：
所述第二隐藏层位于所述第一隐藏层和所述输出层之间；
所述第二隐藏层包括多个节点；
所述第二隐藏层的所述多个节点包括第一组一个或多个节点和第二组一个或多个节点；
所述第二隐藏层中的所述第二组一个或多个节点中的节点的数量等于所述第一隐藏层中的节点的数量，使得所述第二层中的所述第二组一个或多个节点中的每个节点在所述第一隐藏层中都具有对应节点；
所述第二隐藏层中的所述第一组一个或多个节点中的每个节点包括入弧和出弧；
所述第二隐藏层中的所述第二组一个或多个节点中的每个节点包括与所述第一隐藏层中的其对应节点相同数量的入弧和出弧，从而使得所述层中的所述第二组一个或多个节点中的每个节点具有与所述第一隐藏层中其对应节点相同数量的入弧和出弧；
在随后训练所述更新的深度神经网络之前，将所述第二隐藏层的所述第一组节点中的所述一个或多个节点的每个出弧的权重初始设置为零；以及
将所述第二隐藏层的所述第二组节点中的所述一个或多个节点的每个入弧的权重初始设置为值一。
12.根据权利要求10所述的方法，其中：
所述第二隐藏层位于所述第一隐藏层和所述输出层之间；
所述第二隐藏层包括一个或多个节点；
所述第二隐藏层中的所述一个或多个节点中的每一个包括入弧和出弧；
在随后训练所述更新的深度神经网络之前，将所述第二隐藏层中的所述一个或多个节点的每个出弧的权重初始设置为零；以及
在随后训练所述更新的深度神经网络之前，来自所述第一隐藏层的出弧跳过所述第二隐藏层。
13.根据权利要求11所述的方法，其中在结构上改变所述基础网络包括用复合节点替换所述隐藏层中的所述第一节点。
14.根据权利要求13所述的方法，其中所述复合节点包括检测器节点和拒绝器节点。
15.根据权利要求14所述的方法，其中：
所述基础神经网络包括：
包括所述输出层的上子神经网络；以及
包括所述输入层的下子神经网络，使得所述隐藏层位于所述上子神经网络和所述下子神经网络之间；以及
在结构上改变所述基础网络进一步包括复制所述下子神经网络，使得至少存在第一下子神经网络和第二下子神经网络；所述隐藏层中的所述复合网络的所述检测器节点连接至所述上子神经网络和所述第一下子神经网络；以及
所述隐藏层中的所述复合网络的所述拒绝器节点连接至所述上子神经网络和所述第二下子神经网络。
16.根据权利要求14所述的方法，其中：
所述复合节点包括第三节点；
在结构上改变所述基础网络进一步包括复制所述下子神经网络，使得存在第三下子神经网络；以及
所述隐藏层中的所述复合网络的所述第三节点连接至所述上子神经网络和所述第三下子神经网络。
17.根据权利要求1至16中任一项所述的方法，进一步包括：
在结构上改变所述基础深度神经网络之后，用验证数据对所述更新的深度神经网络进行验证；以及
在检测到相对于所述基础深度神经网络，所述更新的深度神经网络在所述验证数据上产生性能下降时：
通过机器学习学习教练学习针对所述更新的深度神经网络的特征改变，以纠正相对于所述基础深度神经网络，所述更新的深度神经网络在所述验证数据上的性能下降；
以及在所述更新的深度神经网络中实现所述特征改变。
18.根据权利要求17所述的方法，其中所述基础深度神经网络包括深度前馈神经网络。
19.根据权利要求17所述的方法，其中所述基础深度神经网络包括深度递归神经网络。
20.根据权利要求1至16中任一项所述的方法，其中所述基础深度神经网络包括深度前馈神经网络。
21.根据权利要求1至16中任一项所述的方法，其中所述基础深度神经网络包括深度递归神经网络。
22.根据权利要求1至16中任一项所述的方法，其中所述期望的性能标准是用于所述基础深度神经网络的反向传播训练算法中的驻点。
23.一种用于改善深度神经网络的计算机系统，所述计算机系统包括：
第一组一个或多个处理器，以用于用训练数据将基础深度神经网络训练到期望的性能标准，其中：
所述基础深度神经网络包括输入层、输出层以及位于所述输入层和所述输出层之间的第一隐藏层；
所述第一隐藏层包括第一节点；以及
所述第一节点包括第一入弧和第一出弧；第二组一个或多个处理器，以用于：
在结构上改变所述基础深度神经网络以创建更新的深度神经网络，其中相对于所述基础深度神经网络，所述更新的深度神经网络在所述训练数据上未产生性能下降；以及
随后训练所述更新的深度神经网络。
24.根据权利要求23所述的计算机系统，其中所述第二组一个或多个处理器通过在相对于所述基础神经网络未降低所述更新的神经网络的性能的情况下，向所述第一节点添加新的入弧来在结构上改变所述基础网络。
25.根据权利要求24所述的计算机系统，其中在随后训练所述更新的深度神经网络之前，将所述新的入弧的权重初始设置为零。
26.根据权利要求23所述的计算机系统，其中所述第二组一个或多个处理器通过在相对于所述基础神经网络未降低所述更新的神经网络的性能的情况下，向所述第一节点添加新的出弧来在结构上改变所述基础网络。
27.根据权利要求24所述的计算机系统，其中在随后训练所述更新的深度神经网络之前，将所述新的出弧的权重初始设置为零。
28.根据权利要求23所述的计算机系统，其中所述第二组一个或多个处理器通过在相对于所述基础神经网络未降低所述更新的神经网络的性能的情况下，向所述第一隐藏层添加第二节点来在结构上改变所述基础网络。
29.根据权利要求28所述的计算机系统，其中：
所述第二节点具有至少一个入弧和至少一个出弧；以及
在随后训练所述更新的深度神经网络之前，将所述第二节点的所述至少一个出弧中的每一个的权重初始设置为零。
30.根据权利要求28所述的计算机系统，其中所述第二节点的激活并非由所述基础深度神经网络中的其它节点确定。
31.根据权利要求28所述的计算机系统，其中所述第二节点具有针对到所述第二节点的输入数据值的每个向量的指定目标值。
32.根据权利要求23所述的计算机系统，其中所述第二组一个或多个处理器通过在相对于所述基础神经网络未降低所述更新的神经网络的性能的情况下，向所述基础神经网络添加第二隐藏层来在结构上改变所述基础网络，其中所述第二隐藏层位于所述输入层和所述输出层之间并且不同于所述第一隐藏层。
33.根据权利要求32所述的计算机系统，其中：
所述第二隐藏层位于所述第一隐藏层和所述输出层之间；
所述第二隐藏层包括多个节点；
所述第二隐藏层的所述多个节点包括第一组一个或多个节点和第二组一个或多个节点；
所述第二隐藏层中的所述第二组一个或多个节点中的节点的数量等于所述第一隐藏层中的节点的数量，使得所述第二层中的所述第二组一个或多个节点中的每个节点在所述第一隐藏层中都具有对应节点；
所述第二隐藏层中的所述第一组一个或多个节点中的每个节点包括入弧和出弧；
所述第二隐藏层中的所述第二组一个或多个节点中的每个节点包括与所述第一隐藏层中的其对应节点相同数量的入弧和出弧，使得所述层中的所述第二组一个或多个节点中的每个节点具有与所述第一隐藏层中的其对应节点相同数量的入弧和出弧；
在随后训练所述更新的深度神经网络之前，将所述第二隐藏层的所述第一组节点中的所述一个或多个节点的每个出弧的权重初始设置为零；以及
将所述第二隐藏层的所述第二组节点中的所述一个或多个节点的每个入弧的权重初始设置为值一。
34.根据权利要求32所述的计算机系统，其中：
所述第二隐藏层位于所述第一隐藏层和所述输出层之间；
所述第二隐藏层包括一个或多个节点；
所述第二隐藏层中的所述一个或多个节点中的每一个包括入弧和出弧；
在随后训练所述更新的深度神经网络之前，将所述第二隐藏层中的所述一个或多个节点的每个出弧的权重初始设置为零；以及
在随后训练所述更新的深度神经网络之前，来自所述第一隐藏层的出弧跳过所述第二隐藏层。
35.根据权利要求23至34中任一项所述的计算机系统，进一步包括：
由第三组一个或多个处理器实现的机器学习学习教练，其中所述机器学习学习教练用于在检测到相对于所述基础深度神经网络，所述更新的深度神经网络在验证数据上产生性能下降时：
学习针对所述更新的深度神经网络的特征改变，以纠正相对于所述基础神经网络，所述更新的神经网络在所述验证数据上的性能下降；以及
在所述更新的深度神经网络中实现所述特征改变。
36.根据权利要求35所述的计算机系统，其中所述基础深度神经网络包括深度前馈神经网络。
37.根据权利要求35所述的方法，其中所述基础深度神经网络包括深度递归神经网络。
38.根据权利要求23至34中任一项所述的方法，其中所述基础深度神经网络包括深度前馈神经网络。
39.根据权利要求23至34中任一项所述的方法，其中所述基础深度神经网络包括深度递归神经网络。
40.根据权利要求23至34中任一项所述的方法，其中所述期望的性能标准是用于所述基础深度神经网络的反向传播训练算法中的驻点。
41.一种自动编码器，包括：
下子网络，其包括编码器网络；
低带宽特征向量，其用作所述自动编码器的瓶颈层；以及
上子网络，使得所述低带宽特征向量位...
【专利技术属性】
技术研发人员：J·K·贝克尔，
申请(专利权)人：D五AI有限责任公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。