【技术实现步骤摘要】
【国外来华专利技术】错误去相关的选择性训练优先权声明本申请要求于2017年6月26日提交的序列号为62/524,686的美国临时专利申请的优先权，该申请具有与如上相同的名称和专利技术人，并且通过引用被并入本文。
技术介绍
机器学习系统的集成(ensemble)通常比作为集成的成员的个体机器学习系统提供明显更好的性能。当集成的个体成员是弱的，即低性能分类器时，如果将个体成员训练成相对不相关的，则集成可以提供好得多的性能。然而，当集成的个体成员是高性能分类器时，它们本质上是高度相关的，因为它们几乎始终都得到相同的正确答案。当然，这种类型的相关是期望的。然而，形式为集成的多个成员在给定数据项上制造相同错误的相关仍然是不期望的。
技术实现思路
在一个总体方面，本专利技术针对改进机器学习系统的性能的基于计算机的系统和方法。特别地，本专利技术的系统和方法针对所选的训练数据项将惩罚项添加到机器学习系统(例如神经网络)的目标函数。这种选择性训练被设计为惩罚和降低集成的两个或更多个成员在任何训练数据项上犯相同错误的任何趋势，这应导致在操作中改进集成...
【技术保护点】
1.一种训练机器学习系统的集成的方法，其中，所述集成包括N>2个集成成员，所述方法包括：/n在所述集成的训练期间，检测所述集成处于有误判定的阈值范围内的训练数据项；/n选择n个集成成员用于所述训练数据项上的后续训练，其中1<n<N；以及/n在所述集成的所述后续训练期间，将添加到用于训练所述集成的目标函数的惩罚项反向传播到所述n个集成成员中的至少一个、至多n个集成成员。/n
【技术特征摘要】
【国外来华专利技术】20170626 US 62/524,6861.一种训练机器学习系统的集成的方法，其中，所述集成包括N>2个集成成员，所述方法包括：
在所述集成的训练期间，检测所述集成处于有误判定的阈值范围内的训练数据项；
选择n个集成成员用于所述训练数据项上的后续训练，其中1<n<N；以及
在所述集成的所述后续训练期间，将添加到用于训练所述集成的目标函数的惩罚项反向传播到所述n个集成成员中的至少一个、至多n个集成成员。
2.根据权利要求1所述的方法，其中，选择所述n个集成成员包括：基于估计所述n个集成成员贡献于由所述集成产生的潜在错误的可能性的准则，选择所述n个集成成员。
3.根据权利要求1所述的方法，其中，所述惩罚项包括在所述后续训练期间针对所述n个集成成员中的每个集成成员的加权惩罚项，使得存在n个加权惩罚项，并且其中，所述n个加权惩罚项对于所述n个集成成员中的每个集成成员是不同的。
4.根据权利要求3所述的方法，其中，所述n个加权惩罚项中的每个加权惩罚项包括为零或为一的系数，并且并非所有所述n个加权惩罚项都具有相同的系数值。
5.根据权利要求1所述的方法，其中，所述准则是所述n个集成成员在所述训练数据项上做出有误判定或者处于有误判定的阈值余量内。
6.根据权利要求1所述的方法，还包括：在所述后续训练期间，将添加到用于训练所述集成的目标函数的惩罚项反向传播到所述n个集成成员中的至少一个、至多n个集成成员。
7.根据权利要求6所述的方法，其中，反向传播所述惩罚项包括：将训练节点添加到所述集成，使得所述训练节点连接到所述n个集成成员，并且仅在激活所述训练节点超过阈值水平时所述训练节点才在所述后续训练期间将所述惩罚项贡献给所述n个集成成员中的所述至少一个、至多n个集成成员。
8.根据权利要求7所述的方法，其中，仅在激活所述训练节点超过阈值水平时，所述训练节点才在所述后续训练期间将加权惩罚项贡献给所述n个集成成员中的每个集成成员，其中，每次激活所述训练节点时所述加权惩罚项对于所述n个集成成员中的每个集成成员是不同的。
9.根据权利要求7所述的方法，其中，所述训练节点的权重和偏差实现仅当具有有误答案的连接的集成成员的数量超过阈值数量时才激活所述训练节点的激活函数。
10.根据权利要求7所述的方法，还包括在由所述集成进行的操作上的分类期间，忽略所述训练节点。
11.根据权利要求1所述的方法，其中：
每个集成成员是分类器；以及
所述集成组合来自所述集成成员的输出以做出最终类别分类；并且
检测所述集成处于有误判定的阈值范围内的所述训练数据项包括检测由所述集成得出的最佳得分类别的分数低于指定值的训练数据项。
12.根据权利要求1所述的方法，其中：
每个集成成员是分类器；以及
所述集成组合来自所述集成成员的输出以做出最终类别分类；并且
检测所述集成处于有误判定的阈值范围内的所述训练数据项包括检测由所述集成得出的第二高得分的分类类别的分数处于最高得分的分类类别的分数的阈值余量内的训练数据项。
13.根据权利要求1所述的方法，其中，检测所述集成处于有误判定的阈值范围内的所述训练数据项包括检测具有不正确分类的集成成员的数量处于具有正确分类的集成成员的数量的阈值余量内的训练数据项。
14.根据权利要求1所述的方法，其中，所述N个集成成员中的每个集成成员都包括神经网络。
15.根据权利要求10所述的方法，其中，选择包括每当激活所述训练节点时，随机选择所述连接的集成成员中的至少1个、至多n个以接收反向传播中的额外惩罚项。
16.根据权利要求10所述的方法，其中，选择包括每当激活所述训练节点时，选择所述n个集成成员中在所述反向传播期间在当前训练数据项上具有最高激活的集成成员。
17.根据权利要求10所述的方法，其中，选择包括每当激活所述训练节点时，选择所述n个集成成员中在所述反向传播期间在当前训练数据项上具有最低激活的集成成员。
18.根据权利要求1所述的方法，还包括在检测所述集成处于有误判定的阈值范围内的训练数据项之前，根据单个原始机器学习系统生成所述集成。
19.根据权利要求10所述的方法，还包括在检测所述集成处于有误判定的阈值范围内的训练数据项之前，根据单个原始机器学习系统生成所述集成。
20.根据权利要求19所述的方法，其中，生成所述集成包括：
生成所述原始机器学习系统的副本机器学习系统，以生成包括所述原始机器学习系统和所述副本机器学习系统的集成；以及
添加所述训练节点，使得该训练节点连接到所述原始机器学习系统中的所选节点和所述原始机器学习系统中的所述所选节点的在所述副本机器学习系统中的副本节点。
21.根据权利要求1所述的方法，还包括：将组合网络添加到所述集成以组合来自所述N个集成成员的输出。
22.根据权利要求21所述的方法，其中，所述N个集成成员的输出节点是具有所述组合网络的所述集成的内部层中的有标签的节点。
23.根据权利要求22所述的方法，其中，至少一些所述有标签的节点具有与具有所述组合网络的所述集成的类别标签不同的标签。
24.根据权利要求22所述的方法，其中，反向传播所述惩罚项包括在所述N个集成成员中的每个集成成员处执行局部反向传播。
25.根据权利要求10所述的方法，还包括将组合网络添加到所述集成以组合来自所述N个集成成员的输出。
26.根据权利要求25所述的方法，其中，所述N个集成成员的输出节点是具有所述组合网络的所述集成的内部层中的有标签的节点。
27.根据权利要求26所述的方法，其中，至少一些所述有标签的节点具有与具有所述组合网络的所述集成的类别标签不同的标签。
28.根据权利要求26所述的方法，其中，反向传播所述惩罚项包括在所述N个集成成员中的每个集成成员处执行局部反向传播。
29.根据权利要求25至28中的任意一项所述的方法，其中，添加所述训练节点包括在所述n个集成成员的输出与所述组合网络之间添加所述训练节点。
30.根据权利要求29所述的方法，其中：
将训练节点添加到所述集成包括将多个训练节点添加到所述集成，使得每个训练节点连接在所述N个集成成员的输出与所述组合网络之间；并且
在所述集成的后续训练中的反向传播期间，使用添加的训练节点，每当激活所述训练节点中的一个训练节点时，选择至少1个集成成员以接收反向传播中的额外惩罚项。
31.根据权利要求1所述的方法，其中：
检测所述集成处于有误判定的阈值范围内的所述训练数据项包括由机器学习学习教练系统检测所述集成处于阈值范围内的所述训练数据项；并且
选择用于后续训练的所述n个集成成员包括由所述机器学习教练选择用于所述训练数据项上的后续训练的所述n个集成成员。
32.根据权利要求10所述的方法，其中：
检测所述集成处于有误判定的阈值范围内的所述训练数据项包括由机器学习学习教练系统检测所述集成处于阈值范围内的所述训练数据项；并且
选择用于后续训练的所述n个集成成员包括由所述机器学习教练选择用于所述训练数据项上的后续训练的所述n个集成成员。
33.根据权利要求32所述的方法，其中，添加所述训练节点还包括由所述机器学习学习教练系统确定所述训练节点的权重和偏差。
34.一种用于训练机器学习分类器的集成的计算机系统，其中，所述集成包括N>2个集成成员，并且每个集成成员包括机器学习分类器，所述计算机系统包括：
一个或多个处理器核；以及
与所述一个或多个处理器核通信的计算机存储器，其中所述计算机存储器存储软件，该软件当被所述一个或多个处理器核执行时使所述一个或多个处理器核：
在所述集成的训练期间，检测所述集成处于有误判定的阈值范围内的训练数据项；
选择n个集成成员用于所述训练数据项上的后续训练，其中1<n<N；以及
在所述集成的所述后续训练期间，将添加到用于训练所述集成的目标函数的惩罚项反向传播到所述n个集成成员中的至少一个、至多n个集成成员。
35.根据权利要求34所述的计算机系统，其中，所述一个或多个处理器核被编程为通过基于估计所述n个集成成员贡献于由所述集成产生的潜在错误的可能性的准则选择所述n个集成成员，来选择所述n个集成成员。
36.根据权利要求34所述的计算机系统，其中，所述惩罚项包括在所述后续...
【专利技术属性】
技术研发人员：J·K·贝克尔，
申请(专利权)人：D五AI有限责任公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。