使用教师-学生学习模式进行模型训练制造技术

本公开涉及使用教师‑学生学习模式进行模型训练。提供了一种用于模型训练的方法、系统和计算机可读存储介质。该方法可以包括使用标记数据集的子集训练第一分类器、第二分类器和第三分类器。该方法还可以包括使用第一分类器、第二分类器和第三分类器从未标记数据集中预测伪标记数据集。该方法还包括将角色分配给第一分类器、第二分类器和第三分类器。该方法还可以包括基于分配给第三分类器的角色，从伪标记数据集中选择教学样本数据集，其中第三分类器被分配学生角色。该方法还可以包括使用教学样本数据集和标记数据集的子集重新训练第三分类器。

【技术实现步骤摘要】
使用教师-学生学习模式进行模型训练
技术介绍
本公开涉及模型训练，并且更具体地，涉及基于使用教师-学生模式(paradigm)技术的基于半监督训练方法的模型训练。典型的半监督训练方法包括自我训练、协同训练、三训练和有分歧的三训练。协同训练涉及两个分类器互相学习以实现更好的性能。如果其他两个分类器在预测标记上达成共识，则三训练涉及将训练样本添加到第三分类器。在有分歧的三训练中，强加了条件，其中两个基本分类器必须在预测超过静态置信度阈值的预测上达成一致。第三个分类器必须与其他两个基本分类器有分歧。一旦满足条件，就可以进行训练迭代。
技术实现思路
各种实施例采用教师-学生学习模式进行模型训练。该方法可以包括使用标记数据集的子集训练第一个分类器、第二个分类器和第三个分类器。可以使用自举(bootstrap)采样技术或其他各种方法来确定子集，以增加训练的分类器的多样性。该方法还可以包括使用第一分类器、第二分类器和第三分类器从未标记数据集预测伪标记数据集。伪标记数据集集可以包括伪标记数据集中样本的建议标记和预测概率。该方法还包括将角色分配给第一分类器、第二分本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n第一分类器和第二分类器，被配置为使用标记数据集的子集进行训练，其中，当从未标记数据集中预测伪标记数据集时，所述第一分类器和第二分类器具有超过教师阈值的预测概率；/n第三分类器，被配置为使用标记数据集的子集进行训练，其中，当预测伪标记数据集时，所述第三分类器具有低于学生阈值的预测概率；/n角色分配器，被配置为基于来自未标记数据集的样本的预测概率，将教师角色和学生角色分配给第一分类器、第二分类器和第三分类器；以及/n来自所述伪标记数据集的教学样本数据集，其中所述教学样本数据集包括来自所述伪标记数据集的至少一个样本，其中所述第一分类器和所述第二分类器在该样本的标记上一致，并且...

【技术特征摘要】
20190625 US 16/451,6931.一种系统，包括：
第一分类器和第二分类器，被配置为使用标记数据集的子集进行训练，其中，当从未标记数据集中预测伪标记数据集时，所述第一分类器和第二分类器具有超过教师阈值的预测概率；
第三分类器，被配置为使用标记数据集的子集进行训练，其中，当预测伪标记数据集时，所述第三分类器具有低于学生阈值的预测概率；
角色分配器，被配置为基于来自未标记数据集的样本的预测概率，将教师角色和学生角色分配给第一分类器、第二分类器和第三分类器；以及
来自所述伪标记数据集的教学样本数据集，其中所述教学样本数据集包括来自所述伪标记数据集的至少一个样本，其中所述第一分类器和所述第二分类器在该样本的标记上一致，并且所述预测概率超过所述教师阈值，并且其中所述第三分类器的所述预测概率低于所述学生阈值。


2.如权利要求1所述的系统，其中所述子集是由随机特征分割确定的独立特征集。


3.如权利要求1所述的系统，其中所述子集是由所述标记数据集的自举标记数据集确定的。


4.如权利要求1所述的系统，其中所述教师阈值和所述学生阈值在训练迭代后是可调整的。


5.如权利要求1所述的系统，进一步包括停止准则组件，被配置为确定系统是否达到停止准则。


6.如权利要求5所述的系统，其中当所述学生阈值至少与所述教师阈值一样高时，确定所述停止准则。


7.一种方法，包括：
使用标记数据集的子集训练第一分类器、第二分类器和第三分类器；
使用所述第一分类器、所述第二分类器和所述第三分类器从未标记数据集中预测伪标记数据集；
基于预测阈值和标记约定，将角色分配给所述第一分类器、所述第二分类器和所述第三分类器；
基于分配给所述第三分类器的角色，从所述伪标记数据集中选择教学样本数据集；
使用所述教学样本数据集和所述标记数据集重新训练所述第三分类器；
更新所述预测阈值；以及
达到停止准则。


8.如权利要求7所述的方法，其中分配所述角色包括：
检索所述第一分类器对所述伪标记数据集的样本进行的...

【专利技术属性】
技术研发人员：刘喆，A·密斯拉，P·古恩德查，J·马哈姆德，Y·巴哈尔加特，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US