【技术实现步骤摘要】
学生模型训练方法、装置、计算机设备及存储介质
本申请涉及人工智能
，特别涉及一种学生模型训练方法、装置、计算机设备及存储介质。
技术介绍
在人工智能
，较大、较复杂的模型虽然通常具有很好的性能，但是也存在很多的冗余信息，因此运算量以及资源的消耗都非常多。知识蒸馏作为一种模型压缩的方法，能够减少模型训练过程中的运算量和资源消耗，被广泛应用于图像识别、机器翻译以及命名实体识别等领域。目前，知识蒸馏方法首先训练一个参数量较大、性能较高的教师模型，然后利用该教师模型对训练数据进行前项解码，然后将教师模型解码得到的软标签，作为训练目标，训练一个参数量较小的学生模型，使得学生模型的性能逼近教师模型。其中，软标签用于表示训练数据被预测为不同结果的概率。上述技术方案存在的问题是，教师模型解码得到的软标签可能存在错误，而学生模型无法确定软标签是否正确，只能不加以区分的进行训练，导致学生模型的学习效率较低。
技术实现思路
本申请实施例提供了一种学生模型训练方法、装置、计算机设备及存储介质，能够降低...
【技术保护点】
1.一种学生模型训练方法，其特征在于，所述方法包括：/n获取教师模型对样本数据集中的多个样本数据分别进行预测得到的多个第一标签，一个第一标签用于表示一个样本数据的预测结果，所述教师模型由所述样本数据集训练得到；/n根据所述教师模型，分别确定所述多个第一标签的可信度信息，所述可信度信息用于表示对应的第一标签的可信程度；/n根据所述样本数据集、所述多个第一标签以及所述多个第一标签的可信度信息，对学生模型进行训练。/n
【技术特征摘要】
1.一种学生模型训练方法，其特征在于，所述方法包括：
获取教师模型对样本数据集中的多个样本数据分别进行预测得到的多个第一标签，一个第一标签用于表示一个样本数据的预测结果，所述教师模型由所述样本数据集训练得到；
根据所述教师模型，分别确定所述多个第一标签的可信度信息，所述可信度信息用于表示对应的第一标签的可信程度；
根据所述样本数据集、所述多个第一标签以及所述多个第一标签的可信度信息，对学生模型进行训练。
2.根据权利要求1所述的方法，其特征在于，所述根据所述教师模型，分别确定所述多个第一标签的可信度信息，包括：
对于任一样本数据，根据被设置为目标状态的所述教师模型，对所述样本数据进行目标次数的预测，所述目标状态用于指示所述教师模型中的至少一个神经节点被设置为失活状态，所述失活状态用于表示神经节点的输出为0；
根据所述样本数据被预测为所述第一标签的多个第一概率值，确定所述第一标签的可信度信息。
3.根据权利要求2所述的方法，其特征在于，所述根据被设置为目标状态的所述教师模型，对所述样本数据进行目标次数的预测，包括：
每次预测时，随机将所述教师模型中的至少一个神经节点设置为失活状态；
根据包括至少一个已设置为失活状态的神经节点的教师模型，对所述样本数据进行预测。
4.根据权利要求2所述的方法，其特征在于，所述根据所述样本数据被预测为所述第一标签的多个第一概率值，确定所述第一标签的可信度信息，包括：
根据所述样本数据被预测为所述第一标签的多个第一概率值，获取第二概率值，将所述第二概率值作为所述第一标签的可信度信息，所述第二概率值为所述多个第一概率值的方差。
5.根据权利要求1所述的方法，其特征在于，所述根据所述样本数据集、所述多个第一标签以及所述多个第一标签的可信度信息，对学生模型进行训练，包括：
根据所述多个第一标签的可信度信息，确定所述多个第一标签的标签权重；
根据所述样本数据集、所述多个第一标签以及所述多个第一标签的标签权重，对学生模型进行训练。
6.根据权利要求1所述的方法，其特征在于，所述获取教师模型对所述样本数据集中的多个样本数据分别进行预测得到的多个第一标签之前，所述方法还包括：
将所述样本数据集中的多个样本数据分别输入所述教师模型；
对于任一样本数据，根据所述教师模型对所述样本数据进行前项解码，得到所述样本数据的软标签，所述软标签用于表示所述样本数据被预测为不同标签的概率；
根据所述样本数据的软标签，确定概率最大的标签作为所述样本数据的第一标签。
7.根据权利要求1所述的方法，其特征在于，所述获取教师模型对所述样本数据集中的多个样本数据分别进行预测得到的多个第一标签之前，所述方法还包括：
根据所述样本数据集中的多个样本数据和所述多个样本数据已被标注的...
【专利技术属性】
技术研发人员：杨振，黄申，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。