【技术实现步骤摘要】
基于半监督学习的联合学习模型的生成方法及装置
[0001]本公开涉及联合学习
,尤其涉及一种基于半监督学习的联合学习模型的生成方法及装置
。
技术介绍
[0002]在模型训练中,很多情况下会同时存在有标签的样本和没有标签的样本,为了减少标注标签的工作量,提高训练的效率,现有技术在这种情况下往往使用的是半监督学习的方法训练模型
。
使用半监督学习训练模型的方法作为一个独立的模型训练方法存在于多种模型训练方法中,半监督学习训练模型的方法未能和其他模型训练方法很好的结合起来
。
比如在联合学习中,在同时存在有标签的样本和没有标签的样本时,往往只能对没有标签的样本进行标注,之后再进行联合学习训练,标注没有标签的样本会造成联合学习训练的效率低
。
[0003]在实现本公开构思的过程中,专利技术人发现相关技术中至少存在如下技术问题:当联合学习训练存在部分没有标签的样本,在训练前必须先标注没有标签的样本,进而导致联合学习训练的效率低的问题
。
技术实现思路
[0004]有鉴于此,本公开实施例提供了一种基于半监督学习的联合学习模型的生成方法
、
装置
、
电子设备及计算机可读存储介质,以解决现有技术中,联合学习训练的效率低的问题
。
[0005]本公开实施例的第一方面,提供了一种基于半监督学习的联合学习模型的生成方法,包括:通过每个参与方的教师模型标注每个参与方的训练数据集中的多个第一样本,得到每个参 ...
【技术保护点】
【技术特征摘要】
1.
一种基于半监督学习的联合学习模型的生成方法,其特征在于,包括:通过每个参与方的教师模型标注每个参与方的训练数据集中的多个第一样本,得到每个参与方对应的每个第一样本的伪标签,其中,每个参与方的训练数据集,包括:多个第一样本和多个第二样本,第一样本是没有标签的样本,第二样本是有标签的样本;利用每个参与方的训练数据集中的多个第一样本
、
每个第一样本的伪标签
、
多个第二样本和每个第二样本的标签训练每个参与方的学生模型;将每个参与方训练后的学生模型通过指数平滑处理,更新每个参与方的教师模型;聚合多个参与方的教师模型的模型参得到聚合参数,根据所述聚合参数生成联合学习模型
。2.
根据权利要求1所述的方法,其特征在于,所述通过每个参与方的教师模型标注每个参与方的训练数据集中的多个第一样本,得到每个参与方对应的每个第一样本的伪标签步骤之前,所述方法包括:初始化每个参与方的学生模型;将每个参与方初始化后的学生模型通过所述指数平滑处理,以得到每个参与方的教师模型;利用每个参与方的训练数据集中的多个第二样本训练每个参与方的教师模型
。3.
根据权利要求2所述的方法,其特征在于,所述将每个参与方初始化后的学生模型通过所述指数平滑处理,得到每个参与方的教师模型,包括:计算每个参与方初始化后的学生模型的模型参数对应的指数移动平均值;根据每个参与方对应的指数移动平均值,生成每个参与方的教师模型
。4.
根据权利要求1所述的方法,其特征在于,所述通过每个参与方的教师模型标注每个参与方的训练数据集中的多个第一样本,得到每个参与方对应的每个第一样本的伪标签步骤之前,所述方法包括:对每个参与方的训练数据集中的多个第一样本进行数据弱增强处理,得到每个参与方对应的弱增强处理结果;利用每个参与方对应的所述弱增强处理结果更新每个参与方的训练数据集中的多个第一样本
。5.
根据权利要求1所述的方法,其特征在于,所述利用每个参与方的训练数据集中的多个第一样本
、
每个第一样本的伪标签
、
多个第二样本和每个第二样本的标签训练每个参与方的学生模型,包括:利用交叉熵损失函数计算每个参与方的训练数据集中的多个第一样本和每个第一样本的伪标签对应的第一损失值;利用所述交叉熵损失函数计算每个参与方的训练数据集中的多个第二样本和每个第二样本的标签对应的第二损失值;根据每个参与方对应的第一损失值和第二损失值,按照预设权值计算每个参与方对应的第三损失值;基于每个参与方对应的第三损失值,更新每个参与方的学生模型
。6.
根据权利要求1所述的方法,其特征在于,所述利用每个参与方的训练...
【专利技术属性】
技术研发人员:何博睿,
申请(专利权)人:新智我来网络科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。