本发明专利技术涉及一种联邦学习模型训练方法、装置、电子设备和存储介质，联邦学习模型包括学生模型和预训练的教师模型；包括：对联邦学习模型的嵌入层进行采样，生成伪样本数据；基于所述教师模型对所述伪样本数据进行分类，确定所述伪样本数据对应的软标签；采用所述伪样本数据和所述软标签对所述学生模型进行训练，生成目标模型参数；依据所述目标模型参数更新所述联邦学习模型；本发明专利技术实施例可以在保护隐私的同时，通过嵌入结构的样本提取和学习一组伪数据来提高联邦学习模型的性能。
【技术实现步骤摘要】
本专利技术涉及神经网络模型训练，具体涉及一种联邦学习模型训练方法、一种联邦学习模型训练装置、一种电子设备和一种存储介质。
技术介绍
1、随着技术的发展，大型模型在车端的应用正在快速扩展。如说利用大型模型来分析驾驶者和乘客的行为和偏好，从而提供个性化的娱乐、导航和车内服务。包括语音助手、智能推荐系统、驾驶习惯分析等。而且随着技术的进步，特别是在人工智能、机器学习、传感器技术和数据处理方面，大型模型在车端的应用将继续扩展，为驾驶安全、效率、舒适性和车辆维护带来革命性的变化。
2、然而，目前训练大模型需要用到大量真实数据才能提升大模型泛化能力，且目前大部分预训练的大模型已经涵盖了开源的数据，因此要得到满足使用要求的大型模型，需为该大型模型提供更多的领域数据。但目前训练大模型的数据因涉及数据安全及成本等问题，往往很难得到大量的优质数据供大模型进行训练导致数据隐私的差。而如常用的基于差分的方式进行基于知识蒸馏的过程，使用梯度裁剪和加噪声等步骤，模型训练的过程复杂，效率低下。
技术实现思路
>1、本专利技术的目本文档来自技高网...
【技术保护点】
1.一种联邦学习模型训练方法，其特征在于，联邦学习模型包括学生模型和预训练的教师模型；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1至3任一项所述的方法，其特征在于，所述对联邦学习模型的嵌入层进行采样，生成伪样本数据的步骤包括：
5.根据权利要求4所述的方法，其特征在于，所述对联邦学习模型的嵌入层进行采样，生成伪样本数据的步骤还包括：
6.根据权利要求4所述的方法，其特征在于，所述对所述初始样本集进行目标采样，生成伪样本数...
【技术特征摘要】
1.一种联邦学习模型训练方法，其特征在于，联邦学习模型包括学生模型和预训练的教师模型；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1至3任一项所述的方法，其特征在于，所述对联邦学习模型的嵌入层进行采样，生成伪样本数据的步骤包括：
5.根据权利要求4所述的方法，其特征在于，所述对联邦学习模型的嵌入层进行采样，生成伪样本数据的步骤还包括：
6.根据权利要求4所述的方法，其特征在于，所述对所述初始样本集进行目标采样，生成伪样本数据的步骤包括：
7.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述教师模型对所述伪样本数据进行分类，确定所述伪样本数据对应的软标签的步骤包括：
8.根据权利要求1至3任一项所述的方法，其特征在于，所述采用所述伪样本数据和所述软标签对所述学生模型进行训练，生成目...
【专利技术属性】
技术研发人员：谢乐成，孟艺凝，谭瑞，
申请(专利权)人：重庆长安科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。