模型构建方法、装置、设备、存储介质及程序产品制造方法及图纸

技术编号:43091331 阅读:15 留言:0更新日期:2024-10-26 09:38
本发明专利技术属于机器学习技术领域,公开了一种模型构建方法、装置、设备及存储介质。该方法包括:获取多个业务模型对应的预测数据,确定多组预测数据;根据所述多组预测数据生成多组训练样本,各训练样本与多组预测数据一一对应;根据所述多组训练样本对预设初始神经网络模型进行训练得到多头模型,所述预设初始神经网络模型包含一个主干网络和多个分类器,所述多个分类器与多组预测数据一一对应。通过上述内容,实现了通过多个成熟模型蒸馏得到一个多头模型,保证了各业务方的业务模型不会相互泄露,又可以得到一个应用于多个业务功能的模型,提高了业务方业务的安全性。

【技术实现步骤摘要】

本专利技术涉及机器学习,尤其涉及一种模型构建方法、装置、设备及存储介质。


技术介绍

1、近年来,随着人工智能技术的发展,深度学习已经广泛应用于各业务场景,针对结构化数据或文本数据,深度学习算法正在逐步取代以手工提取特征为主的传统数据分析方法。在深度学习算法的发展中,训练数据的重要性毋庸置疑,在极大程度上影响了模型的准确性。在数据量急剧增长的背景下,因数据泄露造成的生产事故不断发生,这也促使各业务方在训练模型的过程中,更加重视数据隐私的重要性。同时,由于数据的多样性,使用单一种类数据完成训练的模型也逐渐无法满足各种实际场景下的应用,多方联合训练在这样的背景下应运而生。

2、现阶段多方联合训练的方式大多使用联邦学习的方式完成。联邦学习本质上是一种分布式机器学习框架,其做到了在保障数据隐私安全及合法合规的基础上,实现数据共享,共同建模。它的核心思想是在多个数据源共同参与模型训练时,不需要进行原始数据流转的前提下,仅通过交互模型中间参数进行模型联合训练,原始数据可以不出本地。这种方式实现数据隐私保护和数据共享分析的平衡,即“数据可用不可见”的数据应用模本文档来自技高网...

【技术保护点】

1.一种模型构建方法,其特征在于,所述模型构建方法包括:

2.如权利要求1所述的方法,其特征在于,所述根据所述训练样本对预设初始神经网络模型进行训练得到多头模型,包括:

3.如权利要求2所述的方法,其特征在于,所述根据各输出结果调整对应的目标分类器直至完成训练,得到多头模型,包括:

4.如权利要求3所述的方法,其特征在于,所述根据所述各输出结果计算损失值,包括:

5.如权利要求1所述的方法,其特征在于,所述根据所述多组训练样本对预设初始神经网络模型进行训练得到多头模型之后,还包括:

6.如权利要求1所述的方法,其特征在于,所述多...

【技术特征摘要】

1.一种模型构建方法,其特征在于,所述模型构建方法包括:

2.如权利要求1所述的方法,其特征在于,所述根据所述训练样本对预设初始神经网络模型进行训练得到多头模型,包括:

3.如权利要求2所述的方法,其特征在于,所述根据各输出结果调整对应的目标分类器直至完成训练,得到多头模型,包括:

4.如权利要求3所述的方法,其特征在于,所述根据所述各输出结果计算损失值,包括:

5.如权利要求1所述的方法,其特征在于,所述根据所述多组训练样本对预设初始神经网络模型进行训练得到多头模型之后,还包括:

6.如权利要求1所述的方法,其特征在于,所述多个业务模型分别为宽带异常数据识别模型、宽带产品设计问...

【专利技术属性】
技术研发人员:康雅萍王升元刘宇宏杨秋雁王琪赵世平温泉方晓慧冯峥陈熠
申请(专利权)人:中国移动通信集团内蒙古有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1