联邦学习模型市场训练定制化联邦学习模型的方法和系统技术方案

技术编号:40713069 阅读:30 留言:0更新日期:2024-03-22 11:15
本发明专利技术公开了一种联邦学习模型市场训练定制化联邦学习模型的方法和系统,联邦学习模型市场接收定制化模型订单、模型参考数据集和模型购买预算;联邦学习模型市场根据模型参考数据集,对在联邦学习模型市场中注册的不同模型训练者采用知识驱动的评估机制进行模型训练者本地数据质量评估,并根据评估结果和模型购买预算,利用动态规划算法招募满足定制化模型订单的最优模型训练者;联邦学习模型市场利用最优模型训练者,通过联邦学习的形式训练定制化联邦学习模型,直至定制化联邦学习模型达到设定的准确率阈值或训练轮次后,完成训练。本发明专利技术的目的在于解决模型训练者的本地数据质量难以进行高效评估以及无法提高定制化模型性能的问题。

【技术实现步骤摘要】

本专利技术属于机器学习领域,具体涉及一种联邦学习模型市场训练定制化联邦学习模型的方法和系统


技术介绍

1、过去十年智能设备的指数级增长导致了数据生成、收集和共享的爆炸性增长。在大数据浪潮的推动下,机器学习技术在各个领域取得了显著的发展,为众多实际应用提供了强大的支持。作为机器学习技术和数据的产物,机器学习模型表现出类似商品的特征。近年来出现了许多机器学习模型市场,在机器学习模型市场中,模型购买者可以浏览市场代理提供的现成解决方案,并根据其特定的使用场景购买所需的机器学习模型。然而,由于机器学习服务越来越专业化多样化,现有的解决方案难以满足给模型购买者的各种需求,模型购买者需要为其独特的应用场景进行模型定制化。

2、联邦学习作为一种新型的分布式机器学习范式,为模型定制化提供了一种可选的解决方案。在一个联邦学习模型市场中,模型购买者向联邦学习模型市场提交定制化模型订单,联邦学习模型市场招募满足定制化需求的模型训练者来参与联邦学习模型训练过程。然而,(1)联邦学习模型市场中模型训练者的数据可能是高度非独立同分布的,难以进行本地数据质量评估;(2)难本文档来自技高网...

【技术保护点】

1.一种联邦学习模型市场训练定制化联邦学习模型的方法,其特征在于,包括:

2.根据权利要求1所述的一种联邦学习模型市场训练定制化联邦学习模型的方法,其特征在于,所述对在联邦学习模型市场中注册的不同模型训练者采用知识驱动的评估机制进行模型训练者本地数据质量评估,具体为:

3.根据权利要求2所述的一种联邦学习模型市场训练定制化联邦学习模型的方法,其特征在于,所述联邦学习模型市场利用模型训练者的本地模型对模型参考数据集进行预测,将预测结果的集合作为知识向量,计算知识向量与模型参考数据集真实标签的知识损失,并对知识向量与模型参考数据集真实标签的知识损失进行标准化,再结合模...

【技术特征摘要】

1.一种联邦学习模型市场训练定制化联邦学习模型的方法,其特征在于,包括:

2.根据权利要求1所述的一种联邦学习模型市场训练定制化联邦学习模型的方法,其特征在于,所述对在联邦学习模型市场中注册的不同模型训练者采用知识驱动的评估机制进行模型训练者本地数据质量评估,具体为:

3.根据权利要求2所述的一种联邦学习模型市场训练定制化联邦学习模型的方法,其特征在于,所述联邦学习模型市场利用模型训练者的本地模型对模型参考数据集进行预测,将预测结果的集合作为知识向量,计算知识向量与模型参考数据集真实标签的知识损失,并对知识向量与模型参考数据集真实标签的知识损失进行标准化,再结合模型训练者的本地数据量进行模型训练者本地数据质量评估,具体为:

4.根据权利要求3所述的一种联邦学习模型市场训练定制化联邦学习模型的方法,其特征在于,所述根据评估结果和模型购买预算,利用动态规划算法招募满足定制化模型订单的最优模型训练者,具体为:

5.根据权利要求4所述的一种联邦学习模型市场训练定...

【专利技术属性】
技术研发人员:苏洲潘洋河王云涛刘涵
申请(专利权)人:西安交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1