基于DMA-MaaS联邦学习平台的模型训练方法及系统技术方案

本发明专利技术提出一种基于DMA

【技术实现步骤摘要】
基于DMA
‑
MaaS联邦学习平台的模型训练方法及系统


[0001]本专利技术涉及联邦学习
，并特别涉及一种基于DMA
‑
MaaS联邦学习平台的模型训练方法及系统。

技术介绍

[0002]近年来，随着机器学习和深度学习技术的发展，已在不同的领域有着广泛的应用。但是由于公司之间的竞争关系、安全问题、审批流程复杂等因素，对公司之间的数据合作甚至公司内部的数据互联互通存在着较大的阻碍，导致“数据孤岛”现象的出现。与此同时，随着一些大型企业出现用户隐私数据泄露的情况，数据隐私保护已经成为全世界关注的趋势，各国也在数据隐私方面不断完善和健全相关法律法规，这给以数据为“粮食”的机器学习技术的发展带来巨大挑战。
[0003]针对“数据孤岛”和“数据隐私”的两大问题，诸多学者和机构提出了多种多样的解决方案，其中2016年提出的联邦学习(Federated Learning)算法框架得到了广泛的关注。随着联邦学习的兴起，经过几年的迅猛发展，技术和工业化也在逐渐走向成熟，涌现了众多的平台和产品，开始迈向大规模的商业落地，目前已应用在包括金融、医疗、智慧城市在内的诸多领域。但是联邦学习平台面临着不同于以往仅提供训练推理服务的机器学习平台的新模式，联邦平台的用户设备存在异质性问题(如数据异构、模型异构、执行环境异构等)，因而联邦平台的数据、模型、算法也需要新的方法进行管理，解决问题的同时方便用户使用。
[0004]目前已有联邦平台主要关注于通信、隐私和流程，而对数据、任务、算法、模型的管理缺少对联邦学习异质性问题的科学合理的方法。

技术实现思路

[0005]本专利技术着力于通过对联邦平台的数据、任务、算法、模型的科学管理，设计了基于DMA(Data/Mission/Algorithm Pool)和MaaS(Model as a Service)的服务中台，实现面向对象的联邦机制，从而可以直接为各类用户提供更加轻便易用的联邦服务，利用本专利技术的联邦平台架构设计可以让开发人员通过点击等简单操作完成其工作意图，轻松创建和组建任务以及让联邦模型发挥价值。为了实现上述技术效果，本专利技术包括如下关键技术点：
[0006]关键点1，采用基于DMA
‑
MaaS服务中台的联邦平台架构设计；
[0007]关键点2，在数据池(Data Pool)进行数据质量评估和激励机制的数据管理方法；
[0008]关键点3，在任务池(Mission Pool)进行集群用户环境评估后，针对联邦学习异质进行个性化联邦或异步联邦任务的设置；
[0009]关键点4，在算法池(Algorithm Pool)进行联邦、非联邦算法划分的联邦平台算法管理方法；
[0010]关键点5，基于MaaS(Model as a Service)进行模型流的模型增量学习路由管控及模型上架、下载、使用、计费的联邦平台模型管理方法。
[0011]具体来说本专利技术提出了一种基于DMA
‑
MaaS联邦学习平台的模型训练方法，其中包括：
[0012]数据准备步骤，用户端上传训练数据至联邦学习平台，并设置该训练数据是否公开，该联邦学习平台对该训练数据进行检查并添加到数据池；
[0013]任务发起步骤，该用户端上传任务至该联邦学习平台，该任务内容包括任务名称、任务是否公开、任务类型是否为联邦学习、任务所需算法及参数、任务所需模型及参数和任务参与人数；该联邦学习平台将公开的任务加入到公共任务池以供其他用户端选择；
[0014]任务准备步骤，用户端通过选择自己发起的任务或在该公共任务池中选择任务，判断选择的任务类型是否为联邦学习，若是则执行联邦学习步骤，否则执行非联邦学习步骤；
[0015]该联邦学习步骤，在该用户端所在用户设备本地基于该训练数据执行联邦学习，将学习得到的模型参数和结果返回到该联邦学习平台进行参数聚合，直到聚合后的模型达到所需性能；
[0016]该非联邦学习步骤，该联邦学习平台基于该训练数据，在云端执行非联邦学习，得到符合所需性能的模型。
[0017]所述的基于DMA
‑
MaaS联邦学习平台的模型训练方法，其中该联邦学习平台包括算法池，算法池包含包含联邦学习算法和非联邦算法，该联邦学习算法包含横向联邦学习算法、纵向联邦学习算法、用户预设联邦学习和安全聚合方法；该非联邦学习算法中包含随机梯度下降模型优化算法。
[0018]所述的基于DMA
‑
MaaS联邦学习平台的模型训练方法，其中该联邦学习平台包括模型池，模型池包括多种预设模型；该联邦学习平台的模型管理包括模型上架、模型下载、模型使用、模型计费、模型市场和模型推广；模型上架、下载、使用、计费和推广均在模型市场上进行，为用户端提供多样的模型管理；
[0019]在该联邦学习平台已有数据、任务、算法和模型中，通过下述方法发起任务，同时平台会根据用户使用频次推荐相应参数配置：
[0020]从数据池发起：用户在数据池中看到所想要的公开数据后，可以在数据页面进行任务的发起，此时还需选择对应的算法和模型，或选择由平台推荐的算法和模型；或
[0021]从算法池发起：用户在算法池看到所想要应用的算法进行训练，可以在算法页面进行任务的发起，此时还需要选择对应的数据和模型，或选择由平台推荐的数据和模型；或
[0022]从模型市场发起：用户在模型市场看到所想要使用的模型后，可以在模型页面进行任务的发起，根据需要发起推理任务或者联邦任务；在推理任务中，只需选择自己所使用的数据即可进行模型推理得到推理结果；在联邦任务中，还需选择所要使用的数据和算法发起任务，或选择由平台推荐的数据和算法。
[0023]所述的基于DMA
‑
MaaS联邦学习平台的模型训练方法，其中该模型为图像分类模型，该训练数据为已标注类别的图像，该任务为图像分类任务；
[0024]还包括模型执行步骤，将待识别图像输入该图像分类模型以执行该图像分类任务，得到该待识别图像的所属类别。
[0025]本专利技术还提出了一种基于DMA
‑
MaaS联邦学习平台的模型训练系统，其中包括：
[0026]数据准备模块，用于上传训练数据至联邦学习平台，并设置该训练数据是否公开，
该联邦学习平台对该训练数据进行检查并添加到数据池；
[0027]任务发起模块，用于上传任务至该联邦学习平台，该任务内容包括任务名称、任务是否公开、任务类型是否为联邦学习、任务所需算法及参数、任务所需模型及参数和任务参与人数；该联邦学习平台将公开的任务加入到公共任务池以供其他用户端选择；
[0028]任务准备模块，用于通过选择自己发起的任务或在该公共任务池中选择任务，判断选择的任务类型是否为联邦学习，若是则执行联邦学习模块，否则执行非联邦学习模块；
[0029]该联邦学习模块，用于在该用户端所在用户设备本地基于该训练数据执行联邦学习，将学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DMA
‑
MaaS联邦学习平台的模型训练方法，其特征在于，包括：数据准备步骤，用户端上传训练数据至联邦学习平台，并设置该训练数据是否公开，该联邦学习平台对该训练数据进行检查并添加到数据池；任务发起步骤，该用户端上传任务至该联邦学习平台，该任务内容包括任务名称、任务是否公开、任务类型是否为联邦学习、任务所需算法及参数、任务所需模型及参数和任务参与人数；该联邦学习平台将公开的任务加入到公共任务池以供其他用户端选择；任务准备步骤，用户端通过选择自己发起的任务或在该公共任务池中选择任务，判断选择的任务类型是否为联邦学习，若是则执行联邦学习步骤，否则执行非联邦学习步骤；该联邦学习步骤，在该用户端所在用户设备本地基于该训练数据执行联邦学习，将学习得到的模型参数和结果返回到该联邦学习平台进行参数聚合，直到聚合后的模型达到所需性能；该非联邦学习步骤，该联邦学习平台基于该训练数据，在云端执行非联邦学习，得到符合所需性能的模型。2.如权利要求1所述的基于DMA
‑
MaaS联邦学习平台的模型训练方法，其特征在于，该联邦学习平台包括算法池，算法池包含包含联邦学习算法和非联邦算法，该联邦学习算法包含横向联邦学习算法、纵向联邦学习算法、用户预设联邦学习和安全聚合方法；该非联邦学习算法中包含随机梯度下降模型优化算法。3.如权利要求1所述的基于DMA
‑
MaaS联邦学习平台的模型训练方法，其特征在于，该联邦学习平台包括模型池，模型池包括多种预设模型；该联邦学习平台的模型管理包括模型上架、模型下载、模型使用、模型计费、模型市场和模型推广；模型上架、下载、使用、计费和推广均在模型市场上进行，为用户端提供多样的模型管理；在该联邦学习平台已有数据、任务、算法和模型中，通过下述方法发起任务，同时平台会根据用户使用频次推荐相应参数配置：从数据池发起：用户在数据池中看到所想要的公开数据后，可以在数据页面进行任务的发起，此时还需选择对应的算法和模型，或选择由平台推荐的算法和模型；或从算法池发起：用户在算法池看到所想要应用的算法进行训练，可以在算法页面进行任务的发起，此时还需要选择对应的数据和模型，或选择由平台推荐的数据和模型；或从模型市场发起：用户在模型市场看到所想要使用的模型后，可以在模型页面进行任务的发起，根据需要发起推理任务或者联邦任务；在推理任务中，只需选择自己所使用的数据即可进行模型推理得到推理结果；在联邦任务中，还需选择所要使用的数据和算法发起任务，或选择由平台推荐的数据和算法。4.如权利要求1所述的基于DMA
‑
MaaS联邦学习平台的模型训练方法，其特征在于，该模型为图像分类模型，该训练数据为已标注类别的图像，该任务为图像分类任务；还包括模型执行步骤，将待识别图像输入该图像分类模型以执行该图像分类任务，得到该待识别图像的所属类别。5.一种基于DMA
‑
MaaS联邦学习平台的模型训练系统，其特征在于，包括：数据准备模块，用于上传训练数据至联邦学习平台...

【专利技术属性】
技术研发人员：陈益强，蒋鑫龙，闫冰洁，王志睿，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：