【技术实现步骤摘要】
本专利技术属于大数据计算领域，涉及一种面向边端模型位宽不同、且数据分布异构下的云边协同联邦建模方法。
技术介绍
1、近几十年来，边缘设备硬件技术获得巨大发展。具备多种传感器、计算和通讯模块的智能边缘设备，如嵌入式传感器、无人机、手机、智能手表、车机等，在工业生产、日常生活、交通等方面运用飞速增长。边缘设备的普及助力了联邦学习的研究和发展。联邦学习是一种学习框架，其中多个边端在本地私有数据上协作训练，同时定期通过服务器聚合和分发本地模型进行通信，不仅能够保护数据隐私，而且可以充分利用边缘设备的计算资源，进行云边协同建模。
2、联邦学习中一个关键的挑战在于各个边端的数据分布、任务、模型架构和设备之间可能存在很大的差异，这往往导致聚合之间不兼容，无法通过简单的聚合分发逻辑进行协同建模。这个问题通常被称为异构联邦学习问题。有许多现有联邦学习方法针对数据、模型架构和设备异构性展开研究。其中，针对数据异构有多种联邦个性化优化方法，如本地微调、聚合校正、联邦迁移学习等方法。然而，在真实的联邦学习场景中，各边端的设备可能具有不同的位宽，即模型比特不同。一些边端使用基于低比特硬件操作的轻量级设备上构建的模型，比如fpga、asic、树莓派或边缘gpu。在模型比特异构的情况下，传统联邦学习方法面临几个挑战。一是在聚合不同位宽的模型参数后，由于量化误差的影响，出现短板效应，参数的真实分布产生偏移，分发模型后高比特模型参数的分布向低比特模型靠近，训练损失内包含无法消除的量化误差；二是参数为低比特的模型其表征能力受限较大。现有一些方法考虑直接
技术实现思路
1、本专利技术的目的在于，针对现有联邦建模方法无法处理数据与模型比特双重异构的不足，提供一种基于多模型层的跨比特联邦优化建模方法。该方法通过在云端构建contactmap指示联邦建模时边端间的协同优化。通过所提的边端本地验证集辅助的同层级模型协助优化策略，基于各边端跨比特模型库筛选当前边端各模型层最优模型，针对性减少协同优化时的量化损失，所设计的模型伪更新策略支持相似边端的深度融合。
2、本专利技术的目的通过以下技术方案实现：
3、一种云边协同场景下数据分布与模型比特双重异构的跨比特联邦协同建模方法，所述云边协同场景下包含n个边端和一个云端，其中，n个边端依据可承担的比特层级的模型数量划分为大边端和小边端，小边端为只能承担一个低比特的模型的边端；每个边端包含一个本地数据库di，一组跨比特模型库mi；其中，本地数据库用于存储本地历史数据，构建训练数据集及验证数据集；跨比特模型库用于存储对应边端构建的一个或多个比特层级的模型；所述方法具体包括：
4、对每个边端的跨比特模型库进行模型初始化：
5、其中对于大边端，对比特层级最高的模型进行随机初始化，然后输入训练数据集，结合损失函数进行优化获得对应比特层级最高的初始模型；依据比特层级最高的初始模型对其余比特层级的模型结合量化感知策略进行逐级初始化；对于小边端，对应比特层级的模型进行随机初始化；
6、每个边端的跨比特模型库交替进行模型本地更新和云边协同模型优化，直至达到设定次数；
7、其中每个边端的跨比特模型库进行模型本地更新的方法如下：
8、对于大边端，将训练数据集的样本作为对比特层级最高的模型的输入，结合损失函数进行优化获得本地更新的比特层级最高的模型；依据比特层级最高的模型对其余比特层级的模型结合量化感知策略进行逐级更新并传输给云端；对于小边端，将训练数据集的样本作为对应比特层级的模型的输入，结合损失函数进行优化获得本地更新的模型并传输给云端；云端用于接收并分发每个边端训练更新的模型至其他边端；
9、每个边端基于接收到的其他边端的模型进行云边协同模型优化的方法如下：
10、每个边端将接收到的其他边端的模型作为候选模型，并将验证数据集输入各候选模型及所述边端对应的本地同比特层级的模型进行验证并计算准确率，筛选其中准确率大于所述边端对应的本地同比特层级的模型的准确率得到边端对应各层级的最优模型；若所有候选模型的准确率均小于所述边端对应的本地同比特层级的模型的准确率，则所述边端对应的本地同比特层级的模型作为边端对应比特层级的最优模型；筛选完成后更新所述边端的跨比特模型库。
11、进一步地，对于小边端，筛选其中准确率大于所述边端对应的本地同比特层级的模型的准确率得到边端对应各比特层级的最优模型，具体如下：
12、候选模型从大边端的同比特层级的模型开始筛选，若存在准确率大于所述边端对应的本地同比特层级的模型的准确率的模型，则选择其中准确率最高的模型作为协同更新后的所述边端对应比特层级的最优模型，若大边端同比特层级的模型不满足条件，则继续从其他小边端的同比特层级的模型进行筛选，若存在准确率大于所述边端对应的本地同比特层级的模型的准确率的模型，则选择其中准确率最高的模型作为协同更新后的所述边端对应比特层级的最优模型，若所有同比特层级的候选模型均不满足条件，则所述边端对应的本地同比特层级的模型作为边端对应比特层级的最优模型。
13、进一步地，对于大边端，所述候选模型还包括：
14、当前大边端发送至其他大边端并利用其他大边端训练数据集训练优化后传回的伪更新模型。针对数据异构下的模型漂移问题，在大边端额外设计模型伪更新策略，实现相似边端的深度融合。
15、进一步地，对于大边端，筛选其中准确率大于所述边端对应的本地同比特层级的模型的准确率得到边端对应各比特层级的最优模型，具体如下：
16、对每个比特层级，候选模型从同比特层级的伪更新模型开始筛选，若存在准确率大于所述边端对应的本地同比特层级的模型的准确率的模型，则选择其中准确率最高的模型作为协同更新后的所述边端对应比特层级的最优模型，若同比特层级的伪更新模型不满足条件，则继续从其他大边端同比特层级的模型进行筛选，若存在准确率大于所述边端对应的本地同比特层级的模型的准确率的模型，则选择其中准确率最高的模型作为协同更新后的所述边端对应比特层级的最优模型，若其他大边端同比特层级的模型不满足条件，则继续从其他小边端的同比特层级的模型进行筛选，若所有同比特层级的候选模型均不满足条件，则所述边端对应的本地同比特层级的模型作为边端对应比特层级的最优模型。
17、进一步地，所述云端还包括一通讯图contact map，所述通讯图为一n*n大小的矩阵，其第i行第j列元素记录边端i在云边协同模型优化中选择边端j的模型为最优模型的总次数；云端基于通讯图选择分发各边端的模型，具体如下：
18、经过cm轮次云边协同模型优化后，云端基于通讯图，仅将通讯图中元素大于阈值q的其他边端的模型分发至对应边端作为候选模型。
19、云端设计有通讯控制策略，通过contact map为各边本文档来自技高网...
【技术保护点】
1.一种云边协同场景下数据分布与模型比特双重异构的跨比特联邦协同建模方法，其特征在于，所述云边协同场景下包含N个边端和一个云端，其中，N个边端依据可承担的比特层级的模型数量划分为大边端和小边端，小边端为只能承担一个低比特的模型的边端；每个边端包含一个本地数据库Di，一组跨比特模型库Mi；其中，本地数据库用于存储本地历史数据，构建训练数据集及验证数据集；跨比特模型库用于存储对应边端构建的一个或多个比特层级的模型；所述方法具体包括：
2.根据权利要求1所述的方法，其特征在于，对于小边端，筛选其中准确率大于所述边端对应的本地同比特层级的模型的准确率得到边端对应各比特层级的最优模型，具体如下：
3.根据权利要求1所述的方法，其特征在于，对于大边端，所述候选模型还包括：
4.根据权利要求3所述的方法，其特征在于，对于大边端，筛选其中准确率大于所述边端对应的本地同比特层级的模型的准确率得到边端对应各比特层级的最优模型，具体如下：
5.根据权利要求1所述的方法，其特征在于，所述云端还包括一通讯图Contact Map，所述通讯图为一N*N大小的矩
6.根据权利要求5所述的方法，其特征在于，经过CM轮次云边协同模型优化后，通讯图停止更新。
7.根据权利要求1所述的方法，其特征在于，所述损失函数采用交叉熵损失、二元交叉上损失、均方差损失或平方损失。
...【技术特征摘要】
1.一种云边协同场景下数据分布与模型比特双重异构的跨比特联邦协同建模方法，其特征在于，所述云边协同场景下包含n个边端和一个云端，其中，n个边端依据可承担的比特层级的模型数量划分为大边端和小边端，小边端为只能承担一个低比特的模型的边端；每个边端包含一个本地数据库di，一组跨比特模型库mi；其中，本地数据库用于存储本地历史数据，构建训练数据集及验证数据集；跨比特模型库用于存储对应边端构建的一个或多个比特层级的模型；所述方法具体包括：
2.根据权利要求1所述的方法，其特征在于，对于小边端，筛选其中准确率大于所述边端对应的本地同比特层级的模型的准确率得到边端对应各比特层级的最优模型，具体如下：
3.根据权利要求1所述的方法，其特征在于，对于大边端，所述候...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。