动态带宽和不可靠网络下的联邦学习架构及其压缩算法制造技术

本发明专利技术提出了一种动态带宽和不可靠网络下的联邦学习架构及其压缩算法，框架包括云端、客户端和边缘服务器，边缘服务器有若干个并能够相互之间进行数据交换，边缘服务器中一个作为协调器。客户端与边缘服务器之间的数据传输为数据块的传输，所采用的边缘服务器机制缩短了传统的客户端到云之间的传输距离，从而减少客户端与服务器之间的通信延迟；此外，由于引入了多个边缘服务器，并将经过训练的模型划分为相应的块数，从而通过避免丢失整个模型来减少数据包丢失对训练的影响。压缩算法自适应调整压缩率来适应动态带宽，用带宽进行自适应调整来代替固定压缩率，有效利用带宽资源，减少了冗余数据交换。

【技术实现步骤摘要】
动态带宽和不可靠网络下的联邦学习架构及其压缩算法
本专利技术涉及联邦学习领域，具体公开了一种动态带宽和不可靠网络下的联邦学习架构及其压缩算法。
技术介绍
诸如隐私保护和终身学习之类的新兴问题给大数据和人工智能带来了许多新挑战，例如信息泄漏，法律违规，模型不匹配以及资源限制。此外，通用数据保护条例(GDPR)和其他相关法律进一步限制了此类数据的使用。这些因素在网络中创建了隔离的数据岛，这使得当前的大数据不再庞大。同时，由通用数据集训练的模型无法适应用户的个性化要求(如词汇外单词)和社会变化(如互联网词汇，新术语等)。为了满足这些要求，AI必须能够重新学习最新生成的数据，从而具有终身学习的能力。根据思科最新的视觉网络指数(VNI)，移动数据流量将在2017年至2022年之间以46％的复合年增长率增长，到2022年将达到每月77.5艾字节(exabytes)。将所有数据集中到云中将进一步增加网络负担。此外，诸如神经网络之类的AI方法通常需要大量计算资源，这使得大多数针对移动设备的学习框架(例如TensorFlowLite)无法在客户端上进行训练，而只本文档来自技高网...

【技术保护点】
1.一种动态带宽和不可靠网络下的联邦学习架构，其特征在于，包括云端、客户端和边缘服务器，所述边缘服务器有若干个并能够相互之间进行数据交换，所述边缘服务器中一个作为协调器，训练时，本地模型存储于客户端中并划分为若干个数据块，所述客户端利用空闲带宽将所述数据块上传至不同的所述边缘服务器中，所述边缘服务器将所述数据块进行聚合形成完整的所述本地模型，通过相互之间的数据交换由所述协调器将所述本地模型上传至云端；更新时，所述云端选择所述客户端并将所述本地模型划分为若干数据库发送至不同所述边缘服务器，被选择的所述客户端从所述边缘服务器中下载所述数据库以更新本地模型。/n

【技术特征摘要】
1.一种动态带宽和不可靠网络下的联邦学习架构，其特征在于，包括云端、客户端和边缘服务器，所述边缘服务器有若干个并能够相互之间进行数据交换，所述边缘服务器中一个作为协调器，训练时，本地模型存储于客户端中并划分为若干个数据块，所述客户端利用空闲带宽将所述数据块上传至不同的所述边缘服务器中，所述边缘服务器将所述数据块进行聚合形成完整的所述本地模型，通过相互之间的数据交换由所述协调器将所述本地模型上传至云端；更新时，所述云端选择所述客户端并将所述本地模型划分为若干数据库发送至不同所述边缘服务器，被选择的所述客户端从所述边缘服务器中下载所述数据库以更新本地模型。


2.根据权利要求1所述的一种动态带宽和不可靠网络下的联邦学习架构，其特征在于，所述云端还直接存储所述数据块。


3.一种基于权利要求1或2所述的动态带宽和不可靠网络下的联邦学习架构的压缩算法，其特征在于，训练时，所述数据块在进行上传和/或数据交换前进行自适应通信压缩；更新时，所述数据块在进行下载和/或数据交换前进行自适应通信压缩。


4.根据权利要求3所述的动态带宽和不可靠网络下的联邦学习架构的压缩算法，其特征在于，对所述数据库进行聚合的方式为采用FedAvg聚合算法进行聚合。


5.根据权利要求4所述的动态带宽和不可靠网络下的联邦学习架构的压缩算法，其特征在于，所述FedAvg聚合算法模型为：



其中，di是客户ni的本地训练中使用的样本数，w*为全局解，η为学习率，t为学习次数，为梯度，为所述云端选择的客户ni的集合。


6.根据权利要求3所述的动态带宽和不可靠网络下的联邦学习架构的压缩算法，其特征在于，动态带宽可描述...

【专利技术属性】
技术研发人员：朱晓敏，张雄涛，包卫东，梁文谦，周文，司悦航，王吉，吴冠霖，陈超，高雄，闫辉，张亮，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43