一种半分布式联邦学习协同优化缓存部署系统及方法技术方案

一种半分布式联邦学习协同优化缓存部署系统及方法，系统为由智能网关层SG和密集部署的无线接入点层AP构成的边缘缓存网络架构；无线接入点层AP包括依次设置的用户请求收集模块、请求特征提取模块、协同学习模块、本地模型训练模块、缓存模块；本申请由超密集部署的固定接入点AP和智能网关SG形成的一种边缘缓存架构，为多个固定或移动性低的用户提供服务。在提出的架构中，我们认为SG作为中央协调器可以提供全局服务，例如缓存整个区域的热门内容，监视本地AP中用户生成的所有请求，集中调度存储资源并负责执行缓存放置决策。度存储资源并负责执行缓存放置决策。度存储资源并负责执行缓存放置决策。

【技术实现步骤摘要】
一种半分布式联邦学习协同优化缓存部署系统及方法


[0001]本专利技术涉及数据处理的
，尤其涉及一种半分布式联邦学习协同优化缓存部署系统及方法。

技术介绍

[0002]由于近年来智能移动设备的普及以及多种类型的应用程序配合使用的增长，网络边缘经历了文本、图像、视频、音频和3D模型等多媒体数据的爆炸式增长，给前传链路带来了巨大的压力。为了应对海量内容分发和多媒体资源需求的增长，支持大规模内容交付，仅提高网络容量是不够的。作为解决上述挑战的新兴技术，边缘缓存被视为缓解前所未有的回程压力和提高用户QoE的突出范例，通过在网络边缘预取和存储部分热门多媒体内容，以实现低延迟、高速率的内容交付服务。考虑到无线电接入的高渗透率和大规模，具有不同无线接入技术(RAT)、覆盖区域和回程能力的各种接入点(例如支持缓存的小型蜂窝基站或者无线接入点)成为边缘缓存的理想载体。大的部署密度使AP能够提供大覆盖区域和高质量的无线链路，而边缘缓存通过使内容更接近用户来缓解前传流量瓶颈并减少请求服务延迟。因此，可以控制高速前传链路的系统成本，提高用户体验。
[0003]然而，这些接入点的存储大小总是有限的，没办法满足庞大的网络规模。因此，对启动边缘缓存的接入点进行优化缓存部署，实现缓存利用率最大化变得至关重要。但是由于以下原因，这是一个相当具有挑战性的问题：现实世界中，网络边缘部署了相当数量的接入点AP，处于不同地理位置的AP具有不同的特性并扮演不同的角色。因此针对所有AP的全局唯一缓存策略似乎过于简单，无法优化AP缓存资源的利用率。并且由于用户请求的随机性，AP覆盖范围下内容受欢迎程度在时空维度上呈现动态变化。为了应对这一挑战，最近的许多工作提出了基于学习的方法，这些方法集中收集用户的数据进行训练，但它们带来了一个重大问题：用户可能不信任中央服务器，因此对上传他们的私人数据犹豫不决。并且大量不同平台、不同来源的文本、图像、视频等多媒体信息虽然共同刻画相同或相关的主题内容，却呈现复杂，多层级的语义关联关系，传统的分析处理方法难以进行有效的利用和学习。
[0004]即使不考虑隐私问题，为了实现大规模分布式数据的联合训练，传统的联邦学习FL框架隐含地假设一个模型可以同时拟合所有边缘端的数据生成分布，但现实情况并非如此。假设多个AP正在尝试联合训练一个内容流行度预测模型，以预测未来流行度高的内容文件。但现实中由于用户的请求随机行为导致不同的AP会对某些内容的流行度有不同的看法，一个单一的模型永远无法同时准确地预测某个内容文件在所有AP的流行度趋势。此外AP覆盖范围下用户请求的统计数据可能会因不同AP的地理位置因素、不同时间段的偏好等而有很大差异。例如，处于繁华地段的AP通常会显示与偏僻地段AP不同的用户请求数量统计数据。
[0005]在所有上述情况下，普通的联邦学习FL框架，其中所有AP端都被平等对待并且只学习一个单一的全局模型，无法实现这一目标。

技术实现思路

[0006]为解决
技术介绍
中的问题，为此，本专利技术提出了一种半分布式联邦学习协同优化缓存部署系统及方法，具体方案如下：
[0007]一种半分布式联邦学习协同优化缓存部署系统，为由智能网关层SG和密集部署的无线接入点层AP构成的边缘缓存网络架构；所述无线接入点层AP包括依次设置的用户请求收集模块、请求特征提取模块、协同学习模块、本地模型训练模块、缓存模块；用户请求收集模块用于收集无线接入点层AP覆盖范围下终端用户的内容请求信息用户请求收集模块；请求特征提取模块用于提取用户请求内容的包含细粒度上下文信息的不同媒体特征，并将不同的媒体特征所对应的信息发送到所述智能网关层SG的请求特征提取模块；协同学习模块在智能网关层SG确定AP联盟以及代表AP后，联盟内其他非代表AP将本地收集到的数据信息共享给代表AP；本地模型训练模块在每次通信轮次中，由代表AP负责本地模型训练，并将局部模型参数的更新作为反馈发回智能网关层SG；缓存模块根据智能网关层SG生成的缓存决策，将具体的媒体内容预取到本地缓存中。
[0008]具体地说，所述智能网关层SG包括依次设置联盟决策模块、全局模型聚合模块、缓存决策模块；所述联盟决策模块将所有AP划分为不同AP联盟；全局模型聚合模块通过计算所有接收到的局部模型的加权来生成的全局模型；缓存决策模块基于联邦学习架构中的深度学习文件流行度预测的全局模型预测内容流行度而生成缓存决策。
[0009]具体地说，所述联盟决策模块收集无线接入点层AP发送来的用户请求数据特征信息，基于智能网关和超密集部署的AP构成的分层网络架构，利用基于跨媒体数据特征相似性度量的聚类算法将所有AP划分为不同AP联盟，并根据平均传输最小的原则确定代表AP。
[0010]基于上述一种半分布式联邦学习协同优化缓存部署系统的方法，所述智能网关层SG侧的流程步骤为：
[0011]SA1、智能网关层SG的联盟决策模块接收网络域下所有无线接入点层AP请求的特征数据；
[0012]SA2、智能网关层SG根据每个无线接入点层AP的请求内容，基于跨媒体数据特征相似性度量的类聚算法将所有AP划分为若干个差异子组，每个子组形成一个AP联盟；
[0013]SA3、判断是否开启新一轮通信轮次，如果是进入步骤SA4,否则进入步骤SA6；
[0014]SA4、智能网关层SG向基于平均传输距离最小的原则在每个AP联盟内选择代表AP内发送全局模型；
[0015]SA5、智能网关层SG传输全局模型至无线接入点层中的代表AP，代表AP将全局模型传输到对应的AP联盟中进行训练，获得更新的局部模型；然后全局模型聚合模块将获得的代表AP的全部局部模型聚合形成更新后的全局模型；
[0016]SA6、通信轮次完成后，判断是否收敛，如果没有收敛，则返回执行步骤SA3，如果已经收敛，则智能网关层SG的缓存决策模块确定获得缓存决策。
[0017]基于上述一种半分布式联邦学习协同优化缓存部署系统的方法，所述无线接入点层AP侧的流程如下：
[0018]SB1、无线接入点层AP的用户请求收集模块收集终端用户请求数据后，请求特征提取模块提取用户请求数据特征；
[0019]SB2、根据智能网关层SG联盟决策模块来判断无线接入点层AP是否是代表AP，如果
是，代表AP从智能网关层SG下载全局模型，如果不是，进入步骤SB3；
[0020]SB3、代表AP利用协同学习模块收集和存储联盟AP内其他AP本地数据，并通过本地模型训练模块利用联盟内所有AP提取的用户请求特征数据进行本地模型训练，然后代表AP上传局部模型到智能网关层SG；
[0021]SB4，通信轮次完成后，判断是否收敛，当收敛时，代表AP接收智能网关层SG的缓存决策，缓存模块进行联盟AP内容缓存。
[0022]一种半分布式联邦学习协同优化缓存部署系统的方法，包括以下步骤：
[0023]S1、无线接入点层AP收集终端用户请求数据，然后提取用户请求数据特征；将所有无线接入点层AP请求的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种半分布式联邦学习协同优化缓存部署系统，其特征在于，为由智能网关层SG和密集部署的无线接入点层AP构成的边缘缓存网络架构；所述无线接入点层AP包括依次设置的用户请求收集模块、请求特征提取模块、协同学习模块、本地模型训练模块、缓存模块；用户请求收集模块用于收集无线接入点层AP覆盖范围下终端用户的内容请求信息用户请求收集模块；请求特征提取模块用于提取用户请求内容的包含细粒度上下文信息的不同媒体特征，并将不同的媒体特征所对应的信息发送到所述智能网关层SG的请求特征提取模块；协同学习模块在智能网关层SG确定AP联盟以及代表AP后，联盟内其他非代表AP将本地收集到的数据信息共享给代表AP；本地模型训练模块在每次通信轮次中，由代表AP负责本地模型训练，并将局部模型参数的更新作为反馈发回智能网关层SG；缓存模块根据智能网关层SG生成的缓存决策，将具体的媒体内容预取到本地缓存中。2.根据权利要求1所述的一种半分布式联邦学习协同优化缓存部署系统，其特征在于，所述智能网关层SG包括依次设置联盟决策模块、全局模型聚合模块、缓存决策模块；所述联盟决策模块将所有AP划分为不同AP联盟；全局模型聚合模块通过计算所有接收到的局部模型的加权来生成的全局模型；缓存决策模块基于联邦学习架构中的深度学习文件流行度预测的全局模型预测内容流行度而生成缓存决策。3.根据权利要求1所述的一种半分布式联邦学习协同优化缓存部署系统，其特征在于，所述联盟决策模块收集无线接入点层AP发送来的用户请求数据特征信息，基于智能网关和超密集部署的AP构成的分层网络架构，利用基于跨媒体数据特征相似性度量的聚类算法将所有AP划分为不同AP联盟，并根据平均传输最小的原则确定代表AP。4.基于权利要求2
‑
3任意一项所述的一种半分布式联邦学习协同优化缓存部署系统的方法，其特征在于，所述智能网关层SG侧的流程步骤为：SA1、智能网关层SG的联盟决策模块接收网络域下所有无线接入点层AP请求的特征数据；SA2、智能网关层SG根据每个无线接入点层AP的请求内容，基于跨媒体数据特征相似性度量的类聚算法将所有AP划分为若干个差异子组，每个子组形成一个AP联盟；SA3、判断是否开启新一轮通信轮次，如果是进入步骤SA4,否则进入步骤SA6；SA4、智能网关层SG向基于平均传输距离最小的原则在每个AP联盟内选择代表AP内发送全局模型；SA5、智能网关层SG传输全局模型至无线接入点层中的代表AP，代表AP将全局模型传输到对应的AP联盟中进行训练，获得更新的局部模型；然后全局模型聚合模块将获得的...

【专利技术属性】
技术研发人员：孙辉，陈艺如，仲红，
申请(专利权)人：安徽大学，
类型：发明
国别省市：