一种基于联邦学习的主动内容缓存方法技术

一种基于联邦学习的主动内容缓存方法，属于无线通信技术领域。第一，在每一轮通信中，用户下载全局模型，在本地利用堆叠式自动编码器进行训练，得到本地模型和用户、文件的隐含特征。第二，在每一轮通信中，用户将模型更新并发送至服务器，所有本地模型聚合生成全局模型。第三，当训练结束后，用户把用户、文件的隐含特征也发送至服务器，服务器首先计算用户相似度和文件相似度，然后随机选择某用户，并使用堆叠式自动编码器的译码器恢复出他们的伪评分矩阵。最后使用协同过滤计算这组用户对全部文件的评分，挑选出平均得分最高的文件进行缓存。本发明专利技术在保证缓存命中率的前提下，有效规避邻居用户之间的数据共享问题，使用户的私有数据更加安全。

An active content caching method based on Federated learning

【技术实现步骤摘要】
一种基于联邦学习的主动内容缓存方法
本专利技术属于无线通信
，涉及一种基于联邦学习的主动内容缓存方法。
技术介绍
当前，移动数据面临爆炸式增长，数据总量大，对数据的搜索和传输时间长，所以需要筛选数据，使有用的数据接近用户侧，以实现快速的数据访问。无线网络内容缓存技术应运而生，它在当今移动数据流量激增的背景下，对于减少回程流量负载、减少移动用户的服务延迟十分有帮助。由于内容缓存设备的容量受到限制，所以预测哪些文件值得缓存是非常重要的。然而传统的内容缓存算法大多是被动的，只是针对已经发生过的访问请求做出反应，并没有考虑未来内容的流行程度，例如先进先出(FirstInputFirstOutput,FIFO)，最近最少使用(LeastRecentlyUsed,LRU)，最不常用(LeastFrequentlyUsed,LFU)。它们使用静态规则来更新缓存内容，虽然反应速度很快，但是缓存命中率不高。因此为了提高缓存命中率，即提高缓存效率，可以采用基于学习的方案，学习内容的流行趋势，主动挑选流行内容并将其保存在缓存设备之中。>传统的学习方法一般本文档来自技高网...

【技术保护点】
1.一种基于联邦学习的主动内容缓存方法，其特征在于，包括以下内容：第一，在每一轮通信中，用户首先下载全局模型，在本地利用堆叠式自动编码器进行训练，得到本地模型和用户、文件的隐含特征；第二，在每一轮通信中，用户将模型更新发送至服务器，服务器采用联邦平均的方法把所有本地模型聚合生成全局模型；第三，当训练结束后，用户把用户、文件的隐含特征也发送至服务器；服务器首先利用用户、文件的隐含特征计算用户相似度和文件相似度；然后随机选择某用户，根据用户相似度挑选出他的K个邻居，使用堆叠式自动编码器的译码器恢复出他们的伪评分矩阵；最后使用协同过滤计算这组用户对全部文件的评分，挑选出平均得分最高的文件进行缓存；具...

【技术特征摘要】
1.一种基于联邦学习的主动内容缓存方法，其特征在于，包括以下内容：第一，在每一轮通信中，用户首先下载全局模型，在本地利用堆叠式自动编码器进行训练，得到本地模型和用户、文件的隐含特征；第二，在每一轮通信中，用户将模型更新发送至服务器，服务器采用联邦平均的方法把所有本地模型聚合生成全局模型；第三，当训练结束后，用户把用户、文件的隐含特征也发送至服务器；服务器首先利用用户、文件的隐含特征计算用户相似度和文件相似度；然后随机选择某用户，根据用户相似度挑选出他的K个邻居，使用堆叠式自动编码器的译码器恢复出他们的伪评分矩阵；最后使用协同过滤计算这组用户对全部文件的评分，挑选出平均得分最高的文件进行缓存；具体步骤如下：
步骤一：信息收集与模型建立
步骤1.1收集信息：根据信息类型，边缘服务器基站收集信息，包括两个方面：
1)用户向基站发起的访问请求和用户所提供的背景信息；
2)基站通过网络侧获取内容信息，内容信息被用来响应用户的访问请求，以及缓存在边缘服务器基站之中；
步骤1.2模型建立：边缘服务器基站建立堆叠式自动编码器模型作为联邦学习的全局模型，即确定深度神经网络的结构；在深度神经网络的结构确定以后，初始化输入层、隐含层、输出层之间的映射关系，即初始化权值矩阵和偏置向量；采用两个堆叠式自动编码器模型，一个作为用户的联邦学习全局模型，另一个作为文件的联邦学习全局模型；
步骤二：本地模型的训练过程
本轮进行本地模型训练的用户在边缘服务器基站中下载用户和文件的联邦学习全局模型，以此全局模型的网络结构和参数确定本地模型的网络结构，本地模型和全局模型的结构是一样的；然后对每个隐含层进行逐层训练，具体过程如下：
设输入层为一个N维向量x，通过堆叠式自动编码器的编码器将其映射到第l个Q维隐含层h(l)上，它的映射关系为:
h(l)＝g(W(l)x+b(l))
解码过程是通过堆叠式自动编码器的译码器在第l个Q维隐含层h(l)中重构出N维向量它的映射关系为：



其中，W∈RQ×N,W′∈RN×Q是权值矩阵，b∈RQ,b′∈RN是偏置向量，g(·)为激活函数，可以选择线性整流函数(RectifiedLinearUnit,ReLU)、双曲正切函数(tanh)、Sigmoid函数等；
堆叠式自动编码器的训练过程是通过调整权值矩阵W，W′和偏置向量b，b′使平均重构误差最小，以得到最佳隐含层向量h(l)的过程；重构误差越小，本地模型和Q维的隐含层向量h(l)越准确；在此使用均方误差作为重构误差，从而最小化目标函数：



其中，第一项是均方误差，第二、三项是正则化项，能够防止模型过拟合，λ是正则化参数；
为了最小化目标函数E，采用有效的梯度更新方法自适应矩估计，在第一轮的迭代中，需要初始化一阶矩向量m0、二阶矩向量v0为零向量，在接下来的迭代中，利用如下公式计算一阶矩向量mt、二阶矩向量vt：
mt←β1·mt-1+(1-β1)·gt



其中，t为当前轮的时间，β1、β2∈[0,1)是控制衰减率的参数，gt表示g(θ)关于θ的梯度，这里的θ就是权值矩阵W,W′和偏置向量b,b′，gt可由反向传播算法(BackPropagation，BP)得到；
对一阶矩向量mt、二阶矩向量vt做出修正，修正后的一阶矩向量二阶矩向量为：






再对参数θ进行更新，更新过程为：



其中，t为当前轮的时间，α为步长，是一个常数，∈是用于数值稳定的小常数，这里的θ就是需要迭代的权值矩阵和偏置向量；
至此，在训练结束后得到每个输入向量x经编码器之后得到的隐含表示h，以及堆叠式自动编码器的深度神经网络；将隐含表示h视为x的隐含特征，深度神经网络即用户的本地模型，记为其中n表示用户的索引，t为...

【专利技术属性】
技术研发人员：邓娜，王凯伦，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21