一种异构无线网络中的主动预缓存方法及装置制造方法及图纸

本发明专利技术涉及无线网络的资源分配领域，特别是一种异构无线网络中的主动预缓存方法及装置，为了利用可再生能源和节约传统能源，引起了对无线通信中内容预缓存的关注。本发明专利技术专注于内容推送和缓存，以提高绿色能源利用率并节省传统能源为目的。移动环境中的状态转换概率和未来奖励是未知的。因此，本发明专利技术利用强化学习来解决绿色能源分配和内容推送的问题。Q学习是一种无模型的增强型学习技术，可以在MDP问题中找到最佳的动作选择策略。玻尔兹曼分布方法用于更新策略，当Q表稳定后，本发明专利技术可以根据Q表以在每个状态中获得最佳动作。

An Active Pre-caching Method and Device in Heterogeneous Wireless Networks

The invention relates to the resource allocation field of wireless networks, in particular to an active pre-caching method and device in heterogeneous wireless networks. In order to utilize renewable energy and save traditional energy, attention has been paid to content pre-caching in wireless communications. The invention focuses on content pushing and caching for the purpose of improving the utilization rate of green energy and saving traditional energy. The probability of state transition and future rewards in mobile environments are unknown. Therefore, the present invention solves the problems of green energy distribution and content push by means of reinforcement learning. Q learning is a model-free reinforcement learning technology, which can find the best action selection strategy in MDP problems. The Boltzmann distribution method is used for updating strategy. When the Q table is stable, the invention can obtain the best action in each state according to the Q table.

【技术实现步骤摘要】
一种异构无线网络中的主动预缓存方法及装置
本专利技术涉及无线网络的资源分配领域，特别是一种异构无线网络中的内容预缓存方法及其系统。
技术介绍
由于多媒体业务的快速增长以及二氧化碳排放量的急剧增加，绿色通信是解决此类问题的有效措施。绿色无线接入有许多方式，例如能量收集，组播和异构网络。采用太阳能，风能，动能等自然能源的EH技术可以大大降低传统电源无线通信的功耗，从而减少二氧化碳排放。它被认为是实施绿色通信的候选技术之一。无线多播通过同时提供多用户通常感兴趣的多媒体内容，同时将单个数据流扩展到不同用户，从而避免相同内容的重复重传，从而获得巨大的能源优势。异构网络使用密集部署的小型基站(SBS)，通过减少用户与基站之间的距离来提供更高的用户速率。但是，每种技术都有其局限性。一方面由于电池容量有限，可能发生能量和请求到达不匹配的情况，导致能源浪费或短缺。另一方面，为了实现无线多播，一些用户请求需要被延迟以等待并发传输，这可能严重损害早期需求的服务质量。最后，由于微基站的部署不够灵活，部署支持电力线和高速回程链路的成本相对较高。
技术实现思路
本专利技术克服了上述缺点，提供一种异构无线网络中的主动预缓存方法。本专利技术解决其技术问题所采取的技术方案是：一种异构无线网络中的主动预缓存方法，包括如下步骤：考虑节点的可用绿色能量、用户数据文件请求、不同文件的流行度以及不同传输机制的能量消耗，描述出各节点在缓存资源传输过程中选择不同策略所带来的不同收益。构建基于强化学习的内容推送最优化模型；所述的内容推送最优化模型包括状态-动作对。求解内容推送最优化模型，获取内容推送优化策略，根据所述内容推送优化方案进行内容。所述考虑节点的可用绿色能量、用户数据文件请求、不同文件的流行度以及不同传输机制的能量消耗，描述出各节点在缓存资源传输过程中选择不同策略所带来的不同收益。构建基于强化学习的内容推送最优化模型前，还包括根据每个内容以固定的目标平均数据速率，带宽，小尺度快衰落系数，路径损耗常数和路径损耗指数，噪声加干扰功率求出功率函数。所述根据每个内容以固定的目标平均数据速率，带宽，小尺度快衰落系数，路径损耗常数和路径损耗指数，噪声加干扰功率求出功率函数进一步包括W是SBS的带宽，h是小尺度快衰落系数，β和α分别表示路径损耗常数和路径损耗指数，d是传输距离，σ2+PI是噪声加干扰功率。考虑节点的可用绿色能量、用户数据文件请求、不同文件的流行度以及不同传输机制的能量消耗，描述出各节点在缓存资源传输过程中选择不同策略所带来的不同收益。构建基于强化学习的内容推送最优化模型，进一步包括：根据zipf分布，不同文件流行度如下：用户感兴趣的总共有N个内容，由列表C＝(c1,…,cN)表示，其中以概率(或弹出窗口)fi请求第i个排序的内容ci。统计研究表明，内容流行度分布符合Zipf分布。Zipf分布是哈佛的语言学家Zipf在研究语料库的时候发现的，按照单词在语料库中出现的次数排序，则该单词的排序数与其在语料库中出现频数成反比，或者说，二者乘积为一个常数。P(r)＝c/rv这里r表示一个单词的出现频率的排名，P(r)表示排名为r的单词的出现频率。单词频率分布中c约等于0.1。因此，内容ci的流行度可以表示为：用户的兴趣内容会随着时间而变化，随着时间的推移，部分流内容行会被替换。而在本模型中，不关注内容本身，所以不考虑流行内容更新的过程。根据模型可知，总是给用户推送当前存储在小基站内最流行的内容。已推送过的内容可以表示为Ct＝(c1，c2，…，ck)，剩余的未推送列表可表示为所述求解内容推送最优化模型，获取内容推送优化策略，根据所述内容推送优化方案进行内容，进一步包括：基于强化学习算法求解所述内容推送最优化模型，将消耗传统能源量最低的方案作为内容推送优化方案，根据所述内容推送优化方案进行内容推送。所述基于强化学习算法求解所述内容推送最优化模型，将消耗传统能源量最低的方案作为内容推送优化方案，根据所述内容推送优化方案进行内容推送，还进一步包括：基于所述强化学习，包含三个要素，智能体状态，动作空间，回报。所述智能体状态，智能体能够选择最佳动作的基础是首先定义状态空间。Agent可感知到其环境的不同状态集合S系统状态由Sk＝Ek,Ck,Xk,Yk)表示，Ek代表SBS当前的电量，Ck代表当前的一个推送状态，Xk,Yk表示向SBS发出请求的用户的状态，Xk,表示SBS单播的能量消耗，Yk表示BS单播的能量消耗。所述动作空间，考虑在宏基站中加入纯绿色能源供电的具有缓存功能的接入点，接入点根据当前电量，缓存内容，和用户请求选择自己的行为。SBS的行动集合为{a0,a1,a2,a3}。SBS有4种可能的行为：a0,休眠，此时用户请求由宏基站服务；a1，直接单播给用户；a2,向BS请求内容，更新缓存并下发；a3推送最流行的内容。所述回报函数，回报函数R(s,a)基于系统的系统消耗的传统能源量来设计的，希望系统消耗的传统能源量是最少的，规定回报函数为负值。所述异构无线网络中的主动预缓存方法包括：宏基站，小基站，和用户请求，总的来说，SBS执行所述内容推送优化方案，选择休眠，单播，或推送。当SBS由于某些因素选择休眠或者推送，或者用户的请求不在SBS推送列表中，此时本专利技术的用户请求需要借助宏基站来处理。宏基站处理用户请求需要消耗传统能源，本专利技术的目标是在长时间段内最小化传统能源的消耗，提高绿色能源的利用率。本专利技术从节省传统能源消耗及降低用户使用时延的角度出发，SBS主动缓存并在用户请求前推送内容。首先，由于先进推送机制，本专利技术可以有更长的时间向用户发送内容，因此传送给用户的内容可以更灵活地匹配绿色能源的到来。其次，由于可以合理地使用所收集的能量，因此避免了由于有限的电池容量而导致的能量浪费。本专利技术通过强化学习方法得到了每个状态下SBS动作的最优策略，从而使传统能源的消耗降到最低。附图说明图1为本专利技术异构无线网络中的主动预缓存方法流程图；图2为采用本专利技术部署方案示意图；图3为采用本专利技术实现的Ck＝0时主动预缓存方案示意图；图4为采用本专利技术实现的Ck＝0主动预缓存方案示意图；图5为采用本专利技术实现的Ck＝0主动预缓存方案示意图；；图6为当用户请求概率为0.4时，基于强化学习的主动预缓存方法和单播优先及推送优先方法的比较示意图；图7为当用户请求概率为0.9时，基于强化学习的主动预缓存方法和单播优先及推送优先方法的比较示意图；具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一：为一种异构无线网络中的主动预缓存方法的优选实施例，如图1所示为本实施例的原理框图和流程。步骤1:初始化小基站相应状态对应的动作(初始化Q表)步骤2:在动作集中选择小基站的动作(休眠，单播，更新缓存单播，推送)在每个时隙中从用户侧生成请求Qt。小型基站根据电池状态选择相应的动作并请求内容，消耗Ut能量，并捕获At能量。SBS的行动集合为{a0本文档来自技高网...

【技术保护点】
1.一种异构无线网络中的主动预缓存方法，其特征在于，包括如下步骤：考虑节点的可用绿色能量、用户数据文件请求、不同文件的流行度以及不同传输机制的能量消耗，描述出各节点在缓存资源传输过程中选择不同策略所带来的不同收益；构建基于强化学习的内容推送最优化模型；求解内容推送最优化模型，获取内容推送优化策略，根据所述内容推送优化方案进行内容推送。

【技术特征摘要】
1.一种异构无线网络中的主动预缓存方法，其特征在于，包括如下步骤：考虑节点的可用绿色能量、用户数据文件请求、不同文件的流行度以及不同传输机制的能量消耗，描述出各节点在缓存资源传输过程中选择不同策略所带来的不同收益；构建基于强化学习的内容推送最优化模型；求解内容推送最优化模型，获取内容推送优化策略，根据所述内容推送优化方案进行内容推送。2.根据权利要求1所述的异构无线网络中的主动预缓存方法，其特征在于：构建基于强化学习的内容推送最优化模型前，还包括根据每个内容以固定的目标平均数据速率，带宽，小尺度快衰落系数，路径损耗常数和路径损耗指数，噪声加干扰功率求出功率函数。3.根据权利要求1所述的异构无线网络中的主动预缓存方法，其特征在于：考虑内容流行度分布，内容流行度分布符合Zipf分布，按照单词在语料库中出现的次数排序，则该单词的排序数与其在语料库中出现频数成反比；用户的兴趣内容会随着时间而变化，随着时间的推移，部分流内容行会被替换；在本模型中，不关注内容本身，所以不考虑流行内容更新的过程，总...

【专利技术属性】
技术研发人员：魏翼飞，张祎，宋梅，张勇，顾博，王莉，郭达，王小娟，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11