【技术实现步骤摘要】
本专利技术属于无线通信，具体涉及一种面向卫星异构组网的多时间尺度星间协同缓存方法。
技术介绍
1、近年来，随着通信技术与物联网(internet of things，iot)技术的快速发展，人们对信息的需求变得越来越大。移动设备和应用程序的普及大幅的提高了人们对实时信息更新的需求，比如说新闻、天气报告、电子邮件通知、股票报价、社交更新、移动广告等，这些实时信息都需要大量的数据更新。由此产生的数据需求呈现指数式上升。无线网络面临了前所未有的挑战。对视频流，网页浏览，网络游戏，数据需求的不断增长都在迫使供应商们提供新的服务技术以提供更高的服务质量(quality of experience，qoe)。
2、然而随着人们对数据需求的提高，仅靠地面网络中的边缘节点缓存是远远不够的。截止到2019年，全球还有近一半的人口无法满足上网需求。然而地面基站建立的花销过大，存在许多不适合建立地面网络的地方，如沙漠、海洋、山区等偏远、偏僻的地区。而卫星受到地球引力在围绕地球运动的同时可以服务到地球的任意地方，包括低轨卫星(lowearth orbit，低轨卫星)和中轨卫星(medium earth orbit，中轨卫星)、高轨卫星(highearth orbit，heo)。随着科技的发展以及星上处理技术(on board processingtechnology，obp)的快速发展，卫星处理数据能力得到大幅提升。目前的卫星具备了通信、导航和遥感等多种功能，它具有成本低廉、开发周期短、可批量生产等优点。卫星通信网络具有广泛的覆盖能力，为覆
3、卫星网络有许多优势，它可以以相对低廉的成本覆盖荒漠、海洋等地广人稀的区域。尤其是一箭多星的商业发射以及循环使用等技术，更是使卫星的发射成本大幅度下降。所有这些都使得低轨卫星的大量使用成为可能，并提高了它在商业上的竞争力。其次，因特网应用的迅速发展，为卫星通讯业务带来了新的机遇。近年来，随着各大科技公司的大力推动，低轨卫星互联网的商业模式不断丰富，这直接促进了该产业的迅速发展。
4、针对卫星网络缓存策略的研究有其意义，一方面，由于卫星的高速动态性，对于不同区域的用户来说，对内容的需求不同，这导致了卫星缓存应当是随区域发生变化的，进行合理的内容缓存将对网络带来很大的改善。另一方面，卫星异构组网中轨卫星和低轨卫星特点不同，因此需要专利技术一种面向卫星异构组网的缓存策略。
技术实现思路
1、本专利技术针对上述问题，提供了一种面向卫星异构组网的多时间尺度星间协同缓存方法，充分利用卫星异构组网中低轨卫星(low earth orbit，leo)和中轨卫星(mediumearth orbit，meo)的不同特点，进行不同时间尺度更新缓存。
2、本专利技术的技术方案如下：
3、一种面向卫星异构组网的多时间尺度星间协同缓存方法，包括以下步骤:
4、构建卫星异构组网系统模型，基于所述星异构组网系统模型建立卫星服务用户的流程；
5、以最小化系统时延和内容缓存代价为优化目标，以卫星的缓存容量限制、缓存变量离散化限制以及低轨卫星与中轨卫星之间的通信限制为约束条件，建立星间协同缓存优化问题p1；
6、将所述星间协同缓存优化问题p1转化为马尔科夫决策问题，并利用基于分层强化学习算法求解所述马尔科夫决策问题，所述基于分层强化学习算法将中轨卫星作为外层智能体，大尺度时隙上更新缓存内容，将低轨卫星作为内层智能体，小尺度时隙上更新缓存内容，两层算法有相似的网络模型状态输入和最大化长期奖励优化目标，最终获得网络模型长期奖励最大时的缓存策略和低轨卫星与中轨卫星连接策略。
7、在一些实施例中，所述卫星异构组网系统模型包括三层缓存节点：第一级为网关，可存所有内容；第二级缓存网络有nm个中轨卫星，缓存容量为cm；第三级缓存网络有nl个低轨卫星，缓存容量为cl，其中cm>cl。
8、在一些实施例中，所述卫星服务用户的流程包括以下步骤：
9、用户发出对内容f的申请；
10、服务用户的低轨卫星检查是否已缓存f，若已缓存则低轨卫星直接服务用户；若所述低轨卫星未缓存但中轨卫星已缓存，则由所述中轨卫星发送给所述低轨卫星再服务用户；若所述中轨卫星和所述低轨卫星都未缓存则由网关将内容f发送给低轨卫星再服务用户。
11、在一些实施例中，所述卫星异构组网系统模型中，中轨卫星缓存依据包括：覆盖区域内所有用户对内容的申请状况dm,f(t)和上一次更新时的缓存状态xm,f(t-1)，其中dm,f(t)∈{1,2,...}表示对内容f的申请次数；缓存状态xm,f(t)为中轨卫星缓存变量xm,f(t)∈{0,1}，其中xm,f(t)＝0表示在t时刻中轨卫星m未对内容f缓存，xm,f(t)＝1表示在t时刻中轨卫星m对内容f已缓存；低轨卫星缓存依据包括：覆盖区域内所有用户对内容的申请状况dl,f(t)和上一次更新时的缓存状态xl,f(t-1)，以及中轨卫星的缓存状态，其中dl,f(t)∈{1,2,…}表示对内容f的申请次数；xl,f(t)∈{0,1}，其中xl,f(t)＝0表示在t时刻低轨卫星l未对内容f缓存，xl,f(t)＝1表示在t时刻低轨卫星l已对内容f缓存定义。
12、在一些实施例中，所述卫星异构组网系统模型中，定义为低轨卫星的缓存策略，为中轨卫星的缓存策略；定义系统的长期奖励状态价值函数γ表示折扣因子，用于平衡短期奖励与长期奖励，τ表示时延，rl(t)表示与sl(t)、sm(t)相关的奖励函数，
13、sl(t)＝{dl(t),xl(t-1),xl(t-1),...xl+m(t-1)}，sm(t)＝{dm(t),x1(t-1),xl(t-1),...xl+m(t-1)}，
14、其中，dl(t)表示低轨卫星l接收到的所有内容申请，xl(t-1)表示低轨卫星l上一次更新时的缓存动作，xl(t-1)表示低轨卫星l上一次更新时的缓存动作，xl+m(t-1)表示中轨卫星m上一次更新时的缓存动作，dm(t)表示中轨卫星m接收到的所有内容申请，l表示低轨卫星数量，m表示中轨卫星数量。
15、在一些实施例中，所述星间协同缓存优化问题p1，具体表达式为：
16、
17、
18、
19、
20、
21、
22、其中xl(t)表示低轨卫星l对内容的缓存动作，xm(t)表示中轨卫星m对内容的缓存动作，xl,f(t)表示在t时刻低轨卫星l对内容f的缓存状态，xm,f(t)表示在t时刻中轨卫星m对内容f的缓存状态，cm,l(t)表示对于低轨卫星l，由中轨卫星m放置内容的代价，cm表示中轨卫星缓存容量，cl表示低轨卫星缓存容量，表示t时刻低轨卫星l的可用中轨卫星集合，c5表达式表示每个时刻低轨卫星只能与一个中轨卫星相连接，pm(t)表示与中轨卫星m匹配的低轨本文档来自技高网...
【技术保护点】
1.一种面向卫星异构组网的多时间尺度星间协同缓存方法，其特征在于，包括以下步骤:
2.根据权利要求1所述的面向卫星异构组网的多时间尺度星间协同缓存方法，其特征在于，所述卫星异构组网系统模型包括三层缓存节点：第一级为网关，可存所有内容；第二级缓存网络有NM个中轨卫星，缓存容量为CM；第三级缓存网络有NL个低轨卫星，缓存容量为CL，其中CM>CL。
3.根据权利要求2所述的面向卫星异构组网的多时间尺度星间协同缓存方法，其特征在于，所述卫星服务用户的流程包括以下步骤：
4.根据权利要求1所述的面向卫星异构组网的多时间尺度星间协同缓存方法，其特征在于，所述卫星异构组网系统模型中，中轨卫星缓存依据包括：覆盖区域内所有用户对内容的申请状况dm,f(t)和上一次更新时的缓存状态xm,f(t-1)，其中dm,f(t)∈{1,2,...}表示对内容f的申请次数；缓存状态xm,f(t)为中轨卫星缓存变量xm,f(T)∈{0,1}，其中xm,f(T)＝0表示在T时刻中轨卫星m未对内容f缓存，xm,f(T)＝1表示在T时刻中轨卫星m对内容f已缓存；低轨卫星缓存依
5.根据权利要求4所述的面向卫星异构组网的多时间尺度星间协同缓存方法，其特征在于，所述卫星异构组网系统模型中，定义为低轨卫星的缓存策略，为中轨卫星的缓存策略；定义系统的长期奖励状态价值函数γ表示折扣因子，用于平衡短期奖励与长期奖励，τ表示时延，rl(t)表示与sl(t)、sm(t)相关的奖励函数，sl(t)＝{dl(t),xl(t-1),xL(t-1),...xL+M(t-1)}，sm(t)＝{dm(t),x1(t-1),xL(t-1),...xL+M(t-1)}，
6.根据权利要求5所述的面向卫星异构组网的多时间尺度星间协同缓存方法，其特征在于，所述星间协同缓存优化问题P1，具体表达式为：
7.根据权利要求6所述的面向卫星异构组网的多时间尺度星间协同缓存方法，其特征在于，所述利用基于分层强化学习算法求解所述马尔科夫决策问题，具体包括以下步骤：
...【技术特征摘要】
1.一种面向卫星异构组网的多时间尺度星间协同缓存方法，其特征在于，包括以下步骤:
2.根据权利要求1所述的面向卫星异构组网的多时间尺度星间协同缓存方法，其特征在于，所述卫星异构组网系统模型包括三层缓存节点：第一级为网关，可存所有内容；第二级缓存网络有nm个中轨卫星，缓存容量为cm；第三级缓存网络有nl个低轨卫星，缓存容量为cl，其中cm>cl。
3.根据权利要求2所述的面向卫星异构组网的多时间尺度星间协同缓存方法，其特征在于，所述卫星服务用户的流程包括以下步骤：
4.根据权利要求1所述的面向卫星异构组网的多时间尺度星间协同缓存方法，其特征在于，所述卫星异构组网系统模型中，中轨卫星缓存依据包括：覆盖区域内所有用户对内容的申请状况dm,f(t)和上一次更新时的缓存状态xm,f(t-1)，其中dm,f(t)∈{1,2,...}表示对内容f的申请次数；缓存状态xm,f(t)为中轨卫星缓存变量xm,f(t)∈{0,1}，其中xm,f(t)＝0表示在t时刻中轨卫星m未对内容f缓存，xm,f(t)＝1表示在t时刻中轨卫星m对内容f已缓存；低轨卫星缓存依据包括：覆盖区域内所有用户对内容的申请状况dl,f(t)和上一次...
【专利技术属性】
技术研发人员：罗晶晶，马凯，郑福春，高林，张钦宇，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。