基于深度强化学习的超密边缘计算网络移动性管理方法技术

本发明专利技术公开了一种基于深度强化学习的超密边缘计算网络移动性管理方法，根据环境信息和处理资源信息建立通信时延模型、计算模型、QoS模型、服务代价迁移模型；根据建立的模型信息建立移动管理模型，采用动态亏损队列技术和Lyapunov优化方法对问题进行简化，采用离散时间马尔可夫决策过程抽象描述移动管理模型超密集边缘计算环境的动态变化过程；根据抽象模型建立基于深度强化学习的算法并得到最优的移动性管理决策。本发明专利技术面对超密边缘计算网络，移动性管理决策局限性小，迁移性好，在考虑系统整体性、动态性、平衡性的前提下，实现用户移动过程中关联网络和任务分配的最优决策。

【技术实现步骤摘要】
基于深度强化学习的超密边缘计算网络移动性管理方法
本专利技术属于
，具体涉及一种基于深度强化学习的超密边缘计算网络移动性管理方法。
技术介绍
随着智能移动设备的快速发展，5G和物联网等技术的兴起，无线连接和流量的需求日益增加，现如今的网络架构难以支撑今后成百倍增长的无线连接需求以及成百倍增长的无线流量需求。无线流量需求的增加对无线网络容量提出了新的要求，超密集网络(UDN)技术正是在这种情况下应运而生。UDN技术通过在热点地区密集部署小型基站来实现无线网络容量的百倍提升以应对移动数据流量需求和无线连接需求的增长现状。随着数据爆炸式的增长，数据的处理方式甚为重要，在今天，浮现了很多时延敏感型，计算密集型的新型应用，比如人脸识别、虚拟现实、无人驾驶视频识别处理等。目前的解决方案是将这些新兴应用卸载到远程云进行计算，即为将应用的需要计算的数据通过网络传输到云端计算中心，计算中心计算完成之后将应用的计算结果再通过核心网络回传。但是由于各种智能联网设备的快速发展以及移动用户流量需求的增加造成了核心网络资源稀缺，所以难以满足任务的计算时延要求本文档来自技高网...

【技术保护点】
1.基于深度强化学习的超密边缘计算网络移动性管理方法，其特征在于，包括以下步骤：/nS1、根据环境信息和处理资源信息建立通信时延模型、计算模型、QoS模型、服务代价迁移模型；/n通信时延模型：根据用户设备的发送功率、无线通信基站之间的距离、路径状况参数、用户之间的干扰功率和区域噪声功率建立通信时延模型并计算传输成本；/n计算模型：根据边缘服务器卸载任务量、服务器处理任务量、边缘服务器CPU周期数、服务器效率建立计算模型并获取计算成本；/nQoS模型：根据通信时延模型和计算模型中得到的成本量建立QoS模型并评价任务卸载的满意度；/n服务代价迁移模型：根据边缘服务器的负载情况和用户的移动情况建立服...

【技术特征摘要】
1.基于深度强化学习的超密边缘计算网络移动性管理方法，其特征在于，包括以下步骤：
S1、根据环境信息和处理资源信息建立通信时延模型、计算模型、QoS模型、服务代价迁移模型；
通信时延模型：根据用户设备的发送功率、无线通信基站之间的距离、路径状况参数、用户之间的干扰功率和区域噪声功率建立通信时延模型并计算传输成本；
计算模型：根据边缘服务器卸载任务量、服务器处理任务量、边缘服务器CPU周期数、服务器效率建立计算模型并获取计算成本；
QoS模型：根据通信时延模型和计算模型中得到的成本量建立QoS模型并评价任务卸载的满意度；
服务代价迁移模型：根据边缘服务器的负载情况和用户的移动情况建立服务代价迁移模型并计算迁移成本；
S2、根据步骤S1建立的模型信息建立移动管理模型，采用动态亏损队列技术和Lyapunov优化方法对问题进行简化，采用离散时间马尔可夫决策过程抽象描述移动管理模型超密集边缘计算环境的动态变化过程；根据抽象模型建立基于深度强化学习的算法并得到最优的移动性管理决策。


2.根据权利要求1所述的基于深度强化学习的超密边缘计算网络移动性管理方法，其特征在于，步骤S1中，上行链路的通信时延由无线传输时延Dl和有线传播时延Dp组成，表示为：
Dtsm(t,bt,et)＝Dl(t,bt)+Dp(t,bt,et)
其中，t为时隙，bt为无线接入节点，et为边缘服务器。


3.根据权利要求1所述的基于深度强化学习的超密边缘计算网络移动性管理方法，其特征在于，步骤S1中，计算任务队列长度的演化为：



其中，ηi,t为边缘服务器n服务的用户i在时隙t的卸载的计算任务数量，是在一个时隙Δt内可以处理的任务数量的最大值，Fn是边缘服务器n的最大的CPU周期数，Le是平均处理单位的数据需要的CPU周期，为使用边缘服务器n来提供计算服务的用户；
当用户在时隙t选择边缘服务器et完成任务，计算时延Dcmp(t,et)的任务为：



其中，t为时隙，bt为无线接入节点，et为计算服务节点，ηt为用户在t时隙的任务数据量，λt为单位数据量计算所需的CPU周期数，B(et,t)为计算服务节点在t时隙的任务队列长度，Le为平均处理单位的数据需要的CPU周期数，为计算服务节点的最大的CPU周期数。


4.根据权利要求1所述的基于深度强化学习的超密边缘计算网络移动性管理方法，其特征在于，步骤S1中，QoS模型具体为：
v(t,bt,et)＝ln(1+ΔD(t,bt,et))
其中，t为时隙，bt为无线接入节点，et为边缘服务器，ΔD(t,bt,et)为用户在t时隙通过无线接入节点bt和边缘服务器et卸载任务时延与要求时延的差值。


5.根据权利要求1所述的基于深度强化学习的超密边缘计算网络移动性管理方法，其特征在于，步骤S1中，服务代价迁移模型为
C(t,et)＝h(t,et)Cm
其中，h(t,et)∈{0，1}是移动性管理模型所做的迁移决策，h(t,et)＝1当且仅当et-1≠et,，否则，h(t,et)＝0，Cm为执行一次服务迁移的代价。


6.根据权利要求1所述的基于深度强化学习的超密边缘计算网络移动性管理方法，其特征在于，步骤S2中，移动管理模型的目标函数为
P1:
s.t.C1:
C2:D(t,bt,et)≤γu(t)
C3:
C4:
其中，v(t,bt,et)由QoS模型求得，T为用户行程中的时隙数，t为时隙，bt为无线接入节点，et为边缘服务器，b＝b0，b1，...，bT和e＝e0，e1，...，eT分别是用户整个行程中给用户提供无线接入的基站序列和提供计算服务的边缘服务器序列，C(t,et)由服务代价迁移模型求得，Cm为执行一次服务迁移的代价，α代表整个行程中服务迁移率的上限，是允许的迁移次数和整个行程时隙的比值，处理时延D(t,bt,et)为通信时延Dtsm(t,bt,et)和计算时延Dcmp(t,et)之和，γu(t)为处理任务的要求时延，为行程中的无线接入节点集，为计算服务的边缘服务器集合；约束C1代表在整个行程中的服务迁移成本限制；约束C2表示卸载任务的总处理时间不能超过任务的要求时延；约束C3和C4表示用户只能在可以选择的范围内进行选择最佳的无线接入服务和计算服务的边缘服务器。


7.根据权利要求1所述的基于深度强化学习的超密边缘计算网络移动性管理方法，其特征在于，步骤S2中，简化后的目标函数为P2:
s.t.C1:D(t,bt,et)≤γu(t)
C2:
C3:
其中，V是QoS获得的单位收益，q(t)是消耗的迁移成本，即t时隙可用的迁移代价与实际已用的迁移代价的偏差；v(t,bt,et)由QoS模型求得，T为用户行程中的时隙数...

【专利技术属性】
技术研发人员：张海宾，孙文，王榕，黄相喆，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61