一种基于深度强化学习的解耦C-V2X网络切片方法技术

本发明专利技术公开了一种基于深度强化学习的解耦C

【技术实现步骤摘要】
systems(用于5G异构网络中的解耦上下行访问的灵活双连通性频谱聚合)”的文章中提出了如题所述的双连通性频谱聚合，M.Bacha在2017年发表的题为“Downlink and uplink decoupling in two
‑
tier heterogeneous networks with multi
‑
antenna base stations(具有多线基站的解耦UL/DL双层异构网络)”提出了如题所述的多天线基站的双层异构网络模型，M.Chen在2017年发表的题为“Echo state networks for self
‑
organizing resource allocation in LTE
‑
U with uplink
‑
downlink decoupling(用于LTE
‑
U的UL/DL解耦自组织资源分配的反馈状态网络”)文章中提出了在LTE
‑
U中的反馈状态网络框架，在网络和用户状态信息有限的情况下选取最优频带。r/>[0006]经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的解耦C
‑
V2X网络切片方法，其特征在于，包括以下步骤：基于两层异构网络HetNet在C
‑
V2X通信的动态RAN切片框架，进行如下切片：步骤S1、在切片第一层中，采用深度强化学习SAC算法在宏基站MBS和微基站SBS之间分配带宽，实现V2I和RAC
‑
V2V之间的资源编排；采用云接入网络C
‑
RAN中的虚拟化方法在边缘云上聚合UL/DL带宽，满足V2I片和RAC
‑
V2V片的通信需求；其中UL代表上行，DL代表下行；步骤S2、在切片第二层中，将RAC
‑
V2V通信的QoS建模为一个绝对值优化问题，并采用ASRS算法进行求解，进一步将带宽分配给每个车辆用户；每个车辆用户都采用DL/UL解耦接入技术，并向相关的基站BS报告最低速率要求，边缘云采集不同切片的速率要求，SAC策略网络根据网络状态选择一个转移，即UL/DL带宽分配比，设计ASRS算法，为每一个车辆用户分配带宽；其中，UL/DL的RAC
‑
V2V用户可以独立连接至MBS或SBS。2.根据权利要求1所述的一种基于深度强化学习的解耦C
‑
V2X网络切片方法，其特征在于，在所述动态RAN切片框架中，用M和b分别代表MBS和SBS，其中b∈{1,
···
,b,
···
,B}，和Φ
b
代表车辆用户相关的组，UL和DL整体的带宽用W
UL
和W
DL
来表示；分配给宏节点M的带宽用β
f
W
f
表示，分配给微节点b的带宽用(1
‑
β
f
)W
f
表示，其中f∈{UL,DL}；通过确定最优切片比β
*UL
和β
*DL
最大化带宽利用率；保证V2I和RAC
‑
V2V片的不同QoS车辆用户有两种，一种是下行(DL)V2I用户H＝{1,
···
,h,
···
H}，另一种是RAC
‑
V2V用户D＝{1,
···
,d,
···
D}；对于V2I通信，BS到V2I用户的数据包传输速率为λ
h
包/秒，每个数据包的长度恒为L
h
比特；对于RAC
‑
V2V通信将RAC
‑
V2V车辆用户UL和DL数据包送达的过程建模为泊松过程，定义相同的平均传输速率λ
d
包/秒，数据包长度为L
d
比特；在解耦场景下，车载用户选择距离最近的BS作为UL服务提供点，选择接受功率最大的BS作为DL服务提供点，对于连接到UL的l节点典型车辆用户i∈{H,D}，距离是当且仅当：对于连接到DL的l节点的用户，距离是x
i,l
，当且仅当：其中，G
k
、α
k
分别为接入BS k的用户i的天线增益和路径损耗常数。h
i,M
和分别表示连接到宏节点的用户的UL/DL发射功率和MBS的发射功率；依次表示连接到微节点的用户的UL/DL发射功率和SBS的发射功率；车辆用户连接到宏节点的信道信噪比SNR表示为：车辆用户连接到宏节点的信道信噪比SNR表示为：由于通信内的干扰，车辆用户与微节点之间的信道SINR表示为：
其中σ2是附加的高斯白噪声功率，和分别代表UL和DL上SBS间的干扰；每个单元的负载由与同一BS相关联的设备数量和相应用户的可实现率决定；采用矩阵和分别表示UL和DL中MBS和SBS相关的全带宽Shannon容量；给定每个BS的UL带宽时，每个用户的Shannon容量表示如下：相应的，给定每个BS的DL带宽时，每个用户的Shannon容量表示为：其中i∈{1,L,H},j∈{1,L,1+B}分别表示矩阵的行和列；基于最优资源分配策略，针对RAC
‑
V2V通信，采用有效带宽理论，得到在给定用户端数据到达分布和时延约束下的最低服务速率。3.根据权利要求1所述的一种基于深度强化学习的解耦C
‑
V2X网络切片方法，其特征在于，采用马尔科夫决策过程MDP描述所述两层切片框架中的学习、存储、更新的过程；通过表示切片控制器的状态转移和返回，得到可观察的MDP模型；具体如下：通过切片控制器与无线网络环境的动态交互，推导出元组：其中表示状态集合，表示一组可能的操作。P定义为状态转移的概率；采用无模型的深度强化学习算法处理可完整观察到的MDP问题；将r(s,a)表示为在特定状态s下采取行为a的奖励；该行为将进一步返回给网络片控制器；具体地，状态：将微状态s表示为一个元组：{Γ,Y,r}，其中Γ表示分配给V2I和RAC
‑
V2V切片的带宽，Y表示不同切片的总带宽需求，r表示奖励。行为：在某一状态下，DRL agent执行一个行为a＝{β
UL
,β
DL
}。其中β
UL
和β
DL
限制为[0,1]。奖励：状态转移奖励表示为r∈R(s,a)；其中RAC
‑
V2V通信下的的奖励包括效用函数和QoS，表示如下：其中A、B、P、Q矩阵维数是相同的，由i行，j列组成；i代表车辆，j代表基站；矩阵和
分别表示UL/DL车辆用户在将全带宽分配给相关BS时的容量，矩阵和分别表示每个用户的UL/DL带宽切片比率；首先，边缘云节点采集不同切片的速率要求；之后SAC中的策略网络根据网络状态选择行为，即UL/DL带宽分配比率；接着，设计ASRS算法为每个用户分配带宽；当分配完成时，奖励和新的状态将会进入重放缓冲区。4.根据权利要求3所述的一种基于深度强化学习的解耦C
‑
...

【专利技术属性】
技术研发人员：周海波，李易凡，余凯，汤芷萱，钱博，
申请(专利权)人：南京大学，
类型：发明
国别省市：