基于DTN的物联网RAN切片切换控制和资源分配方法及系统技术方案

本发明专利技术公开了一种基于DTN的物联网RAN切片切换控制和资源分配方法及系统，通过构建基于DTN的物联网RAN切片架构实现物联网中设备的快速切片切换和资源分配，DTN通过实时监控物联网中设备和切片的运行情况，一旦切片中接入设备满意度过低，则触发切换。然后中央控制器通过改进的基于行动者

【技术实现步骤摘要】
基于DTN的物联网RAN切片切换控制和资源分配方法及系统


[0001]本专利技术涉及移动通信技术，尤其涉及一种基于DTN的物联网RAN切片切换控制和资源分配方法及系统。

技术介绍

[0002]随着物联网技术的快速发展，出现了一系列新的垂直服务和应用，比如智能交通、高精度制造、虚拟现实和智能城市等。然而，现有网络的容量远远不足以容纳新的垂直应用。因此，人工智能和网络切片辅助通信技术得以发展。作为无线接入网(Radio Access Network，RAN)切片中物联网设备(IoTE)
‑
网络切片(NS)
‑
基站(BS)的三层关联，切换控制和资源分配已成为一个重要但复杂的问题。
[0003]尽管传统的网络管理数据和其他提取方法可以获得大量的网络数据，但存在数据质量差、值密度低和时效性差等缺点，阻碍了当前网络及RAN切片状况的实时集成，而数字孪生网络(Digital twin network，DTN)能够在不同的时间间隔内监控用户流量、用户请求、信道状态、网络架构。另一方面，传统的静态用户准入和资源分配不能适应动态变化的无线接入侧，现有技术中也有人提出了基于深度Q网络(DQN)的RAN切片的动态切换控制方法，以保证速率最大且切换成本最小，但没有考虑资源分配，造成系统满意度过低。
[0004]从上面的分析可以清楚的看到，现有的技术并没有基于DTN且同时考虑系统满意度和用户切换成本的物联网RAN切片的切换控制和资源分配方案。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于DTN的物联网RAN切片切换控制和资源分配方法，使其能够通过DTN实时监测物联网设备的运行情况，克服现有网络管理数据质量差、值密度低和时效性差等缺点，同时通过一种改进的基于演员
‑
评论家框架的方法实现切换控制和资源分配。
[0006]为实现上述目的，本专利技术所采用的具体技术方案如下：
[0007]一种基于DTN的物联网RAN切片切换控制和资源分配方法，其关键在于，包括步骤：
[0008]S1、构建基于DTN的物联网RAN切片架构，所述基于DTN的物联网RAN切片架构包括物理实体层和数字孪生层，利用所述数字孪生层实时监测和收集所述物理实体层中用户设备、网络切片和基站的运行状态，并在用户满意度低于预设阈值或者违背用户服务质量时，触发切换指令；
[0009]S2：中央控制器接收所述切换指令后，根据当前网络状态，通过演员家组件中的神经网络确定切换动作；
[0010]S3：将步骤S2中确定的切换动作作为演员家组件中内点法优化器的输入，并由内点法优化器输出资源分配动作，且所述中央控制器将切换动作和资源分配动作作为联合动作执行；
[0011]S4：将步骤S2确定的切换动作、步骤S3确定的资源分配动作、以及系统按照联合动
作执行所形成的奖励和网络参数输入经验回放池中，利用评论家组件对所述经验回放池中的经验数据进行评估，并将评估结果输入所述演员家组件中进行神经网络训练；
[0012]S5：重复步骤S2
‑
S4，直至数字孪生层中的功能模型维持收敛。
[0013]可选地，所述物理实体层中包括多种物联网用户设备和基站，所述数字孪生层中包括数据存储器、基础模型和功能模型，其中：
[0014]所述基础模型用于对所述物理实体层中的真实网络进行监测，并利用收集的网络数据构建真实网络的数字孪生体；
[0015]所述数据存储器用于存储所述基础模型收集的网络数据；
[0016]所述功能模型用于根据当前基础模型中的网络运行状态确定切换动作和资源分配动作。
[0017]可选地，在步骤S2中，所述中央控制器接收切换指令后，根据当前观测到的网络状态：
[0018][0019]由演员家组件中的神经网络输出切换动作其中：表示t
‑
1时刻用户u是否通过基站b接入切片n，若是则为1，反之为0；W
b,n
(t)表示t时刻基站b中切片n的频谱资源；分别表示时刻t用户u所请求的最低速率和最大时延；分别表示时刻t切片n可提供的最小速率和最大时延，a
t1
表示t时刻关于选择基站b和切片n的联合动作，B为物理实体层中基站集合，N为物理实体层中网络切片集合，U为物理实体层中用户设备集合。
[0020]可选地，步骤S3中将演员家组件中的神经网络输出的切换动作输入内点法优化器，并由内点法优化器输出资源分配动作输入内点法优化器，并由内点法优化器输出资源分配动作表示t时刻基站b中切片n分配给用户u的频谱资源，中央控制器执行联合动作a
t
＝(a
t1
,a
t2
)，并进入下一状态s
t+1
，同时获得奖励r
t
，并将经验数据(s
t
,a
t
,r
t
,s
t+1
)存入经验回放池中。
[0021]可选地，步骤S4中所述评论家组件中的神经网络通过最小化损失函数指导所述演员家组件中神经网络实现动作生成，其中：所述评论家组件中的神经网络通过最小化损失函数更新，其中y
t
为时间差分误差，θ为评论家组件中神经网络参数；Q(s
t
,a
t1
,a
t2
|θ)表示评论家组件中的神经网络在神经网络参数为θ状态为s
t
的情况下执行联合动作(a
t1
,a
t2
)的价值，M为训练时从经验回放池中采样的样本数量，评论家组件中目标神经网络参数通过θ
′
＝τθ+(1
‑
τ)θ
′
更新，θ'表示评论家组件中目标神经网络参数，τ表示软更新参数；
[0022]演员家组件中神经网络参数按照进行更新，其中w
t
为t时刻演员家组件中神经网络参数，w
t+1
为t+1时刻演员家组件中神经网络参数，l为学习率，为策略梯度，且所述策略梯度通过：
[0023]确定，其中表示评论家组件中神经网络在神经网络参数为θ状态为s
t
的情况下执行联合动作执行联合动作(a
t1
,a
t2
)的价值梯度；表示在演员加组件中神经网络参数为w状态为s
t
的情况下的策略动作梯度；w为演员家组件中神经网络参数，则演员家组件中目标神经网络参数通过w'＝τw+(1
‑
τ)w'更新，其中w'表示演员家组件中目标神经网络参数。
[0024]可选地，所述数据存储器中存储的网络数据包括用户服务数据、切片带宽数据、基站位置信息、用户位置信息以及用户移动性数据。
[0025]可选地，通过步骤S5确定功能模型收敛后，所述数字孪生层下发功能模型至所述物理实体层，并基于所述功能模型所得的切换本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DTN的物联网RAN切片切换控制和资源分配方法，其特征在于，包括以下步骤：S1、构建基于DTN的物联网RAN切片架构，所述基于DTN的物联网RAN切片架构包括物理实体层和数字孪生层，利用所述数字孪生层实时监测和收集所述物理实体层中用户设备、网络切片和基站的运行状态，并在用户满意度低于预设阈值或者违背用户服务质量时，触发切换指令；S2：中央控制器接收所述切换指令后，根据当前网络状态，通过演员家组件中的神经网络确定切换动作；S3：将步骤S2中确定的切换动作作为演员家组件中内点法优化器的输入，并由内点法优化器输出资源分配动作，且所述中央控制器将切换动作和资源分配动作作为联合动作执行；S4：将步骤S2确定的切换动作、步骤S3确定的资源分配动作、以及系统按照联合动作执行所形成的奖励和网络参数输入经验回放池中，利用评论家组件对所述经验回放池中的经验数据进行评估，并将评估结果输入所述演员家组件中进行神经网络训练；S5：重复步骤S2
‑
S4，直至数字孪生层中的功能模型维持收敛。2.根据权利要求1所述的基于DTN的物联网RAN切片切换控制和资源分配方法，其特征在于，所述物理实体层中包括多种物联网用户设备和基站，所述数字孪生层中包括数据存储器、基础模型和功能模型，其中：所述基础模型用于对所述物理实体层中的真实网络进行监测，并利用收集的网络数据构建真实网络的数字孪生体；所述数据存储器用于存储所述基础模型收集的网络数据；所述功能模型用于根据当前基础模型中的网络运行状态确定切换动作和资源分配动作。3.根据权利要求1或2所述的基于DTN的物联网RAN切片切换控制和资源分配方法，其特征在于，在步骤S2中，所述中央控制器接收切换指令后，根据当前观测到的网络状态：由演员家组件中的神经网络输出切换动作其中：表示t
‑
1时刻用户u是否通过基站b接入切片n，若是则为1，反之为0；W
b,n
(t)表示t时刻基站b中切片n的频谱资源；分别表示时刻t用户u所请求的最低速率和最大时延；分别表示时刻t切片n可提供的最小速率和最大时延，a
t1
表示t时刻关于选择基站b和切片n的联合动作，B为物理实体层中基站集合，N为物理实体层中网络切片集合，U为物理实体层中用户设备集合。4.根据权利要求3所述的基于DTN的物联网RAN切片切换控制和资源分配方法，其特征在于，步骤S3中将演员家组件中的神经网络输出的切换动作输入内点法优化器，并由内点法优化器输出资源分配动作点法优化器，并由内点法优化器输出资源分配动作表示t时
刻基站b中切片n分配给用户u的频谱资源，中央控制器执行联合动作a
t
＝(a
t1
,a
t2
)，并进入下一状态s
t+1
，同时获得奖励r
t
，并将经验数据(s
t
,a
t
,r
t
,s
t+1
)...

【专利技术属性】
技术研发人员：刘青海，李荔，肖继攀，王贺，胡娟，张伟东，
申请(专利权)人：重庆控环科技集团有限公司，
类型：发明
国别省市：