适应不同信道特性的无线电接入网切片资源分配方法组成比例

本发明专利技术提供了一种适应不同信道特性的无线电接入网切片资源分配方法，包括以下步骤：建立多基站蜂窝网络下行场景；基站收集切片最小速率需求、用户最小速率需求、用户可以忍受最大延迟阈值和不完全CSI条件信息；初始化深度Q学习DQN的权重；初始化即资源的分配并计算此时用户速率、基站对用户的干扰和基站切片总吞吐量；基站根据此时状态和计算奖励并使用贪婪策略做出决策；更新环境的状态以及奖励；根据经验回放池计算出的损失函数，并更新权重，直至损失函数达到设置的收敛条件或者程序本身达到最大迭代次数。本发明专利技术在满足每个切片与用户的QoS需求时，还确保了切片与用户之间的隔离。隔离。隔离。

【技术实现步骤摘要】
适应不同信道特性的无线电接入网切片资源分配方法


[0001]本专利技术涉及一种适应不同信道特性的无线电接入网切片资源分配方法，属于无线通信


技术介绍

[0002]网络切片的实质是虚拟网络运营商(MVNO，mobile virtual network operator)将物理资源抽象映射成虚拟资源，再把虚拟资源分配给服务提供商(SPs，service providers)。这些需求以服务水平协议(SLA，Service Level Agreement)的形式在SPs和租户之间确定，SLA指定了关键的性能指标，如吞吐量、延迟、可靠性等。为了实现这些SLA，网络切片将从核心网络引入到无线电接入网RAN(RadioAccess Network)域。由于无线信道的资源耦合和随机性，在RAN域中的网络切片仍然是一个具有挑战性的问题。大部分现有工作主要集中在RAN的体系结构中，而对RAN片的资源分配和优化的研究还在进行中。网络切片需要提供片之间的隔离来防止一个切片的拥塞影响其他切片的性能。
[0003]现有的大部分研究中，RAN切片隔离只考虑了切片需求，虽然做到了聚合切片的性能保证，却没有考虑到每个用户的特点，这就会无法保证切片中用户的QoS保证。
[0004]有鉴于此，确有必要提出一种适应不同信道特性的无线电接入网切片资源分配方法，以解决上述问题。

技术实现思路

[0005]本专利技术的目的在于提供一种适应不同信道特性的无线电接入网切片资源分配方法，能够保证了切片之间的隔离，并满足了切片中所有用户的QoS需求。
[0006]为实现上述目的，本专利技术提供了一种适应不同信道特性的无线电接入网切片资源分配方法，主要包括以下步骤：
[0007]步骤1、建立多基站蜂窝网络下行场景；
[0008]步骤2、基站收集切片最小速率需求用户最小速率需求用户能够忍受最大延迟阈值D
max
和不完全CSI条件信息；
[0009]步骤3、初始化深度Q学习DQN的权重θ和Q(s,a；θ)；
[0010]步骤4、初始化a
t
即资源的分配并计算此时用户速率、基站对用户的干扰和基站切片总吞吐量；
[0011]步骤5、基站根据此时状态s
t
和计算奖励r
t
并使用ε贪婪策略做出决策；
[0012]步骤6、更新环境的状态s
t+1
以及奖励r
t+1
；
[0013]步骤7、根据经验回放池计算出的损失函数L(θ)，并更新权重θ，重复步骤5，直至损失函数L(θ)达到设置的收敛条件或者程序本身达到最大迭代次数T。
[0014]作为本专利技术的进一步改进，步骤1中，所述多基站蜂窝网络下行场景包括一组B＝{1,...,b,...}的基站BSs，且相邻的BSs之间会互相干扰，用户集表示为U＝{1...,u,...}，用户的总数表示为U，总带宽W被划分为一组相同的子信道J＝{1,...j,...}，其中J是子信
道的总数，每个子信道的带宽为R
j
表示为子信道j的带宽，切片总数为S,并将切片表示为S＝{1,...,s,...}，每个切片s有一组用户M
s
＝{1,2,
…
,m
s
,
…
}，其中m
s
是切片s中的第m个用户，M
s
是切片s中的总用户数，则∑
s∈S
M
s
＝U。
[0015]作为本专利技术的进一步改进，步骤2中还包括：
[0016]定义二进制变量若用户m
s
在基站b中请求切片s则为1，否则为0，为了保证用户只能够请求一个切片，引出约束C1：
[0017][0018]定义二进制变量若在基站b将子信道j分配给用户m
s
则为1，否则为0，为了保证子信道在基站中只能够分配给一个用户，引出约束C2：
[0019][0020]为了保证每个基站的发射功率不超过其最大发射功率引出约束C3：
[0021][0022]作为本专利技术的进一步改进，步骤2中，考虑了基站中不完全的CSI并计算此条件下用户m
s
的最差速率，不完全CSI表述如下：
[0023][0024]其中，表示估计的信道增益，表示估计信道增益的误差。
[0025]作为本专利技术的进一步改进，步骤3中，在深度Q学习DQN中，训练数据被表示为一个动作值，并被称为一个目标值，需要最小化的损失函数为：
[0026][0027]其中，y
t
为目标值，θ表示神经网络的参数，代理通过更新θ来接近y
t
来学习动作值。
[0028]作为本专利技术的进一步改进，步骤4中，计算子信道j上从基站b到用户m
s
的传输速率并表示为：
[0029][0030]其中，表示在子信道j上基站b和用户m
s
之间的传输功率，表示在子信道j上基站b和用户m
s
之间的信道增益，系统总带宽为W。
[0031]作为本专利技术的进一步改进，步骤4中还包括：每个子信道带宽相等，则每个子信道带宽为计算子信道j上基站b对用户m
s
的干扰并表示为：
[0032][0033]将基站切片总吞吐量建模且目标是使得总吞吐量最大，并考虑约束条件，
[0034][0035][0036][0037][0038][0039][0040][0041]其中，约束C1表示设计每个用户只能够请求一个切片，约束C2表示每个子信道在基站中只能够分配给一个用户，约束C3表示每个基站的发射功率不能超过其最大发射功率，约束C4保证了切片的QoS需求，约束C5保证了用户的QoS需求，约束C6表示用户满足延迟约束所需最小传输速率。
[0042]作为本专利技术的进一步改进，步骤5中，采用深度强化学习来寻找最优动作，该网络输入为动作a
t
和状态s
t
，输出为动作的Q值即Q
k
(s
t
,a
t
)；并采用目标神经网络计算下一个装状态s
t+1
的Q值Q
k
(s
t+！
,a
t
)，并通过如下表达式更新：
[0043][0044]其中，α
k
和γ分别是学习率和折扣因子，s
t+1
和r
t+1
表示下一状态和在状态s
t
下采取动作后得到的奖励，a表示状态s
t+1
下的可执行行动，A为可执行动作集，表示状态s
t+1
下动作集合A中的最大Q值。
[0045]作为本专利技术的进一步改进，步骤6中，切片优化问题能够描述为一个独立的马尔可夫决策过程，能够形式化为一个4元组的＜S,A,π,R＞，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适应不同信道特性的无线电接入网切片资源分配方法，其特征在于，包括以下步骤：步骤1、建立多基站蜂窝网络下行场景；步骤2、基站收集切片最小速率需求用户最小速率需求用户能够忍受最大延迟阈值D
max
和不完全CSI条件信息；步骤3、初始化深度Q学习DQN的权重θ和Q(s,a；θ)；步骤4、初始化a
t
即资源的分配并计算此时用户速率、基站对用户的干扰和基站切片总吞吐量；步骤5、基站根据此时状态s
t
和计算奖励r
t
并使用ε贪婪策略做出决策；步骤6、更新环境的状态s
t+1
以及奖励r
t+1
；步骤7、根据经验回放池计算出的损失函数L(θ)，并更新权重θ，重复步骤5，直至损失函数L(θ)达到设置的收敛条件或者程序本身达到最大迭代次数T。2.根据权利要求1所述的适应不同信道特性的无线电接入网切片资源分配方法，其特征在于：步骤1中，所述多基站蜂窝网络下行场景包括一组B＝{1,...,b,...}的基站BSs，且相邻的BSs之间会互相干扰，用户集表示为U＝{1...,u,...}，用户的总数表示为U，总带宽W被划分为一组相同的子信道J＝{1,...j,...}，其中J是子信道的总数，每个子信道的带宽为R
j
表示为子信道j的带宽，切片总数为S,并将切片表示为S＝{1,...,s,...}，每个切片s有一组用户M
s
＝{1,2,...,m
s
,...}，其中m
s
是切片s中的第m个用户，M
s
是切片s中的总用户数，则∑
s∈S
M
s
＝U。3.根据权利要求1所述的适应不同信道特性的无线电接入网切片资源分配方法，其特征在于：步骤2中还包括：定义二进制变量若用户m
s
在基站b中请求切片s则为1，否则为0，为了保证用户只能够请求一个切片，引出约束C1：C1:定义二进制变量若在基站b将子信道j分配给用户m
s
则为1，否则为0，为了保证子信道在基站中只能够分配给一个用户，引出约束C2：C2:为了保证每个基站的发射功率不超过其最大发射功率引出约束C3：C3:4.根据权利要求3所述的适应不同信道特性的无线电接入网切片资源分配方法，其特征在于：步骤2中，考虑了基站中不完全的CSI并计算此条件下用户m
s
的最差速率，不完全CSI表述如下：
其中，表示估计的信道增益，表示估计信道增益的误差。5.根据权利要求1所述的适应不同信道特性的无线电接入网切片资源分配方法，其特征在于：步骤3中，在深度Q学习DQN中，训练数据被表示为一个动作值，并被称为一个目标值，需要最小化的损失函数为：其中，y
t
为目标值，θ表示神经网络的参数，代理通过更新θ...

【专利技术属性】
技术研发人员：孙君，王科，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：