混合接入认知无线网络切片资源分配方法及设备组成比例

本发明专利技术提供了一种混合接入认知无线网络切片资源分配方法及设备，其中，该方法包括：针对认知用户构建智能体，状态对应需要交互或不需要交互，动作对应传输功率和信道；将智能体状态输入至混合接入认知无线网络场景的图卷积神经网络模型以对邻居认知用户计算注意头部并在连接所有注意头部后经由卷积层输出智能体的动作相关信息；基于认知用户的传输功率预测结果和占用信道预测结果，判断动作是否满足通信时延要求、传输速率要求和干扰温度阈值要求，计算奖励函数的值；若不满足，则对奖励函数进行惩罚；利用训练后的神经网络模型和智能体为混合接入认知无线网络中的认知用户分配网络切片资源。通过上述方案提高频谱使用效率。率。率。

【技术实现步骤摘要】
混合接入认知无线网络切片资源分配方法及设备


[0001]本专利技术涉及无线通信
，尤其涉及一种混合接入认知无线网络切片资源分配方法及设备。

技术介绍

[0002]随着信息化技术的发展，工业模式也随之改变，频谱资源愈加宝贵。一方面，随着新兴无线通信业务的不断发展，频谱资源日趋紧张；另一方面，已有的低效遗留系统频谱资源利用效率低下，难以改造。在过去的十年中，无线设备(例如车辆、移动电话、平板电脑和各种无线传感器)的使用迅速增加，这促进了第五代无线通信(5th generation mobile networks，5G)的发展。在5G无线网络中，预计数据速率将是当前数据速率的10倍，并且具有更强大的连接性和百分之百的覆盖范围，有望提供更好的服务质量和用户体验。目前相关LTE
‑
G230(无线专网技术)标准业已发布，其中的230MHz频段复杂频谱特性给多行业多业务共享共用带来新的挑战。虽然国家已经给予像国家电网、水利等各部门授权频段以开展各自业务，但仍有部分频段属于各地区各部门按需使用，这样会造成频谱大部分属于空闲状态，频率利用率很低。优化频谱使用规则以提高频谱使用效率成为亟待解决的问题。
[0003]网络切片技术是5G的关键技术之一，其可以将大量专用的底层物理网络资源进行统一调配，将网络功能虚拟化，为用户提供高效服务，针对性的满足用户的多样化需求。伴随着时代发展和科技进步，涌现出许多新型和高标准业务需求，因此整合现有的物理网络资源，按需分配给不同的通信业务，既降低了建设成本，又能将有限的资源合理分配给多个业务切片。基于此5G提出了典型的应用场景，分别为增强型移动宽带(eMBB)、超高可靠低时延通信(URLLC)和海量物联网通信。
[0004]另外，认知无线电(Cognitive Radio，CR)是一种用来游湖频谱使用规则的技术。在CR中，若不影响授权用户正常通信，则可以允许未授权用户接入授权频谱区域内进行通信。现如今无线网络的结构日趋复杂，密集网络覆盖所带来的干扰也不容轻视。在认知无线网络中，复杂的网络环境、无限大的状态空间和高维优化参数，对于传统的优化方法来说是一个挑战。
[0005]而强化学习作为重要的机器学习分支，在复杂问题的决策和优化上发挥巨大的作用，如在棋类比赛中打败顶级大师，对网络资源进行分配调度，根据用户兴趣进行智能推荐等。随着人工智能技术的发展，在数据和算法驱动下可以解决各类问题。与传统的人工选取特征的算法比较来看，深度学习在无线网络中有着更大的潜力，深度学习可以从数据中自动提取特征，不需要过多人工干预，直接使用端到端的方式进行训练，从而降低了模型复杂度。强化学习可以和环境进行不断交互，采用“试错”的手段，不断积累经验调整策略。将深度学习和强化学习算法相结合，在学习过程中，积累历史经验数据作为神经网络的训练数据，发挥深度学习的优势，从而更好的训练模型，优化决策。图卷积神经网络在复杂拓扑图场景的信息提取能力强于普通的卷积神经网络。将图卷积神经网络与强化学习算法结合，可以有效地提高智能体在复杂拓扑场景下的信息提取能力，并获得更优的资源分配策略。
[0006]然而，现实应用问题复杂度很高，信息量也很大，可能无法同一时间掌握全局信息，因此单智能体强化学习算法不再适用。

技术实现思路

[0007]有鉴于此，本专利技术提供了一种混合接入认知无线网络切片资源分配方法及设备，以实现适用于混合接入认知无线网络切片资源分配场景的强化学习方法，从而提高频谱使用效率。
[0008]为了达到上述目的，本专利技术采用以下方案实现：
[0009]根据本专利技术实施例的一个方面，提供了一种混合接入认知无线网络切片资源分配方法，包括：
[0010]针对混合接入认知无线网络中的每个认知用户构建一个智能体，其中，智能体的状态对应于当前认知用户与混合接入认知无线网络中其他认知用户需要交互的信息和不需要交互的信息，智能体的动作对应于当前认知用户的传输功率和当前认知用户占用的信道；
[0011]确定智能体的状态，并将确定的智能体的状态输入至混合接入认知无线网络场景下的基于图卷积的神经网络模型中，以针对智能体的状态中每个邻居认知用户计算注意头部并在连接所有注意头部后经由神经网络模型中的卷积层输出智能体的动作相关信息；
[0012]根据智能体的动作相关信息得到智能体的认知用户的传输功率预测结果和占用信道预测结果，并基于认知用户的传输功率预测结果和占用信道预测结果，判断智能体的当前动作是否满足为超高可靠低时延通信切片用户时的通信时延要求和为增强型移动宽带切片用户时的传输速率要求以及根据干扰温度阈值约束函数的值是否满足干扰温度阈值要求；
[0013]若不满足通信时延要求、传输速率要求及干扰温度阈值要求，则计算奖励函数的值，利用奖励函数的值对智能体的当前动作进行奖惩，以训练神经网络模型和智能体；其中，奖励函数是基于干扰温度阈值约束函数和认知用户能量效率函数确定，干扰温度阈值约束函数是基于干扰功率与信道带宽的比值确定的关于传输功率和信道的函数；
[0014]利用训练后的神经网络模型和智能体为混合接入认知无线网络中的认知用户分配网络切片资源。
[0015]在一些实施例中，当前认知用户与混合接入认知无线网络中其他认知用户需要交互的信息包括：认知用户与认知基站的二进制关联系数、认知用户与信道的二进制关联系数、认知用户的传输功率、及认知用户是否满足通信需求的二进制系数；
[0016]当前认知用户与混合接入认知无线网络中其他认知用户不需要交互的信息包括：认知用户的信干噪比和主用户与信道的二进制关联系数。
[0017]在一些实施例中，确定智能体的状态，并将确定的智能体的状态输入至混合接入认知无线网络场景下的基于图卷积的神经网络模型中，以针对智能体的状态中每个邻居认知用户计算注意头部并在连接所有注意头部后经由神经网络模型中的卷积层输出智能体的动作相关信息，包括：
[0018]确定智能体的状态，并将确定的智能体的状态输入至混合接入认知无线网络场景下的基于图卷积的神经网络模型中，以针对智能体的状态中每个邻居认知用户计算注意头
部并在连接所有注意头部后依次经由神经网络模型中的非线性激活函数和卷积层后输出智能体的动作相关信息。
[0019]在一些实施例中，针对智能体的状态中每个邻居认知用户计算的注意头部表示为：
[0020][0021]其中，表示智能体i的邻居认知用户j的注意头部m，W
m
表示注意头部m的权重矩阵，h
i
表示智能体i的认知用户对应的神经元的输出，h
j
表示邻居认知用户j对应的神经元的输出，X
+i
表示智能体i的认知用户及其邻居认知用户构成的集合，k∈X
+i
表示集合X
+i
中的认知用户k，h
k
表示邻居认知用户k对应的神经元的输出，τ表示缩放因子，(W
m
h
i
)
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种混合接入认知无线网络切片资源分配方法，其特征在于，包括：针对混合接入认知无线网络中的每个认知用户构建一个智能体，其中，智能体的状态对应于当前认知用户与混合接入认知无线网络中其他认知用户需要交互的信息和不需要交互的信息，智能体的动作对应于当前认知用户的传输功率和当前认知用户占用的信道；确定智能体的状态，并将确定的智能体的状态输入至混合接入认知无线网络场景下的基于图卷积的神经网络模型中，以针对智能体的状态中每个邻居认知用户计算注意头部并在连接所有注意头部后经由神经网络模型中的卷积层输出智能体的动作相关信息；根据智能体的动作相关信息得到智能体的认知用户的传输功率预测结果和占用信道预测结果，并基于认知用户的传输功率预测结果和占用信道预测结果，判断智能体的当前动作是否满足为超高可靠低时延通信切片用户时的通信时延要求和为增强型移动宽带切片用户时的传输速率要求，以及根据干扰温度阈值约束函数的值是否满足干扰温度阈值要求；若不满足通信时延要求、传输速率要求及干扰温度阈值要求，则对奖励函数进行惩罚，利用奖励函数的值对智能体的当前动作进行奖惩，以训练神经网络模型和智能体；其中，奖励函数是基于干扰温度阈值约束函数和认知用户能量效率函数确定，干扰温度阈值约束函数是基于干扰功率与信道带宽的比值确定的关于传输功率和信道的函数；利用训练后的神经网络模型和智能体为混合接入认知无线网络中的认知用户分配网络切片资源。2.如权利要求1所述的混合接入认知无线网络切片资源分配方法，其特征在于，当前认知用户与混合接入认知无线网络中其他认知用户需要交互的信息包括：认知用户与认知基站的二进制关联系数、认知用户与信道的二进制关联系数、认知用户的传输功率、及认知用户是否满足通信需求的二进制系数；当前认知用户与混合接入认知无线网络中其他认知用户不需要交互的信息包括：认知用户的信干噪比和主用户与信道的二进制关联系数。3.如权利要求1所述的混合接入认知无线网络切片资源分配方法，其特征在于，确定智能体的状态，并将确定的智能体的状态输入至混合接入认知无线网络场景下的基于图卷积的神经网络模型中，以针对智能体的状态中每个邻居认知用户计算注意头部并在连接所有注意头部后经由神经网络模型中的卷积层输出智能体的动作相关信息，包括：确定智能体的状态，并将确定的智能体的状态输入至混合接入认知无线网络场景下的基于图卷积的神经网络模型中，以针对智能体的状态中每个邻居认知用户计算注意头部并在连接所有注意头部后依次经由神经网络模型中的非线性激活函数和卷积层后输出智能体的动作相关信息。4.如权利要求3所述的混合接入认知无线网络切片资源分配方法，其特征在于，针对智能体的状态中每个邻居认知用户计算的注意头部表示为：其中，表示智能体i的邻居认知用户j的注意头部m，W
m
表示注意头部m的权重矩阵，h
i
表示智能体i的认知用户对应的神经元的输出，h
j
表示邻居认知用户j对应的神经元的输
出，X
+i
表示智能体i的认知用户及其邻居认知用户构成的集合，k∈X
+i
表示集合X
+i
中的认知用户k，h
k
表示邻居认知用户k对应的神经元的输出，τ表示缩放因子，(W
m
h
k
)
T
表示W
m
h
k
的转置矩阵，(W
m
h
j
)
T
表示W
m
h
j
的转置矩阵；神经网络模型中的卷积层的输出表示为：其中，h
i
′
表示卷积层的输出，σ表示非线性激活函数，concatenate[
·
]表示拼接操作，X
+i
表示智能体i的认知用户及其邻居认知用户构成的集合，j∈X
+i
表示集合X
+i
中的认知用户j，h
j
表示集合X
+i
中的认知用户对应的神经元的输出，W
m
表示注意头部m的权重矩阵，m∈M表示所有邻居认知用户的注意头部的集合M中的注意头部m。5.如权利要求1所述的混合接入认知无线网络切片资源分配方法，其特征在于，利用奖励函数的值对智能体的当前动作进...

【专利技术属性】
技术研发人员：张勇，郭达，袁思雨，郄文博，程振杰，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：