一种基于深度强化学习的5G-TSN融合网络切片管理方法及系统技术方案

本发明专利技术公开了一种基于深度强化学习的5G

【技术实现步骤摘要】
一种基于深度强化学习的5G
‑
TSN融合网络切片管理方法及系统


[0001]本专利技术涉及无线通信
，特别涉及一种基于深度强化学习的5G
‑
TSN融合网络切片管理方法及系统。

技术介绍

[0002]当前工业互联网正朝着数字化、网络化、智能化的方向发展，远程协同控制、数字孪生运维、智慧园区运营等新兴工业互联网业务对网络的安全性、可靠性具有更高的要求，而传统面向消费互联网的5G系统难以满足工业业务的确定性要求。TSN作为工业互联网实现低时延、高可靠和确定性传输的关键技术之一，涵盖时间同步、流量整形、数据调度、网络配置等方面的TSN标准已基本成熟。业界针对垂直行业应用积极开展5G和TSN的融合创新和协同部署研究，本专利技术关注的5G
‑
TSN融合部署场景是指包括终端、无线、承载和核心网在内的整个5G系统作为TSN节点之间的逻辑网桥存在，同时具有TSN网络确定性传输和5G网络移动性的特点。
[0003]传统移动业务与工业自动化业务特征差异较大，5G
‑/>TSN融合部署场本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的5G
‑
TSN融合网络切片管理方法，适用于5G
‑
TSN(Time
‑
Sensitive Networking，时间敏感网络)融合部署场景下，其特征在于，所述基于深度强化学习的5G
‑
TSN融合网络切片管理方法包括：针对不同类型业务的资源需求特点，创建匹配业务类型的专属切片；基于所创建的匹配业务类型的各专属切片，针对各类型切片的资源请求，以优化无线侧基站的时频资源使用效益为目标，采用预设的深度强化学习算法，基于基站侧的可用时频资源数，对各类型的切片请求进行准入控制及切片资源的分配，在保证切片的服务质量需求的情况下，实现基站无线资源效益最大化。2.如权利要求1所述的基于深度强化学习的5G
‑
TSN融合网络切片管理方法，其特征在于，所述不同类型业务包括5G eMBB(enhanced Mobile Broadband，增强移动宽带)业务和TSN(Time
‑
critical Services，时延敏感类)业务；其中，TSN业务包括周期性TSN业务和突发性TSN业务；其中，周期性TSN业务的数据流按照一定周期产生，突发性TSN业务的数据流没有确定的抵达时间。3.如权利要求2所述的基于深度强化学习的5G
‑
TSN融合网络切片管理方法，其特征在于，所述创建匹配业务类型的专属切片，包括：创建周期性TSN切片、eMBB切片以及突发性TSN切片；其中，针对周期性TSN切片，需要依据周期性TSN业务的数据到达周期为其预留资源；剩余资源按照eMBB用户的速率需求分配给eMBB切片，突发性TSN切片通过抢占分配给eMBB切片的资源完成数据传输，来满足其确定性时延的要求。4.如权利要求3所述的基于深度强化学习的5G
‑
TSN融合网络切片管理方法，其特征在于，所述采用预设的深度强化学习算法，基于基站侧的可用时频资源数，对各类型的切片请求进行准入控制及切片资源的分配，包括：利用马尔科夫过程表示切片请求的准入决策过程；其中，为状态空间，为动作空间，为状态转移概率，为状态转移得到的即时收益；采用结合深度学习和强化学习的DQL算法，结合深度神经网络和强化学习训练最优决策，优化多类型切片的资源使用，实现切片请求准入控制及切片资源分配。5.如权利要求4所述的基于深度强化学习的5G
‑
TSN融合网络切片管理方法，其特征在于，所述基于所创建的匹配业务类型的各专属切片，针对各类型切片的资源请求，以优化无线侧基站的时频资源使用效益为目标，采用预设的深度强化学习算法，基于基站侧的可用时频资源数，对各类型的切片请求进行准入控制及切片资源的分配，在保证切片的服务质量需求的情况下，实现基站无线资源效益最大化，包括：获取接入网侧基站的可用时频资源资源块数及无线接入设备的业务请求参数；其中，业务请求参数包括业务类型，传输数据量，传输时延和传输速率；针对业务请求参数创建切片请求，计算满足切片请求需要的时域资源和频域资源；初始化深度Q学习的经验回放池、当前Q网络的值函数和目标Q网络的值函数；初始化多种类型切片请求的准入状态s，s＝{n
eMBB
,n
P
‑
TSN
,n
S
‑
TSN
}，即准入n
eMBB
个eMBB切片，n
P
‑
TSN
个周期性TSN切片，n
S
‑
TSN
个突发性TSN切片；基于接入网侧基站单位时频资源的资源块的平均传输速率、周期性TSN切片的数据量
大小和传输时延，计算其所需的资源块个数，依据周期性TSN业务的数据到达周期为n
P
‑
TSN
个周期性TSN切片预留所需的资源；基于基站单位时频资源的资源块的平均传输速率和eMBB切片的传输速率要求，计算其所需资源块数，在剩余资源中为n
eMBB
个eMBB切片分配所需资源；基于基站单位时频资源资源块的平均传输速率、突发性TSN切片的数据量大小和传输时延，计算其所需mini
‑
slots和频域资源块个数，突发性TSN切片通过抢占分配给eMBB切片的资源，完成数据传输，来满足其确定性时延的要求；计算状态s下，准入n
eMBB
个eMBB类型切片，n
P

【专利技术属性】
技术研发人员：管婉青，张海君，李琳佩，孙春蕾，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：