工业物联网中数字孪生辅助的网络切片资源分配方法组成比例

本发明专利技术涉及一种工业物联网中数字孪生辅助的网络切片资源分配方法，属于移动通信技术领域，包括以下步骤：S1：在工业物联网场景下，构建IIoTSE

【技术实现步骤摘要】
PER
‑
MADCAC解决复合离散和连续动作问题。
[0012]进一步，所述IIoTSE
‑
DTNS架构包含物理层、数字孪生网络切片层和应用层；
[0013]所述物理层包括工业物联网设备、基站、核心网NFV节点；
[0014]所述数字孪生网络切片层包括孪生网络层数据域、数字孪生网络切片模型域和数字孪生网络切片管理域，分别对应数据共享仓库、服务映射模型和网络切片孪生体管理三个子系统；所述数据共享仓库包括四项职责：数据管理、数据服务、数据存储、数据采集；所述服务映射模型包括功能模型和基础模型两部分；所述网络切片孪生体管理包括模型管理、安全管理、拓扑管理三项职责；
[0015]所述应用层产生业务通过孪生北向接口传送给数字孪生网络切片层。
[0016]进一步，所述服务映射模型中的功能模型具体包括SFC管理、算法功能库、业务管理三部分；
[0017]所述SFC管理包括SFC组链、VNF部署、VNF调度、资源检测、资源分配、流量预测；
[0018]所述算法功能库包括DRL算法、分布式组件、资源预测算法、节点重实例化算法；
[0019]所述业务管理包括业务孪生、业务监控、业务管理。
[0020]进一步，所述服务映射模型中的基础模型具体包括网元模型和网络拓扑模型；
[0021]所述网元模型包括节点模型和链路模型，节点模型是物理节点的计算资源、存储资源、路由表等的孪生，链路模型是物理链路编号、带宽资源、链接节点编号的孪生；
[0022]所述网络拓扑模型是物理网络拓扑对应孪生体的网络拓扑。
[0023]进一步，步骤S3中，分别构建t时刻第m个IIoT设备的服务s数据包在源节点、目的节点、目的用户处的信息年龄更新表达式并根据上述三等式与信息年龄上限构建信息年龄均衡计算式：
[0024][0025]式中，u表示节点，j表示用户，分别表示源节点、目的节点、目的用户的集合。
[0026]进一步，步骤S4中，所述信息年龄均衡值加权的利润最大化问题表达式为：
[0027][0028]式中，x表示VNF的编排，y表示流调度，κ表示信道分配，J表示工业设备与状态估计VNF的关联，p表示连续动作发射功率，U
S
表示业务利润，U
E
表示状态估计利润。
[0029]进一步，步骤S5所述DT PER
‑
MADCAC算法，具体包括以下步骤：
[0030]S51：初始化演员家网络、评论家网络、目标演员家网络、目标评论家网络参数、经验回放缓存D、数字孪生网络切片层各模块；
[0031]S52：判断是否超过设定的迭代次数，若是则停止迭代，否则继续执行S53；
[0032]S53：对于N
sp
个样本，从数字孪生网络切片层基础模型获取初始状态，并根据当前策略为每个智能体选取t时刻动作并对动作加入Ornstein
‑
Uhlenbeck噪声，观察t+1时刻状态；如果优化问题在下一个状态满足约束，则将优先级最大的<状态、动作、奖励、下一时刻状态>元组，并存入D，否则执行S54；
[0033]S54：对于N
sp
个样本，根据策略计算t+1时刻动作，并添加OU噪声；根据t+1时刻动作计算y值和TD误差，并更新样本优先级；
[0034]S55：判断是否超过设定的训练次数，若是则停止训练，否则继续执行S56；
[0035]S56：计算损失函数，根据其更新评论家网络参数；计算所有样本的Q函数值对连续动作的梯度，根据其更新演员家网络参数；根据软更新对目标评论家和目标演员家参数进行更新。
[0036]进一步，步骤S5中所述的样本优先级为：
[0037]p
i
＝|δ
i
|+ζ
[0038]式中，ζ为防止样本i本抽取到的概率为0的小值；i表示样本i，|δ
i
|表示TD误差，定义为：
[0039][0040]其中，y
k
为智能体k的目标值，Q
k
表示智能体k的Q网络，s(t+1)为t+1时刻状态，a
k
(t+1)为智能体k的动作，θ
k
表示Q网络的参数。
[0041]本专利技术的有益效果在于：本专利技术针对工业物联网中传感器感知数据可靠性问题以及有限的网络资源带来的网络切片资源分配成本高利润低的问题，提出了一种工业物联网联合状态估计与数字孪生的网络切片架构。基于此架构，利用部署在节点上的状态估计虚拟网络功能和工业设备的感知数据进行状态估计，减小估计误差以便更好的掌握设备内部状态，提高数字孪生的准确性。此外，引入信息年龄(AoI)来表征信息的新鲜度，并提出信息年龄均衡，通过调整无线接入网的发射功率、信道分配、工业设备与状态估计VNF的关联关系以及核心网中VNF的编排与流调度等变量，最大化以信息年龄均衡值加权的利润。并提出数字孪生辅助的多智能体优先经验回放离散连续动作演员评论家算法实现不同业务请求数量和不同网络拓扑下的高性能。本专利技术能够实现对网络切片资源分配策略的优化，减少网络资源的浪费，提升利润。
[0042]本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0043]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：
[0044]图1为IIoTSE
‑
DTNS架构示意图；
[0045]图2为IIoTSE
‑
DTNS架构的工作原理示意图；
[0046]图3为IIoT设备到目的用户的信息发送机制图；
[0047]图4为DT PER
‑
MADCAC算法训练框架图。
具体实施方式
[0048]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书
所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0049]其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利技术的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0050]本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工业物联网中数字孪生辅助的网络切片资源分配方法，其特征在于：包括以下步骤：S1：在工业物联网场景下，构建联合状态估计与数字孪生的网络切片架构IIoTSE
‑
DTNS；S2：引入无线接入网的发射功率、信道分配、工业设备与状态估计VNF的关联关系以及核心网中VNF的编排与流调度变量；S3：引入信息年龄AoI来表征信息的新鲜度，并提出信息年龄均衡；利用部署在节点上的状态估计虚拟网络功能VNFs和工业设备的感知数据进行状态估计，刻画信息年龄对状态估计影响；S4：通过调整变量，建立以信息年龄均衡值加权的利润最大化为目标的优化问题；S5：提出数字孪生辅助的多智能体优先经验回放离散连续动作演员评论家算法DT PER
‑
MADCAC解决复合离散和连续动作问题。2.根据权利要求1所述的工业物联网中数字孪生辅助的网络切片资源分配方法，其特征在于：所述IIoTSE
‑
DTNS架构包含物理层、数字孪生网络切片层和应用层；所述物理层包括工业物联网设备、基站、核心网NFV节点；所述数字孪生网络切片层包括孪生网络层数据域、数字孪生网络切片模型域和数字孪生网络切片管理域，分别对应数据共享仓库、服务映射模型和网络切片孪生体管理三个子系统；所述数据共享仓库包括四项职责：数据管理、数据服务、数据存储、数据采集；所述服务映射模型包括功能模型和基础模型两部分；所述网络切片孪生体管理包括模型管理、安全管理、拓扑管理三项职责；所述应用层产生业务通过孪生北向接口传送给数字孪生网络切片层。3.根据权利要求2所述的工业物联网中数字孪生辅助的网络切片资源分配方法，其特征在于：所述服务映射模型中的功能模型具体包括SFC管理、算法功能库、业务管理三部分；所述SFC管理包括SFC组链、VNF部署、VNF调度、资源检测、资源分配、流量预测；所述算法功能库包括DRL算法、分布式组件、资源预测算法、节点重实例化算法；所述业务管理包括业务孪生、业务监控、业务管理。4.根据权利要求1所述的工业物联网中数字孪生辅助的网络切片资源分配方法，其特征在于：所述服务映射模型中的基础模型具体包括网元模型和网络拓扑模型；所述网元模型包括节点模型和链路模型，节点模型是物理节点的计算资源、存储资源、路由表等的孪生，链路模型是物理链路编号、带宽资源、链接节点编号的孪生；所述网络拓扑模型是物理网络拓扑对应孪生体的网络拓扑。5.根据权利要求1所述的工业物联网中数字孪生辅助的网络切片资源分配方法，其特征在于：步骤S3中，分别构建t时刻第m个IIoT设备的服务s数据包在源节点、目的节点、目的用户处信息年龄更新...

【专利技术属性】
技术研发人员：唐伦，文雯，李质萱，陈前斌，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：