一种基于信息中心网络的算力网络任务调度方法及装置制造方法及图纸

本发明专利技术提供一种基于信息中心网络的算力网络任务调度方法及装置，所述方法的步骤包括：转发节点接收终端用户的处理请求，并将所述处理请求发送至控制节点，所述控制节点设置有预训练的强化学习模型，所述强化学习模型中的目标网络基于处理请求对应的处理任务作出为处理任务分配计算节点的动作，所述计算节点设置有用于执行处理任务的计算资源；所述控制节点基于所述强化学习模型做出的分配计算节点的动作计算动作总时延和动作总能耗，所述控制节点基于动作总时延和动作总能耗计算奖励函数，基于奖励函数计算损失函数；基于损失函数更新强化学习模型中价值网络的参数，并每隔预设步数将价值网络中的参数同步到目标网络。预设步数将价值网络中的参数同步到目标网络。预设步数将价值网络中的参数同步到目标网络。

【技术实现步骤摘要】
一种基于信息中心网络的算力网络任务调度方法及装置


[0001]本专利技术涉及算力网络
，尤其涉及一种基于信息中心网络的算力网络任务调度方法及装置。

技术介绍

[0002]近年来许多研究者提出了CFN(Compute FirstNetworking，算力网络)的概念，并且构建了与“云
‑
边
‑
端”计算网络深度融合的CFN架构。
[0003]与传统边缘计算相比，CFN可以感知基础设施层的资源状态，并且可以更精细地编排网络中的计算资源、网络资源和存储资源。并且，CFN可以定位数据平面上的服务，并在收到来自消费者的计算请求后执行合理的任务调度和路由规划。然而在CFN中计算资源是异构的，并且分布在不同的计算节点中，无法有效地统一感知和协调。

技术实现思路

[0004]鉴于此，本专利技术的实施例提供了一种基于信息中心网络的算力网络任务调度方法，以消除或改善现有技术中存在的一个或更多个缺陷。
[0005]本专利技术的一个方面提供了一种基于信息中心网络的算力网络任务调度方法，所述方法应用于算力网络，所述算力网络包括转发节点、控制节点和计算节点，所述方法的步骤包括：
[0006]转发节点接收终端用户的处理请求，并将所述处理请求发送至控制节点，所述控制节点设置有预训练的强化学习模型，所述强化学习模型中的目标网络基于处理请求对应的处理任务作出为处理任务分配计算节点的动作，所述计算节点设置有用于执行处理任务的计算资源；
[0007]所述控制节点基于所述强化学习模型做出的分配计算节点的动作计算动作总时延和动作总能耗，所述控制节点基于动作总时延和动作总能耗计算奖励函数，基于奖励函数计算损失函数；
[0008]基于损失函数更新强化学习模型中价值网络的参数，并每隔预设步数将价值网络中的参数同步到目标网络。
[0009]采用上述方案，本专利技术的方案中，在任务到来时，对任务执行统筹规划，才能保证全局最优，且本方案同时考虑了总时延和总能耗两个方面，在保证用户服务质量的同时消耗最低的能量，因此在这种场景下，本方案是更接近实际场景全局最优目标的更优选择，能够使分布在不同的计算节点中的资源得到统一处理，有效地统一感知和协调。
[0010]在本专利技术的一些实施方式中，所述强化学习模型中的目标网络基于处理请求对应的处理任务作出为处理任务分配计算节点的动作的步骤包括：
[0011]所述控制节点统计算力网络的状态参数，所述状态参数包括转发节点状态参数和计算节点状态参数，将所述转发节点状态参数和计算节点状态参数组合为状态向量；
[0012]将所述状态向量输入到强化学习模型中，所述强化学习模型输出动作向量，提取
所述动作向量的多个维度的参数中最大的参数对应的维度，将该维度对应的动作作为输出的动作。
[0013]在本专利技术的一些实施方式中，所述转发节点状态参数用于标记每个转发节点是否在将处理请求向控制节点发送，若是则该转发节点标记为第一参数，若否则该转发节点标记为第二参数；所述节点状态参数由服务函数参数、节点资源参数和剩余时间参数组成，所述服务函数参数用于标记每个计算节点是否正在执行处理请求，若是则该计算节点标记为第一参数，若否则该计算节点标记为第二参数；所述节点资源参数为计算节点的计算资源大小；所述剩余时间参数为计算节点执行当前处理请求所需的剩余时间。
[0014]在本专利技术的一些实施方式中，所述动作包括处理任务的传输路径和处理任务所对应容器的拉取路径，所述动作总时延包括传输时延、排队时延、容器拉取时延和计算时延，所述动作总能耗包括传输能耗、容器拉取能耗和计算能耗，所述控制节点基于所述强化学习模型做出的分配计算节点的动作计算动作总时延和动作总能耗的步骤包括：
[0015]基于所述传输路径中的带宽参数计算传输时延，基于所述拉取路径中的带宽参数计算容器拉取时延，基于目的计算节点中的CPU资源和GPU资源计算所述处理任务所需的计算时延，基于早于本处理任务到达的处理任务的计算时延计算本处理任务的排队时延；基于传输时延、排队时延、容器拉取时延和计算时延计算动作总时延；
[0016]基于所述传输路径中发送端路由器的发送功率计算传输能耗，基于所述拉取路径中发送端路由器的发送功率计算容器拉取能耗，基于目的计算节点中的CPU资源和GPU资源计算计算能耗；基于传输能耗、容器拉取能耗和计算能耗计算动作总能耗。
[0017]在本专利技术的一些实施方式中，在基于所述传输路径中的带宽参数计算传输时延的步骤中，基于如下公式计算传输时延：
[0018][0019]其中，T
trans
表示传输时延，R表示传输路径中的路由器的集合，i和j表示传输路径中任意两个相邻的路由器，B
(i,j)
表示路由器i和路由器j之间的带宽，表示处理任务k的大小；
[0020]在基于所述拉取路径中的带宽参数计算容器拉取时延的步骤中，基于如下公式计算拉取时延：
[0021][0022]其中，T
pull
表示拉取时延，U表示拉取路径中的路由器的集合，x和y表示拉取路径中任意两个相邻的路由器，B
(x,y)
表示路由器x和路由器y之间的带宽，Z
docker
表示处理任务对应容器的大小；
[0023]在基于目的计算节点中的CPU资源和GPU资源计算所述处理任务所需的计算时延的步骤中，根据如下公式计算计算时延：
[0024][0025]其中，T
comp
表示计算时延，Max{}表示取最大值，表示处理任务k的大小，表示目的计算节点的GPU资源大小，表示目的计算节点的CPU资源大小，λ为预设的任务参数，ε为预设的GPU正相关系数参数，μ为预设的CPU正相关系数参数；
[0026]在基于早于本处理任务到达的处理任务的计算时延计算本处理任务的排队时延的步骤中，计算出在本处理任务到达时仍未完成处理且早于本处理任务到达的处理任务的计算时延之和，得到排队时延；
[0027]在基于传输时延、排队时延、容器拉取时延和计算时延计算动作总时延的步骤中，基于如下公式计算动作总时延：
[0028]T
total
＝T
trans
+T
queue
+T
pull
+T
comp
；
[0029]其中，T
total
表示动作总时延，T
queue
表示排队时延。
[0030]在本专利技术的一些实施方式中，在基于所述传输路径中发送端路由器的发送功率计算传输能耗的步骤中，基于如下公式计算传输能耗：
[0031][0032]其中，E
trans
表示传输能耗，i和j表示传输路径中任意两个相邻的路由器，P
(i,j)
表示相邻的路由器i和路由器j中发送端路由器的发送功率，T
trans
表示传输时延；
...

【技术保护点】

【技术特征摘要】
1.一种基于信息中心网络的算力网络任务调度方法，其特征在于，所述方法应用于算力网络，所述算力网络包括转发节点、控制节点和计算节点，所述方法的步骤包括：转发节点接收终端用户的处理请求，并将所述处理请求发送至控制节点，所述控制节点设置有预训练的强化学习模型，所述强化学习模型中的目标网络基于处理请求对应的处理任务作出为处理任务分配计算节点的动作，所述计算节点设置有用于执行处理任务的计算资源；所述控制节点基于所述强化学习模型做出的分配计算节点的动作计算动作总时延和动作总能耗，所述控制节点基于动作总时延和动作总能耗计算奖励函数，基于奖励函数计算损失函数；基于损失函数更新强化学习模型中价值网络的参数，并每隔预设步数将价值网络中的参数同步到目标网络。2.根据权利要求1所述的基于信息中心网络的算力网络任务调度方法，其特征在于，所述强化学习模型中的目标网络基于处理请求对应的处理任务作出为处理任务分配计算节点的动作的步骤包括：所述控制节点统计算力网络的状态参数，所述状态参数包括转发节点状态参数和计算节点状态参数，将所述转发节点状态参数和计算节点状态参数组合为状态向量；将所述状态向量输入到强化学习模型中，所述强化学习模型输出动作向量，提取所述动作向量的多个维度的参数中最大的参数对应的维度，将该维度对应的动作作为输出的动作。3.根据权利要求2所述的基于信息中心网络的算力网络任务调度方法，其特征在于，所述转发节点状态参数用于标记每个转发节点是否在将处理请求向控制节点发送，若是则该转发节点标记为第一参数，若否则该转发节点标记为第二参数；所述节点状态参数由服务函数参数、节点资源参数和剩余时间参数组成，所述服务函数参数用于标记每个计算节点是否正在执行处理请求，若是则该计算节点标记为第一参数，若否则该计算节点标记为第二参数；所述节点资源参数为计算节点的计算资源大小；所述剩余时间参数为计算节点执行当前处理请求所需的剩余时间。4.根据权利要求1所述的基于信息中心网络的算力网络任务调度方法，其特征在于，所述动作包括处理任务的传输路径和处理任务所对应容器的拉取路径，所述动作总时延包括传输时延、排队时延、容器拉取时延和计算时延，所述动作总能耗包括传输能耗、容器拉取能耗和计算能耗，所述控制节点基于所述强化学习模型做出的分配计算节点的动作计算动作总时延和动作总能耗的步骤包括：基于所述传输路径中的带宽参数计算传输时延，基于所述拉取路径中的带宽参数计算容器拉取时延，基于目的计算节点中的CPU资源和GPU资源计算所述处理任务所需的计算时延，基于早于本处理任务到达的处理任务的计算时延计算本处理任务的排队时延；基于传输时延、排队时延、容器拉取时延和计算时延计算动作总时延；基于所述传输路径中发送端路由器的发送功率计算传输能耗，基于所述拉取路径中发送端路由器的发送功率计算容器拉取能耗，基于目的计算节点中的CPU资源和GPU资源计算计算能耗；基于传输能耗、容器拉取能耗和计算能耗计算动作总能耗。5.根据权利要求4所述的基于信息中心网络的算力网络任务调度方法，其特征在于，在
基于所述传输路径中的带宽参数计算传输时延的步骤中，基于如下公式计算传输时延：其中，T
trans
表示传输时延，R表示传输路径中的路由器的集合，i和j表示传输路径中任意两个相邻的路由器，B
(i,，j)
表示路由器i和路由器j之间的带宽，表示处理任务k的大小；在基于所述拉取路径中的带宽参数计算容器拉取时延的步骤中，基于如下公式计算拉取时延：其中，T
pull
表示拉取时延，U表示拉取路径中的路由器的集合，x和y表示拉取路径中任意两个相邻的路由器，B
(x,y)
表示路由器x和路由器y之间的带宽，Z
docker
表示处理任务对应容器的大小；在基于目的计算节点中的CPU资源和GPU资源计算所述处理任务所需的计算时延的步骤中，根据如下公式计算计算时延：其中，T
comp
表示计算时延，Max{}表示取最大值，表示处理任务k的大小，表示目的计算节点的GPU资源大小，表示目的计算节点的CPU资源大小，λ为预设的任务参数，ε为预设的GPU正相关系数参数，μ为预设的CPU正相关系数参数；在基于早于本处理任务到达的处理任务的计算时延计算本处理任务的排队时延的步骤中，计算出在本处理任务到达时仍未完成处理且早于本处理任务到达的处理任务的计算时延之和，得到排队时延；在基于传输时延、排队时延、容器拉取时延和计算时延计算动作总时延的步骤中，基于如下公式计算动作总时延：T
total
＝T
trans...

【专利技术属性】
技术研发人员：谢人超，崔佳怡，任语铮，邹壮，韩璐，唐琴琴，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：