快速流量工程方法及装置制造方法及图纸

本公开提出一种快速流量工程方法，包括：接收各个智能路由器发送的本地网络信息，对各个所述流量需求数据进行流量矩阵聚合，将其聚合成流量矩阵形式；依据流量需求数据在网络模拟环境中对网络的历史运行情况进行流量重放，对网络模拟环境中的各个智能体模型进行交互迭代训练，得到所述各个智能路由器对应的候选路径流量分割比网络训练模型；将各个所述候选路径流量分割比网络训练模型发送给对应的智能路由器，所述智能路由器使用所述网络训练模型基于流量需求向量、直连链路的链路利用率和图隐向量进行推理，得到所述智能路由器对应的候选路径流量分割比。本公开一方面采用了全局感知兼分布式推理的架构，另一方面将路由规则表更新时间以惩罚项的形式引入模型的建模中，保证强离线负载均衡能力的前提下缩短了决策回路延迟。回路延迟。回路延迟。

【技术实现步骤摘要】
快速流量工程方法及装置


[0001]本公开涉及流量工程
，尤其涉及一种快速流量工程方法及装置。

技术介绍

[0002]互联网流量具有突发性，而流量突发容易导致路由器中的排队，这是造成端到端传输延迟增加甚至丢包的重要原因。在域内部署流量工程方法是有效缓解该问题的一种手段。
[0003]基于全局线性规划的流量工程方法离线负载均衡能力强，但是决策回路延迟大。故而，近年来研究的关注点转向快速流量工程方法，以在尽量保证强离线负载均衡能力的前提下缩短决策回路延迟。但是现有的快速流量工程方法仍然在决策回路延迟方面存在提升空间。

技术实现思路

[0004]本公开提出一种快速流量工程方法，应用于训练中心，包括：
[0005]接收各个智能路由器发送的本地网络信息，所述本地网络信息为所述智能路由器在本地采集到的网络信息，包括网络中与其他各路由器的流量需求数据以及直连链路的利用率，所述智能路由器设置在网络的边缘部分；
[0006]对各个所述流量需求数据进行流量矩阵聚合，将其聚合成流量矩阵形式；
[0007]依据流量需求数据在网络模拟环境中对网络的历史运行情况进行流量重放，对网络模拟环境中的各个智能体模型进行交互迭代训练，得到所述各个智能路由器对应的候选路径流量分割比网络训练模型，所述交互迭代训练根据网络全局拓扑、边界路由器之间的候选路径以及所述流量矩阵获取；
[0008]将各个所述候选路径流量分割比网络训练模型发送给对应的智能路由器，以便所述智能路由器根据所述网络训练模型基于在本地采集到的网络信息，包括网络中与其他各路由器的流量需求向量以及直连链路的利用率，以及图隐向量进行推理，得到所述智能路由器对应的候选路径流量分割比。
[0009]可选的，对网络模拟环境中的各个智能体模型进行交互迭代训练，得到所述各个智能路由器对应的候选路径流量分割比网络训练模型包括：
[0010]根据所述网络全局拓扑、边界路由器之间的候选路径得到包含全局拓扑信息的图隐向量；
[0011]根据所述图隐向量、所述各个智能路由器对其他路由器的流量需求数据以及各个智能路由器直连链路的链路利用率，获取所述各个智能路由器对应的状态信息；
[0012]获取所述各个智能路由器在每条候选路径上的流量分割比；
[0013]根据所述状态信息和所述流量分割比获取所述每个智能路由器执行的动作对全局目标的贡献值；
[0014]根据所述各个智能路由器的贡献值和奖励函数对所述各个智能路由器的候选路
径流量分割比进行调优训练，得到候选路径流量分割比网络训练模型。
[0015]可选的，所述根据所述网络全局拓扑、边界路由器之间的候选路径得到包含全局拓扑信息的图隐向量包括：
[0016]将所述网络全局拓扑、边界路由器之间的候选路径输入图形神经网络的拓扑特征表示模型进行训练，得到包含全局拓扑信息的图隐向量。
[0017]可选的，所述根据所述状态信息和所述流量分割比获取所述每个智能路由器执行的动作对全局目标的贡献值包括：
[0018]基于深度确定性策略梯度算法，将各个智能路由器的策略聚合到全局评判器模型中；
[0019]全局评判器模型根据所述状态信息和所述流量分割比获取所述每个智能路由器执行的动作对全局目标的贡献值。
[0020]根据本公开的第二方面，提供一种快速流量工程方法，应用于智能路由器，所述智能路由器设置在网络的边缘部分，包括：
[0021]获取本地网络信息，所述本地网络信息为所述智能路由器在本地采集到的网络信息，包括网络中与其他各路由器的流量需求数据以及直连链路的利用率；
[0022]接收集中训练中心发送的候选路径流量分割比网络训练模型和图隐向量，所述网络中的每个智能路由器对应一个候选路径流量分割比网络训练模型，所述候选路径流量分割比网络训练模型是基于所述智能路由器的本地链路利用率、对应边界路由器的流量需求向量、图隐向量以及全局判断器训练得到，所述图隐向量根据网络的全局拓扑和边界路由器之间的候选路径获取；
[0023]将所述本地网络信息、图隐向量输入所述候选路径流量分割比网络训练模型进行推理，得到所述智能路由器的候选路径流量分割比；
[0024]为每一条流基于所述候选路径流量分割比选择一条候选路径。
[0025]可选的，该方法还包括：
[0026]向所述训练中心发送所述本地网络信息，以便所述训练中心根据所述本地信息和网络模拟环境进行全局拓扑的训练，得到所述图隐向量。
[0027]根据本公开的第三方面，提供一种快速流量工程装置，应用于训练中心，包括：
[0028]接收模块，用于接收各个智能路由器发送的本地网络信息，所述本地网络信息为所述智能路由器在本地采集到的网络信息，包括网络中与其他各路由器的流量需求数据以及直连链路的利用率，所述智能路由器设置在网络的边缘部分
[0029]聚合模块，用于对各个所述流量需求数据进行流量矩阵聚合，将其聚合成流量矩阵形式；
[0030]训练模块，用于依据流量需求数据在网络模拟环境中对网络的历史运行情况进行流量重放，对网络模拟环境中的各个智能体模型进行交互迭代训练，得到所述各个智能路由器对应的候选路径流量分割比网络训练模型，所述交互迭代训练根据网络全局拓扑、边界路由器之间的候选路径以及所述流量矩阵获取；
[0031]发送模块，用于将各个所述候选路径流量分割比网络训练模型发送给对应的智能路由器，以便所述智能路由器根据所述网络训练模型基于本地网络信息，包括网络中与其他各路由器的流量需求向量以及直连链路的利用率，以及图隐向量进行推理，得到所述智
能路由器对应的候选路径流量分割比。
[0032]根据本公开的第四方面，提供一种快速流量工程装置，应用于智能路由器，所述智能路由器设置在网络的边缘部分，包括：
[0033]采集模块，用于获取本地网络信息，所述本地网络信息为所述智能路由器在本地采集到的网络信息，包括网络中与其他各路由器的流量需求数据以及直连链路的利用率；
[0034]接收模块，用于接收集中训练中心发送的候选路径流量分割比网络训练模型和图隐向量，所述网络中的每个智能路由器对应一个候选路径流量分割比网络训练模型，所述候选路径流量分割比网络训练模型是基于所述智能路由器的本地链路利用率、对应边界路由器的流量需求向量、图隐向量以及全局判断器训练得到，所述图隐向量根据网络的全局拓扑和边界路由器之间的候选路径获取；
[0035]推理模块，用于将所述本地网络信息、图隐向量输入所述候选路径流量分割比网络训练模型进行推理，得到所述智能路由器的候选路径流量分割比；
[0036]转发模块，用于为每一条流基于所述候选路径流量分割比选择一条候选路径。
[0037]根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种快速流量工程方法，其特征在于，应用于训练中心，包括：接收各个智能路由器发送的本地网络信息，所述本地网络信息为所述智能路由器在本地采集到的网络信息，包括网络中与其他各路由器的流量需求数据以及直连链路的利用率，所述智能路由器设置在网络的边缘部分；对各个所述流量需求数据进行流量矩阵聚合，将其聚合成流量矩阵形式；依据流量需求数据在网络模拟环境中对网络的历史运行情况进行流量重放，对网络模拟环境中的各个智能体模型进行交互迭代训练，得到所述各个智能路由器对应的候选路径流量分割比网络训练模型，所述交互迭代训练根据网络全局拓扑、边界路由器之间的候选路径以及所述流量矩阵获取；将各个所述候选路径流量分割比网络训练模型发送给对应的智能路由器，以便所述智能路由器根据所述网络训练模型基于在本地采集到的网络信息，包括网络中与其他各路由器的流量需求向量以及直连链路的利用率，以及图隐向量进行推理，得到所述智能路由器对应的候选路径流量分割比。2.根据权利要求1所述的方法，其特征在于，对网络模拟环境中的各个智能体模型进行交互迭代训练，得到所述各个智能路由器对应的候选路径流量分割比网络训练模型包括：根据所述网络全局拓扑、边界路由器之间的候选路径得到包含全局拓扑信息的图隐向量；根据所述图隐向量、所述各个智能路由器对其他路由器的流量需求数据以及各个智能路由器直连链路的链路利用率，获取所述各个智能路由器对应的状态信息；获取所述各个智能路由器在每条候选路径上的流量分割比；根据所述状态信息和所述流量分割比获取所述每个智能路由器执行的动作对全局目标的贡献值；根据所述各个智能路由器的贡献值和奖励函数对所述各个智能路由器的候选路径流量分割比进行调优训练，得到候选路径流量分割比网络训练模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述网络全局拓扑、边界路由器之间的候选路径得到包含全局拓扑信息的图隐向量包括：将所述网络全局拓扑、边界路由器之间的候选路径输入图形神经网络的拓扑特征表示模型进行训练，得到包含全局拓扑信息的图隐向量。4.根据权利要求3所述的方法，其特征在于，所述根据所述状态信息和所述流量分割比获取所述每个智能路由器执行的动作对全局目标的贡献值包括：基于深度确定性策略梯度算法，将各个智能路由器的策略聚合到全局评判器模型中；全局评判器模型根据所述状态信息和所述流量分割比获取所述每个智能路由器执行的动作对全局目标的贡献值。5.一种快速流量工程方法，其特征在于，应用于智能路由器，所述智能路由器设置在网络的边缘部分，其特征在于，包括：获取本地网络信息，所述本地网络信息为所述智能路由器在本地采集到的网络信息，包括网络中与其他各路由器的流量需求数据以及直连链路的利用率；接收集中训练中心发送的候选路径流量分割比网络训练模型和图隐向量，所述网络中的每个智能路由器对应一个候选路径流量分割比网络训练模型，所述候选路径流量分割比
网络训练模型是基于所述智能路由器的本地链路利用率、对应边界路由器的流量需求向量、图隐向量以及全局判断器训练得到，所述图隐向量根据网...

【专利技术属性】
技术研发人员：李丹，洪思虹，桂飞，王松涛，高凯辉，魏知宇，
申请(专利权)人：清华大学，
类型：发明
国别省市：