流量调度方法及装置制造方法及图纸

本申请提供一种流量调度方法及装置。包括：网络设备向控制器发送网络设备的第一局部状态信息，第一局部状态信息用于生成网络设备的第一全局状态信息；网络设备接收控制器发送的第一全局状态信息；网络设备根据第一全局状态信息生成第一流量调度指令，网络设备接收控制器发送的第一流量调度指令，网络设备根据第一流量调度指令对待传输的第一数据流进行流量调度。由于各个网络设备无需采用广播方式实现通信，而是与控制器进行通信，控制器基于各个局部状态信息生成全局状态信息，从而解决了通信量过大的问题。

Flow scheduling method and device

【技术实现步骤摘要】
流量调度方法及装置
本申请涉及通信
，尤其涉及一种流量调度方法及装置。
技术介绍
网络流量调度是指为待传输的数据流生成流量调度指令，通过该流量调度指令进行流量调度的过程。例如：流量调度指令可以是待传输的数据流在至少一条链路上的流量调度比例。而对于用户来讲，待传输的数据流的传输时间越短、网络拥塞程度最小，则表示网络的可靠性越高。现有技术提供了深度强化学习方式来为待传输的数据流生成流量调度指令，为每个路由器训练一个深度神经网络(DeepNeuralNetwork，DNN)，通过训练后的DNN确定待传输的数据流生成流量调度指令。其中，在该深度强化学习方式中，一个路由器需要向其他路由器发送广播消息，并且接收其他路由器发送的广播消息，这些广播消息作为训练后的DNN的输入参数，以得到该路由器的流量调度指令，这种广播方式势必造成通信量过大的问题。
技术实现思路
本申请提供一种流量调度方法及装置。由于各个网络设备无需采用广播方式实现通信，而是与控制器进行通信，控制器基于各个局部状态信息生成全局状态信息，从而解决了通信量过大的问题。第一方面，本申请提供一种流量调度方法，包括：网络设备向控制器发送网络设备的第一局部状态信息，第一局部状态信息用于生成网络设备的第一全局状态信息；网络设备接收控制器发送的第一全局状态信息；网络设备根据第一全局状态信息生成第一流量调度指令，网络设备接收控制器发送的第一流量调度指令，网络设备根据第一流量调度指令对待传输的第一数据流进行流量调度。本申请有益效果包括：由于各个网络设备无需采用广播方式实现通信，而是与控制器进行通信，控制器基于各个局部状态信息生成全局状态信息，从而解决了通信量过大的问题。在一种可能的设计中，本申请技术方案可以与Actor-Critic和深度学习结合，而Actor-Critic本身是无模型，从而可以解决非平稳训练问题。在一种可能的设计中，第一局部状态信息和第一流量调度指令是基于训练后的第一神经网络得到的，或者，第一流量调度指令是基于训练后的第一神经网络得到的；方法还包括：网络设备对训练前的第一神经网络进行多轮训练。在一种可能的设计中，网络设备对训练前的第一神经网络进行的多轮训练中的每轮训练，包括：网络设备获取网络设备的当前的奖励值、第一长期奖励值和第二长期奖励值，当前的奖励值表示第二流量调度指令在本轮训练中对流量调度问题的价值大小，第一长期奖励值表示第二流量调度指令在本轮训练及之后的各轮训练中对流量调度问题的价值大小，第二长期奖励值表示第三流量调度指令在下一轮训练及之后的各轮训练中对流量调度问题的价值大小，第二流量调度指令为网络设备在本轮训练中根据第二局部状态信息生成的流量调度指令，第三流量调度指令为第二流量调度指令的下一条流量调度指令；网络设备根据当前的奖励值、第一长期奖励值和第二长期奖励值训练第一神经网络的参数。这种可能的设计带来的有益效果包括：在训练第一神经网络过程中，由于各个网络设备无需采用广播方式实现通信，而是与控制器进行通信，控制器基于各个局部状态信息生成全局状态信息，从而解决了通信量过大的问题。在一种可能的设计中，网络设备对训练前的第一神经网络进行的多轮训练中的每轮训练，还包括：网络设备获取第三长期奖励值，第三长期奖励值表示第四流量调度指令在本轮训练及之后的各轮训练中对流量调度问题的价值大小，第四流量调度指令为在本轮训练不发送第二局部状态信息时生成的流量调度指令；网络设备根据第一长期奖励值、第三长期奖励值和本轮训练中的预设阈值确定概率参数，概率参数为局部状态信息的发送概率涉及的参数，控制门用于控制是否发送局部状态信息；其中，网络设备向控制器发送网络设备的第一局部状态信息，包括：网络设备根据第一局部状态信息和概率参数，确定第一局部状态信息的发送概率；当第一局部状态信息的发送概率大于预设概率时，网络设备发送第一局部状态信息。这种可能的设计带来的有益效果包括：网络设备或者控制器可以训练概率参数，以使网络设备或者控制器根据该概率参数确定局部状态信息的发送概率，当局部状态信息的发送概率大于预设概率时，网络设备发送该局部状态信息，相反，当局部状态信息的发送概率小于或等于预设概率时，网络设备不发送该局部状态信息，从而进一步降低了通信量。在一种可能的设计中，方法还包括：网络设备根据本轮训练的前一轮训练中的预设阈值、第一长期奖励值和第三长期奖励值确定本轮训练中的预设阈值。这种动态方式可以得到更加准确的概率参数。在一种可能的设计中，网络设备获取网络设备的当前的奖励值、第一长期奖励值和第二长期奖励值，包括：网络设备根据第二流量调度指令和第二局部状态信息，生成第一局部传输消息；网络设备向控制器发送第一局部传输消息，第一局部传输消息用于生成网络设备的第一全局传输消息；网络设备接收控制器发送的第一全局传输消息；网络设备根据第二流量调度指令对待传输的第二数据流进行流量调度，以确定当前的奖励值，并根据第二流量调度指令、第二局部状态信息和第一全局传输消息生成第一长期奖励值；网络设备根据第三流量调度指令和第三局部状态信息，生成第二局部传输消息，第三局部状态信息用于生成第三流量调度指令；网络设备向控制器发送第二局部传输消息，第二局部传输消息用于生成网络设备的第二全局传输消息；网络设备接收控制器发送的第二全局传输消息；网络设备根据第三流量调度指令、第三局部状态信息和第二全局传输消息生成第二长期奖励值。在一种可能的设计中，局部传输消息、第一长期奖励值和第二长期奖励值是基于训练后的第三神经网络得到的，或者，第一长期奖励值和第二长期奖励值是基于训练后的第三神经网络得到的；方法还包括：网络设备对训练前的第三神经网络进行多轮训练。在一种可能的设计中，网络设备对训练前的第三神经网络进行的多轮训练中的每轮训练，包括：网络设备根据第一长期奖励值和第一神经网络中的一个神经网络层，训练第三神经网络的参数，一个神经网络层用于根据局部状态信息生成流量调度指令。这种可能的设计带来的有益效果包括：控制器根据第一长期奖励值和第一神经网络中的一个神经网络层，训练第三神经网络的参数，以得到一个可靠性较高的第三神经网络。进而提高流量调度的可靠性。下面将提供一种控制器侧所执行的流量调度方法、以及流量调度装置、网络设备、控制器、存储介质及计算机程序产品，其效果可参考上述网络设备侧所执行的方法对应的效果。第二方面，本申请提供一种流量调度方法，包括：控制器接收网络设备发送的网络设备的第一局部状态信息；控制器根据第一局部状态信息和其他网络设备的局部状态信息生成网络设备的第一全局状态信息；控制器向网络设备发送第一全局状态信息，第一全局状态信息用于生成网络设备的第一流量调度指令；第一流量调度指令用于对待传输的第一数据流进行流量调度。在一种可能的设计中，第一局部状态信息和第一流量调度指令是基于训练后的第一神经网络得到的，或者，第一流量调度指令是基于训练后的第一神经网络得到的；方法还包括：控制器对训练前的第一神经网络进行多轮训练。在本文档来自技高网...

【技术保护点】
1.一种流量调度方法，其特征在于，包括：/n网络设备向控制器发送所述网络设备的第一局部状态信息，所述第一局部状态信息用于生成所述网络设备的第一全局状态信息；/n所述网络设备接收所述控制器发送的所述第一全局状态信息；/n所述网络设备根据所述第一全局状态信息生成第一流量调度指令；/n所述网络设备根据所述第一流量调度指令对待传输的第一数据流进行流量调度。/n

【技术特征摘要】
1.一种流量调度方法，其特征在于，包括：
网络设备向控制器发送所述网络设备的第一局部状态信息，所述第一局部状态信息用于生成所述网络设备的第一全局状态信息；
所述网络设备接收所述控制器发送的所述第一全局状态信息；
所述网络设备根据所述第一全局状态信息生成第一流量调度指令；
所述网络设备根据所述第一流量调度指令对待传输的第一数据流进行流量调度。


2.根据权利要求1所述的方法，其特征在于，所述第一局部状态信息和所述第一流量调度指令是基于训练后的第一神经网络得到的，或者，所述第一流量调度指令是基于训练后的第一神经网络得到的；
所述方法还包括：
所述网络设备对训练前的所述第一神经网络进行多轮训练。


3.根据权利要求2所述的方法，其特征在于，所述网络设备对训练前的所述第一神经网络进行的所述多轮训练中的每轮训练，包括：
所述网络设备获取所述网络设备的当前的奖励值、第一长期奖励值和第二长期奖励值，所述当前的奖励值表示第二流量调度指令在本轮训练中对流量调度问题的价值大小，所述第一长期奖励值表示所述第二流量调度指令在本轮训练及之后的各轮训练中对流量调度问题的价值大小，所述第二长期奖励值表示第三流量调度指令在下一轮训练及之后的各轮训练中对流量调度问题的价值大小，所述第二流量调度指令为所述网络设备在所述本轮训练中根据第二局部状态信息生成的流量调度指令，所述第三流量调度指令为所述第二流量调度指令的下一条流量调度指令；
所述网络设备根据所述当前的奖励值、所述第一长期奖励值和所述第二长期奖励值训练所述第一神经网络的参数。


4.根据权利要求3所述的方法，其特征在于，所述网络设备获取所述网络设备的当前的奖励值、第一长期奖励值和第二长期奖励值，包括：
所述网络设备根据所述第二流量调度指令和所述第二局部状态信息，生成第一局部传输消息；
所述网络设备向所述控制器发送所述第一局部传输消息，所述第一局部传输消息用于生成所述网络设备的第一全局传输消息；
所述网络设备接收所述控制器发送的所述第一全局传输消息；
所述网络设备根据所述第二流量调度指令对待传输的第二数据流进行流量调度，以确定所述当前的奖励值，并根据所述第二流量调度指令、所述第二局部状态信息和所述第一全局传输消息生成所述第一长期奖励值；
所述网络设备根据所述第三流量调度指令和第三局部状态信息，生成第二局部传输消息，所述第三局部状态信息用于生成所述第三流量调度指令；
所述网络设备向所述控制器发送所述第二局部传输消息，所述第二局部传输消息用于生成所述网络设备的第二全局传输消息；
所述网络设备接收所述控制器发送的所述第二全局传输消息；
所述网络设备根据所述第三流量调度指令、所述第三局部状态信息和所述第二全局传输消息生成所述第二长期奖励值。


5.根据权利要求4所述的方法，其特征在于，所述局部传输消息、第一长期奖励值和第二长期奖励值是基于训练后的第三神经网络得到的，或者，所述第一长期奖励值和第二长期奖励值是基于训练后的第三神经网络得到的；
所述方法还包括：
所述网络设备对训练前的所述第三神经网络进行多轮训练。


6.根据权利要求5所述的方法，其特征在于，所述网络设备对训练前的所述第三神经网络进行的所述多轮训练中的每轮训练，包括：
所述网络设备根据所述第一长期奖励值和所述第一神经网络中的一个神经网络层，训练所述第三神经网络的参数，所述一个神经网络层用于根据局部状态信息生成流量调度指令。


7.一种流量调度方法，其特征在于，包括：
控制器接收网络设备发送的所述网络设备的第一局部状态信息；
所述控制器根据所述第一局部状态信息和其他网络设备的局部状态信息生成所述网络设备的第一全局状态信息；
所述控制器向所述网络设备发送所述第一全局状态信息，所述第一全局状态信息用于生成所述网络设备的第一流量调度指令；所述第一流量调度指令用于对待传输的第一数据流进行流量调度。


8.根据权利要求7所述的方法，其特征在于，所述第一局部状态信息和所述第一流量调度指令是基于训练后的第一神经网络得到的，或者，所述第一流量调度指令是基于训练后的第一神经网络得到的；
所述方法还包括：
所述控制器对训练前的所述第一神经网络进行多轮训练。


9.根据权利要求8所述的方法，其特征在于，所述控制器对训练前的所述第一神经网络进行的所述多轮训练中的每轮训练，包括：
所述控制器获取所述网络设备的当前的奖励值、第一长期奖励值和第二长期奖励值，所述当前的奖励值表示所述第二流量调度指令在本轮训练中对流量调度问题的价值大小，所述第一长期奖励值表示所述第二流量调度指令在本轮训练及之后的各轮训练中对流量调度问题的价值大小，所述第二长期奖励值表示第三流量调度指令在下一轮训练及之后的各轮训练中对流量调度问题的价值大小，所述第二流量调度指令为所述控制器在所述本轮训练中根据第二局部状态信息生成的流量调度指令，所述第三流量调度指令为所述第二流量调度指令的下一条流量调度指令；
所述控制器根据所述当前的奖励值、所述第一长期奖励值和所述第二长期奖励值训练所述第一神经网络的参数；
所述控制器将训练后的所述第一神经网络的参数发送给所述网络设备。


10.根据权利要求9所述的方法，其特征在于，所述控制器获取所述网络设备的当前的奖励值、第一长期奖励值和第二长期奖励值，包括：
所述控制器接收第一局部传输消息，所述第一局部传输消息是根据所述第二流量调度指令和所述第二局部状态信息生成得到的；
所述控制器根据所述第一局部传输消息生成第一全局传输消息；
所述控制器根据第二流量调度指令对待传输的第二数据流进行流量调度，以得到所述当前的奖励值，并根据所述第二流量调度指令、所述第二局部状态信息和所述第一全局传输消息生成所述第一长期奖励值；
所述控制器接收第二局部传输消息，所述第二局部传输消息是根据所述第三流量调度指令和第三局部状态信息生成得到的，所述第三局部状态信息用于生成所述第三流量调度指令；
所述控制器根据所述第二局部传输消息生成第二全局传输消息；
所述控制器根据所述第三流量调度指令、所述第三局部状态信息和所述第二全局传输消息生成所述第二长期奖励值。


11.根据权利要求10所述的方法，其特征在于，所述局部传输消息、第一长期奖励值和第二长期奖励值是基于训练后的第三神经网络得到的，或者，所述第一长期奖励值和第二长期奖励值是基于训练后的第三神经网络得到的；
所述方法还包括：
所述控制器对训练前的所述第三神经网络进行多轮训练。


12.根据权利要求11所述的方法，其特征在于，所述控制器对训练前的所述第...

【专利技术属性】
技术研发人员：毛航宇，张正超，肖臻，倪炎，龚志波，
申请(专利权)人：华为技术有限公司，北京大学，
类型：发明
国别省市：广东;44