一种基于数据队列长度的数据调度方法、装置及系统制造方法及图纸

本发明专利技术实施例提供了一种基于数据队列长度的数据调度方法、系统及装置，所述方法包括：根据网络拓补结构确定网络中的各目的节点，其中，目的节点包括边缘节点及终端；根据预设调度算法，确定各目的节点对应的数据队列的虚拟数据值，其中，虚拟数据值大于0；设置各目的节点的数据队列的虚拟数据值，以使各目的节点将所对应的虚拟数据值与实际存储数据量之和作为数据队列的总数据量，并基于该总数据量进行数据处理。由于各目的节点的虚拟数据值并不占用存储空间，且各网络节点将虚拟数据值与实际存储数据量之和作为数据队列的总数据量，这样在实际到达数据的数据量未满足阈值条件时便开始向网络的上一层传输数据，提高网络工作效率。

A Data Scheduling Method, Device and System Based on Data Queue Length

The embodiment of the present invention provides a data scheduling method, system and device based on data queue length. The method includes: determining the destination nodes in the network according to the network topological structure, in which the destination nodes include edge nodes and terminals; determining the virtual data values of the corresponding data queues of the destination nodes according to the preset scheduling algorithm, in which the virtual data values are large. The virtual data value of the data queue of each destination node is set to make the sum of the corresponding virtual data value and the actual stored data amount as the total data amount of the data queue, and data processing is carried out based on the total data amount. Because the virtual data value of each destination node does not occupy the storage space, and each node regards the sum of virtual data value and actual storage data as the total data quantity of data queue, so when the actual data amount does not meet the threshold condition, it begins to transmit data to the upper layer of the network, so as to improve the network efficiency.

【技术实现步骤摘要】
一种基于数据队列长度的数据调度方法、装置及系统
本专利技术涉及数据处理
，特别是涉及一种基于数据队列长度的数据调度方法、装置及系统。
技术介绍
由于网络资源的有限性，如网络节点计算能力、网络链路容量等，导致网络中会存在未处理或传输的数据堆积，从而引起网络拥塞。针对这种排队网络，一般采用以各网络节点的数据队列长度为度量，数据向数据队列长度减少最快的梯度方向流动的调度方法。由于该调度方法可以很好的适应网络中的随机特性，因此得到广泛应用，例如，应用在物联网网络中。一般采用上述调度方法的网络架构包括数据中心、边缘节点及终端三层结构，底层终端接收或产生数据，然后将数据卸载到边缘节点，再由边缘节点协作处理后将剩余数据和结果传到数据中心进行集中处理。每个网络节点建立有数据队列，数据队列基于数据的调度及处理结果进行动态变化。其中，网络节点包括边缘节点及终端，边缘节点包括路由、基站、无线接入点等。在处理过程中，数据从终端到数据中心的传输需要网络节点间的数据队列的势差，也就是说，终端的数据累积量与与其相连的边缘节点的数据累积量的差值需要超过某一阈值，才会上传至与其相连的边缘节点，同样的，边缘节点的数据累积量与与其相连的其他边缘节点或者数据中心的数据累积量的差值需要超过某一阈值，才会上传至数据中心或发送给其他边缘节点。因此，各个网络节点需要大量的数据堆积才能保证网络的有效运行，终端作为网络的最底层，则需要最多的数据积累。而终端的存储空间是非常有限的，所以会出现由于终端存储空间不足造成的网络工作效率低，网络运行环境不能达到最优的问题。
技术实现思路
本专利技术实施例的目的在于提供一种基于数据队列长度的数据调度方法、装置及系统，以优化网络运行环境，解决由于终端存储空间不足造成的网络工作效率低的问题。具体技术方案如下：第一方面，本专利技术实施例提供了一种基于数据队列长度的数据调度方法，所述方法包括：根据网络拓补结构确定网络中的各目的节点，其中，所述目的节点包括边缘节点及终端；根据预设调度算法，确定所述各目的节点对应的数据队列的虚拟数据值，其中，所述虚拟数据值大于0；设置所述各目的节点的数据队列的虚拟数据值，以使所述各目的节点将所对应的虚拟数据值与实际存储数据量之和作为数据队列的总数据量，并基于该总数据量进行数据处理。可选的，所述根据预设调度算法，确定所述各目的节点对应的数据队列的虚拟数据值的步骤，包括：根据预设调度算法，确定所述边缘节点的数据处理队列及结果存储队列的虚拟数据值，以及确定所述终端的数据处理队列的虚拟数据值。可选的，所述根据预设调度算法，确定所述边缘节点的数据处理队列及结果存储队列的虚拟数据值，以及确定所述终端的数据处理队列的虚拟数据值的步骤，包括：按照以下公式进行多次迭代计算所述边缘节点的数据处理队列及结果存储队列的虚拟数据值，以及所述终端的数据处理队列的虚拟数据值；R_(i,0)＝max{min_j{R_(j,0)+N_(i,j)},0}；N_(i,j)＝V*G_(i,j)-C_(i,j)；Q_(i,0)＝max{min_j{a*R_(i,0)+H(i)，Q_(j,0)+N(i,j)}，0}；H(i)＝V*p*K(i)-F(i)/p；D_(m,0)＝max{Q_(i,0)+S(m),0}；S(m)＝V*Z(m)/Y(m,i)-Y(m,i)*T；其中，R_(i,0)表示边缘节点i∈{1,2...u}的结果存储队列的虚拟数据值，u为网络中边缘节点的数量，R_(j,0)表示与边缘节点i相连的边缘节点j∈{1,2...u}的结果存储队列的虚拟数据值，V为预设控制参量，G_(i,j)表示从边缘节点i传输1比特数据到边缘节点j的最小传输开销，C_(i,j)表示边缘节点i与边缘节点j之间链路的最大链路容量；Q_(i,0)表示边缘节点i的数据处理队列的虚拟数据值，a表示在边缘节点i处经过数据处理得到的结果的数据量值与处理前的数据量的比值，Q_(j,0)表示边缘节点j的虚拟数据值，p表示处理1比特数据所需要的CPU周期数，K(i)表示边缘节点i每个CPU周期的计算开销，F(i)表示边缘节点i的计算能力；D_(m,0)表示与边缘节点i相连的终端m∈{1,2...v}的数据处理队列的虚拟数据值，v为网络中终端的数量，Z(m)表示终端m的传输开销，Y(m,i)表示表示终端m与边缘节点i之间的链路的最大链路容量，T表示最小系统时间。可选的，所述方法还包括：将网络中的数据中心确定为源节点；确定所述源节点的数据处理队列及结果存储队列的虚拟数据值均为0。第二方面，本专利技术实施例提供了一种基于数据队列长度的数据调度系统，所述系统包括：管理设备，用于根据网络拓补结构确定网络中的各目的节点，根据预设调度算法，确定所述各目的节点对应的数据队列的虚拟数据值，设置所述各目的节点的数据队列的虚拟数据值，其中，所述目的节点包括边缘节点及终端，所述虚拟数据值大于0；终端，用于将所对应的虚拟数据值与实际存储数据量之和作为数据队列的总数据量，并基于该总数据量进行数据处理；边缘节点，用于将所对应的虚拟数据值与实际存储数据量之和作为数据队列的总数据量，并基于该总数据量进行数据处理，并发送处理结果和/或待处理数据至数据中心；数据中心，用于接收所述处理结果和/或所述待处理数据，并进行预设处理。可选的，所述管理设备，具体用于根据预设调度算法，确定所述边缘节点的数据处理队列及结果存储队列的虚拟数据值，以及确定所述终端的数据处理队列的虚拟数据值。可选的，所述管理设备，具体用于按照以下公式进行多次迭代计算所述边缘节点的数据处理队列及结果存储队列的虚拟数据值，以及所述终端的数据处理队列的虚拟数据值；R_(i,0)＝max{min_j{R_(j,0)+N_(i,j)},0}；N_(i,j)＝V*G_(i,j)-C_(i,j)；Q_(i,0)＝max{min_j{a*R_(i,0)+H(i)，Q_(j,0)+N(i,j)}，0}；H(i)＝V*p*K(i)-F(i)/p；D_(m,0)＝max{Q_(i,0)+S(m),0}；S(m)＝V*Z(m)/Y(m,i)-Y(m,i)*T；其中，R_(i,0)表示边缘节点i∈{1,2...u}的结果存储队列的虚拟数据值，u为网络中边缘节点的数量，R_(j,0)表示与边缘节点i相连的边缘节点j∈{1,2...u}的结果存储队列的虚拟数据值，V为预设控制参量，G_(i,j)表示从边缘节点i传输1比特数据到边缘节点j的最小传输开销，C_(i,j)表示边缘节点i与边缘节点j之间链路的最大链路容量；Q_(i,0)表示边缘节点i的数据处理队列的虚拟数据值，a表示在边缘节点i处经过数据处理得到的结果的数据量值与处理前的数据量的比值，Q_(j,0)表示边缘节点j的虚拟数据值，p表示处理1比特数据所需要的CPU周期数，K(i)表示边缘节点i每个CPU周期的计算开销，F(i)表示边缘节点i的计算能力；D_(m,0)表示与边缘节点i相连的终端m∈{1,2...v}的数据处理队列的虚拟数据值，v为网络中终端的数量，Z(m)表示终端m的传输开销，Y(m,i)表示表示终端m与边缘节点i之间的链路的最大链路容量，T表示最小系统时间。可选的，所述终端，具体用于将所对应的虚拟数本文档来自技高网...

【技术保护点】
1.一种基于数据队列长度的数据调度方法，其特征在于，所述方法包括：根据网络拓补结构确定网络中的各目的节点，其中，所述目的节点包括边缘节点及终端；根据预设调度算法，确定所述各目的节点对应的数据队列的虚拟数据值，其中，所述虚拟数据值大于0；设置所述各目的节点的数据队列的虚拟数据值，以使所述各目的节点将所对应的虚拟数据值与实际存储数据量之和作为数据队列的总数据量，并基于该总数据量进行数据处理。

【技术特征摘要】
1.一种基于数据队列长度的数据调度方法，其特征在于，所述方法包括：根据网络拓补结构确定网络中的各目的节点，其中，所述目的节点包括边缘节点及终端；根据预设调度算法，确定所述各目的节点对应的数据队列的虚拟数据值，其中，所述虚拟数据值大于0；设置所述各目的节点的数据队列的虚拟数据值，以使所述各目的节点将所对应的虚拟数据值与实际存储数据量之和作为数据队列的总数据量，并基于该总数据量进行数据处理。2.如权利要求1所述的方法，其特征在于，所述根据预设调度算法，确定所述各目的节点对应的数据队列的虚拟数据值的步骤，包括：根据预设调度算法，确定所述边缘节点的数据处理队列及结果存储队列的虚拟数据值，以及确定所述终端的数据处理队列的虚拟数据值。3.如权利要求2所述的方法，其特征在于，所述根据预设调度算法，确定所述边缘节点的数据处理队列及结果存储队列的虚拟数据值，以及确定所述终端的数据处理队列的虚拟数据值的步骤，包括：按照以下公式进行多次迭代计算所述边缘节点的数据处理队列及结果存储队列的虚拟数据值，以及所述终端的数据处理队列的虚拟数据值；R_(i,0)＝max{min_j{R_(j,0)+N_(i,j)},0}；N_(i,j)＝V*G_(i,j)-C_(i,j)；Q_(i,0)＝max{min_j{a*R_(i,0)+H(i)，Q_(j,0)+N(i,j)}，0}；H(i)＝V*p*K(i)-F(i)/p；D_(m,0)＝max{Q_(i,0)+S(m),0}；S(m)＝V*Z(m)/Y(m,i)-Y(m,i)*T；其中，R_(i,0)表示边缘节点i∈{1,2...u}的结果存储队列的虚拟数据值，u为网络中边缘节点的数量，R_(j,0)表示与边缘节点i相连的边缘节点j∈{1,2...u}的结果存储队列的虚拟数据值，V为预设控制参量，G_(i,j)表示从边缘节点i传输1比特数据到边缘节点j的最小传输开销，C_(i,j)表示边缘节点i与边缘节点j之间链路的最大链路容量；Q_(i,0)表示边缘节点i的数据处理队列的虚拟数据值，a表示在边缘节点i处经过数据处理得到的结果的数据量值与处理前的数据量的比值，Q_(j,0)表示边缘节点j的虚拟数据值，p表示处理1比特数据所需要的CPU周期数，K(i)表示边缘节点i每个CPU周期的计算开销，F(i)表示边缘节点i的计算能力；D_(m,0)表示与边缘节点i相连的终端m∈{1,2...v}的数据处理队列的虚拟数据值，v为网络中终端的数量，Z(m)表示终端m的传输开销，Y(m,i)表示表示终端m与边缘节点i之间的链路的最大链路容量，T表示最小系统时间。4.如权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：将网络中的数据中心确定为源节点；确定所述源节点的数据处理队列及结果存储队列的虚拟数据值均为0。5.一种基于数据队列长度的数据调度系统，其特征在于，所述系统包括：管理设备，用于根据网络拓补结构确定网络中的各目的节点，根据预设调度算法，确定所述各目的节点对应的数据队列的虚拟数据值，设置所述各目的节点的数据队列的虚拟数据值，其中，所述目的节点包括边缘节点及终端，所述虚拟数据值大于0；终端，用于将所对应的虚拟数据值与实际存储数据量之和作为数据队列的总数据量，并基于该总数据量进行数据处理；边缘节点，用于将所对应的虚拟数据值与实际存储数据量之和作为数据队列的总数据量，并基于该总数据量进行数据处理，并发送处理结果和/或待处理数据至数据中心；数据中心，用于接...

【专利技术属性】
技术研发人员：田辉，任晨姗，吕昕辰，伍浩，聂高峰，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11