数据分发方法、系统及控制节点技术方案

本发明专利技术实施例提供一种数据分发方法、系统及控制节点。该方法包括：监控第一级分发装置和第二级分发装置的运行情况，获取监控数据，所述监控数据包括以下至少一项：数据积压量、数据积压速度、实时分发速度和数据分发时延；根据监控数据，对第一级分发装置和第二级分发装置进行调整。本发明专利技术实施例的方法，提高了资源利用率和分发效率。

【技术实现步骤摘要】
数据分发方法、系统及控制节点
本专利技术实施例涉及计算机
，尤其涉及一种数据分发方法、系统及控制节点。
技术介绍
数据分发装置可以根据一定的分发规则，对输入的数据进行分组，然后将分组后的数据分发给更多的业务处理模块进行处理，以此来提高系统的并行能力和吞吐量。在规划部署工作节点和分发通道时，通常以数据流速达到峰值时，待处理数据不积压为准。在空闲时段，由于数据流量较小，大量工作节点处于空闲等待状态，资源浪费严重，资源利用率低。当生产数据增多，数据产生积压时，需手动增加工作节点和分发通道。当扩充的工作节点数量增多时，节点之间通信交互的开销增大、分发效率降低，严重制约了系统的实时性和吞吐量。综上所述，现有数据分发技术资源利用率低、分发效率低。
技术实现思路
本专利技术实施例提供一种数据分发方法、系统及控制节点，用以解决现有数据分发技术资源利用率低、分发效率低的问题。第一方面，本专利技术实施例提供一种数据分发方法，应用于控制节点，控制节点应用于数据分发系统，数据分发系统还包括第一级分发装置和第二级分发装置，第一级分发装置包括至少两个一级分发节点，第二级分发装置包括至少一个二级分发节点，一级分发节点的数量大于二级分发节点的数量，包括：监控第一级分发装置和第二级分发装置的运行情况，获取监控数据，监控数据包括以下至少一项：数据积压量、数据积压速度、实时分发速度和数据分发时延；根据监控数据，对第一级分发装置和第二级分发装置进行调整。在一种可能的实现方式中，根据监控数据，对第一级分发装置和第二级分发装置进行调整包括：若至少一个一级分发节点的数据积压量大于第一预设数据积压量，且数据积压速度大于第一预设数据积压速度，则增加第一级分发装置中包括的一级分发节点的数量；和/或，若至少一个二级分发节点的数据积压量大于第二预设数据积压量，且数据积压速度大于第二预设数据积压速度，则增加第二级分发装置中包括的二级分发节点的数量。在一种可能的实现方式中，根据监控数据，对第一级分发装置和第二级分发装置进行调整包括：若至少一个一级分发节点的数据积压量小于第三预设数据积压量，数据积压速度小于第三预设数据积压速度，且实时分发速度小于第一预设分发速度，则减少第一级分发装置中包括的一级分发节点的数量；和/或，若至少一个二级分发节点的数据积压量小于第四预设数据积压量，数据积压速度小于第四预设数据积压速度，且实时分发速度小于第二预设分发速度，则减少第二级分发装置中包括的二级分发节点的数量。在一种可能的实现方式中，根据监控数据，对第一级分发装置和第二级分发装置进行调整包括：若至少一个一级分发节点的数据分发时延大于第一预设时延，则增加第一级分发装置中包括的一级分发节点的数量；和/或，若至少一个二级分发节点的数据分发时延大于第二预设时延，则增加第二级分发装置中包括的二级分发节点的数量。第二方面，本专利技术实施例提供一种数据分发系统，包括：第一级分发装置、第二级分发装置和控制节点，第一级分发装置包括至少两个一级分发节点，第二级分发装置包括至少一个二级分发节点，一级分发节点的数量大于二级分发节点的数量；第一级分发装置，用于根据第一预设规则将输入数据分发至第二级分发装置；第二级分发装置，用于根据第二预设规则将接收到的数据分发至多个数据处理节点，数据处理节点用于对接收到的数据进行处理；控制节点，用于根据如第一方面任一项所述的方法，对第一级分发装置和第二级分发装置进行调整。在一种可能的实现方式中，第一级分发装置，用于根据第一预设规则将输入数据分发至第二级分发装置包括：第一级分发装置，用于将具有相同数据标识的输入数据分发至至少一个二级分发节点中的一个二级分发节点。在一种可能的实现方式中，第二级分发装置，用于根据第二预设规则将接收到的数据分发至多个数据处理节点包括：针对第二级分发装置中的每一个二级分发节点，根据二级分发节点的额定分发速度和数据处理节点的额定处理速度，确定与二级分发节点对应的数据处理节点的个数；二级分发节点将具有相同数据标识的数据分发至与二级分发节点对应的多个数据处理节点中的一个数据处理节点。第三方面，本专利技术实施例提供一种控制节点，应用于数据分发系统，数据分发系统还包括第一级分发装置和第二级分发装置，第一级分发装置包括至少两个一级分发节点，第二级分发装置包括至少一个二级分发节点，一级分发节点的数量大于二级分发节点的数量，包括：监控模块，用于监控第一级分发装置和第二级分发装置的运行情况，获取监控数据，监控数据包括：数据积压量、数据积压速度、实时分发速度和数据分发时延；处理模块，用于根据监控数据，对第一级分发装置和第二级分发装置进行调整。第四方面，本专利技术实施例提供一种控制节点，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面任一项所述的方法。第五方面，本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面任一项所述的方法。本专利技术实施例提供的数据分发方法、系统及控制节点，通过控制节点对第一级分发装置和第二级分发装置的运行情况进行监控，并根据获取到的监控数据对第一级分发装置和第二级分发装置进行实时调整，不仅解决了空闲时段分发节点资源浪费问题，提高了资源利用率，而且能够解决数据积压，导致数据处理时延增大的问题，提高了用户体验。通过采用分级分发的策略，先将输入数据由一级分发节点进行第一次分发，然后由二级分发节点对分流后的数据进行第二次分发，减小了节点之间通信交互的开销，提高了单节点的分发效率，提高了系统的扩展能力和吞吐量。综上所述，本专利技术实施例提供的数据分发系统提高了资源利用率和分发效率，提升了用户体验。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1为现有数据分发系统的结构示意图；图2为本专利技术提供的数据分发系统一实施例的结构示意图；图3为本专利技术提供的数据分发方法一实施例的流程图；图4为本专利技术提供的控制节点一实施例的结构示意图；图5为本专利技术提供的控制节点又一实施例的结构示意图。通过上述附图，已示出本专利技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本专利技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本专利技术的概念。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。本专利技术的说明书和权利要求书中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本专利技术中的“第一”和“第二”只起标识作用，而不能理解为指示或暗示顺序关系、相对重要性或者隐含指明所指示的技术特征的数量。“多个”是指两个或两个以上。“本文档来自技高网...

【技术保护点】
1.一种数据分发方法，应用于控制节点，所述控制节点应用于数据分发系统，所述数据分发系统还包括第一级分发装置和第二级分发装置，所述第一级分发装置包括至少两个一级分发节点，所述第二级分发装置包括至少一个二级分发节点，所述一级分发节点的数量大于所述二级分发节点的数量，其特征在于，包括：监控所述第一级分发装置和所述第二级分发装置的运行情况，获取监控数据，所述监控数据包括以下至少一项：数据积压量、数据积压速度、实时分发速度和数据分发时延；根据所述监控数据，对所述第一级分发装置和所述第二级分发装置进行调整。

【技术特征摘要】
1.一种数据分发方法，应用于控制节点，所述控制节点应用于数据分发系统，所述数据分发系统还包括第一级分发装置和第二级分发装置，所述第一级分发装置包括至少两个一级分发节点，所述第二级分发装置包括至少一个二级分发节点，所述一级分发节点的数量大于所述二级分发节点的数量，其特征在于，包括：监控所述第一级分发装置和所述第二级分发装置的运行情况，获取监控数据，所述监控数据包括以下至少一项：数据积压量、数据积压速度、实时分发速度和数据分发时延；根据所述监控数据，对所述第一级分发装置和所述第二级分发装置进行调整。2.根据权利要求1所述的方法，其特征在于，所述根据所述监控数据，对所述第一级分发装置和所述第二级分发装置进行调整包括：若至少一个一级分发节点的数据积压量大于第一预设数据积压量，且数据积压速度大于第一预设数据积压速度，则增加第一级分发装置中包括的一级分发节点的数量；和/或，若至少一个二级分发节点的数据积压量大于第二预设数据积压量，且数据积压速度大于第二预设数据积压速度，则增加第二级分发装置中包括的二级分发节点的数量。3.根据权利要求1所述的方法，其特征在于，所述根据所述监控数据，对所述第一级分发装置和所述第二级分发装置进行调整包括：若至少一个一级分发节点的数据积压量小于第三预设数据积压量，数据积压速度小于第三预设数据积压速度，且实时分发速度小于第一预设分发速度，则减少第一级分发装置中包括的一级分发节点的数量；和/或，若至少一个二级分发节点的数据积压量小于第四预设数据积压量，数据积压速度小于第四预设数据积压速度，且实时分发速度小于第二预设分发速度，则减少第二级分发装置中包括的二级分发节点的数量。4.根据权利要求1所述的方法，其特征在于，所述根据所述监控数据，对所述第一级分发装置和所述第二级分发装置进行调整包括：若至少一个一级分发节点的数据分发时延大于第一预设时延，则增加第一级分发装置中包括的一级分发节点的数量；和/或，若至少一个二级分发节点的数据分发时延大于第二预设时延，则增加第二级分发装置中包括的二级分发节点的数量。5.一种数据分发系统，其特征在于，包括：第一级分发装置、第二级分发装置和控制节点，所述第一级分发装置...

【专利技术属性】
技术研发人员：房宗启，张世富，裴宏祥，王鹏，刘乾，曹朦胧，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：北京,11