一种分级控制数据交换速率的方法及装置制造方法及图纸

本发明专利技术实施例公开了一种分级控制数据交换速率的方法及装置，方法包括：实时监控数据交换通道的并发数目，并根据底层物理网络的负载情况调整数据交换通道的并发数目；实时监控数据记录流的流速，并根据数据记录流的流速与第一预设流速之间的关系，进行数据记录流限流控制；实时监控数据字节流的流速，并根据数据字节流的流速与第二预设流速之间的关系，进行数据字节流限流控制。本发明专利技术实施例在传统的限制数据交换底层物理网络的网络速率的基础上，分别从数据交换通道的并发数目、数据字节流的流速以及数据记录流的流速三个层面来控制数据交换速率，从而可以精确地控制数据交换通道上的数据交换速率，提高数据交换系统的吞吐量和稳定性。

A method and device of hierarchical control of data exchange rate

【技术实现步骤摘要】
一种分级控制数据交换速率的方法及装置
本专利技术涉及计算机
，具体涉及一种分级控制数据交换速率的方法及装置。
技术介绍
目前，典型的数据交换系统由数据抽取端、数据交换通道以及数据录入端三部分组成。数据抽取端负责从不同的数据源进行数据的采集，数据交换通道负责在网络中进行数据的传输和交换，数据录入端负责把数据写入目标数据源。其中，数据交换通道上的数据交换速率是影响整个数据交换系统吞吐量和稳定性的核心因素。在目前的数据交换系统中，主要通过限制数据交换通道底层物理网络的网络速率来控制数据交换速率。数据交换速率过低会导致数据交换系统吞吐量降低，影响数据交换的实时性；数据交换速率过高，会增大数据录入端的压力，情况严重时会引起数据录入端过载问题，进而影响数据录入端的稳定性。这种控制方式单一、并且粒度不够精细，且没有考虑到数据交换通道上交换的数据记录的大小。同等网络速率情况下，较小的数据记录意味着经过数据交换通道上的数据记录数增加，较大的数据记录数会增大数据录入端的压力，引起过载问题进而影响数据录入端的稳定性。因此，如何有效控制数据交换通道上的数据交换速率成为亟待解决的问题。
技术实现思路
由于现有方法存在上述问题，本专利技术实施例提出一种分级控制数据交换速率的方法及装置。第一方面，本专利技术实施例提出一种分级控制数据交换速率的方法，包括：实时监控数据交换通道的并发数目，并根据底层物理网络的负载情况调整所述数据交换通道的并发数目，以控制数据交换速率；实时监控数据记录流的流速，并根据所述数据记录流的流速与第一预设流速之间的关系，进行数据记录流限流控制，以控制所述数据交换速率；实时监控数据字节流的流速，并根据所述数据字节流的流速与第二预设流速之间的关系，进行数据字节流限流控制，以控制所述数据交换速率。可选地，所述根据底层物理网络的负载情况调整所述数据交换通道的数目，包括：在所述底层物理网络的负载小于第一负载阈值的情况下，增加预设个数所述数据交换通道；在所述底层物理网络的负载大于第二负载阈值的情况下，减少预设个数所述数据交换通道。可选地，所述根据所述数据记录流的流速与第一预设流速之间的关系，进行数据记录流限流控制，包括：在所述数据记录流的流速大于所述第一预设流速的情况下，对应线程暂停向所述数据交换通道写入所述数据记录流。可选地，所述根据所述数据字节流的流速与第二预设流速之间的关系，进行数据字节流限流控制，包括：在所述数据字节流的流速大于所述第二预设流速的情况下，对应线程暂停向所述底层物理网络写入所述数据字节流。第二方面，本专利技术实施例还提出一种分级控制数据交换速率的装置，包括：监控和调整模块、第一监控和控制模块和第二监控和控制模块；所述监控和调整模块，用于实时监控数据交换通道的并发数目，并根据底层物理网络的负载情况调整所述数据交换通道的并发数目，以控制数据交换速率；所述第一监控和控制模块，用于实时监控数据记录流的流速，并根据所述数据记录流的流速与第一预设流速之间的关系，进行数据记录流限流控制，以控制所述数据交换速率；所述第二监控和控制模块，用于实时监控数据字节流的流速，并根据所述数据字节流的流速与第二预设流速之间的关系，进行数据字节流限流控制，以控制所述数据交换速率。可选地，所述监控和调整模块，具体用于：实时监控所述数据交换通道的并发数目；在所述底层物理网络的负载小于第一负载阈值的情况下，增加预设个数所述数据交换通道，以控制所述数据交换速率；在所述底层物理网络的负载大于第二负载阈值的情况下，减少预设个数所述数据交换通道，以控制所述数据交换速率。可选地，所述第一监控和控制模块，具体用于：实时监控所述数据记录流的流速；在所述数据记录流的流速大于所述第一预设流速的情况下，对应线程暂停向所述数据交换通道写入所述数据记录流，以控制所述数据交换速率。可选地，所述第二监控和控制模块，具体用于：实时监控所述数据字节流的流速；在所述数据字节流的流速大于所述第二预设流速的情况下，对应线程暂停向所述底层物理网络写入所述数据字节流，以控制所述数据交换速率。第三方面，本专利技术实施例还提出一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。第四方面，本专利技术实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。由上述技术方案可知，本专利技术实施例在传统的限制数据交换底层物理网络的网络速率的基础上，分别从数据交换通道的并发数目、数据字节流的流速以及数据记录流的流速三个层面来控制数据交换速率，从而可以精确地控制数据交换通道上的数据交换速率，提高数据交换系统的吞吐量和稳定性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。图1为本专利技术一实施例提供的一种分级控制数据交换速率的方法的流程示意图；图2为本专利技术一实施例提供的一种分级控制数据交换速率的装置的结构示意图；图3为本专利技术一实施例提供的电子设备的逻辑框图。具体实施方式下面结合附图，对本专利技术的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。图1示出了本实施例提供的一种分级控制数据交换速率的方法的流程示意图，包括：S11、实时监控数据交换通道的并发数目，并根据底层物理网络的负载情况调整所述数据交换通道的并发数目，以控制数据交换速率。其中，所述数据交换通道的并发数目是同时使用的数据交换通道的个数。在本专利技术实施例中，所述根据底层物理网络的负载情况调整所述数据交换通道的并发数目是通过将所述底层物理网络的负载与预设的负载进行比较；根据比较结果，调整所述数据交换通道的并发数目。S12、实时监控数据记录流的流速，并根据所述数据记录流的流速与第一预设流速之间的关系，进行数据记录流限流控制，以控制所述数据交换速率。其中，在本专利技术实施例中，数据交换系统的数据抽取端从不同数据源采集数据，采集的数据以连续的数据记录为单位。所述连续的数据记录称为数据记录流。过大的数据记录数会增大所述数据交换系统中数据录入端的压力，引起过载问题，进而影响数据录入端的稳定性。因此，为避免出现上述缺陷，在本专利技术实施例中，人工设定第一预设流速，并根据所述数据记录流的流速与所述第一预设流速之间的关系，进行数据记录流限流控制，以控制所述数据交换速率。在此需要说明的是，在本文档来自技高网...

【技术保护点】
1.一种分级控制数据交换速率的方法，其特征在于，包括：/n实时监控数据交换通道的并发数目，并根据底层物理网络的负载情况调整所述数据交换通道的并发数目，以控制数据交换速率；/n实时监控数据记录流的流速，并根据所述数据记录流的流速与第一预设流速之间的关系，进行数据记录流限流控制，以控制所述数据交换速率；/n实时监控数据字节流的流速，并根据所述数据字节流的流速与第二预设流速之间的关系，进行数据字节流限流控制，以控制所述数据交换速率。/n

【技术特征摘要】
1.一种分级控制数据交换速率的方法，其特征在于，包括：
实时监控数据交换通道的并发数目，并根据底层物理网络的负载情况调整所述数据交换通道的并发数目，以控制数据交换速率；
实时监控数据记录流的流速，并根据所述数据记录流的流速与第一预设流速之间的关系，进行数据记录流限流控制，以控制所述数据交换速率；
实时监控数据字节流的流速，并根据所述数据字节流的流速与第二预设流速之间的关系，进行数据字节流限流控制，以控制所述数据交换速率。


2.根据权利要求1所述的分级控制数据交换速率的方法，其特征在于，所述根据底层物理网络的负载情况调整所述数据交换通道的数目，包括：
在所述底层物理网络的负载小于第一负载阈值的情况下，增加预设个数所述数据交换通道；
在所述底层物理网络的负载大于第二负载阈值的情况下，减少预设个数所述数据交换通道。


3.根据权利要求1所述的分级控制数据交换速率的方法，其特征在于，所述根据所述数据记录流的流速与第一预设流速之间的关系，进行数据记录流限流控制，包括：
在所述数据记录流的流速大于所述第一预设流速的情况下，对应线程暂停向所述数据交换通道写入所述数据记录流。


4.根据权利要求1所述的分级控制数据交换速率的方法，其特征在于，所述根据所述数据字节流的流速与第二预设流速之间的关系，进行数据字节流限流控制，包括：
在所述数据字节流的流速大于所述第二预设流速的情况下，对应线程暂停向所述底层物理网络写入所述数据字节流。


5.一种分级控制数据交换速率的装置，其特征在于，包括：监控和调整模块、第一监控和控制模块和第二监控和控制模块；
所述监控和调整模块，用于实时监控数据交换通道的并发数目，并根据底层物理网络的负载情况调整所述数据交换通道的并发数目，以控制数据交换速率；
所述第一监控和控制模块，...

【专利技术属性】
技术研发人员：易存道，
申请(专利权)人：北京宝兰德软件股份有限公司，
类型：发明
国别省市：北京;11