一种数据流量的控制方法、装置制造方法及图纸

本申请实施例提供了一种数据流量的控制方法、装置，该方法包括：接收所有作业执行单元发送的心跳数据包；根据接收到的心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所有作业中每一个存活作业的带宽配置信息，作为返回参数；将返回参数发送至对应的作业执行单元；其中，第一作业是所有作业中的任一作业，心跳数据包中包括第一作业的ID、第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对第一作业预设的权重，宽带设置信息包括存储单元的ID和存储单元的带宽。因此，通过动态的对业务作业中的各个线程的数据流量进行设置，从而简化数据流量分配，优化系统的数据交换过程，充分利用系统资源。

A Method and Device for Data Flow Control

The embodiment of this application provides a control method and device for data flow, which includes: receiving heartbeat data packets sent by all job execution units; calculating bandwidth configuration information of each surviving job every preset first time interval according to the received heartbeat data packets and combining with the preset broadband settings information as return parameters; and returning parameters. The first job is sent to the corresponding job execution unit, where the first job is any job of all jobs. The heartbeat data packet includes the ID of the first job, the ID of the source storage unit or the ID of the target storage unit used by the first job, and the preset weight of the first job. The broadband setting information includes the ID of the storage unit and the bandwidth of the storage unit. Therefore, by dynamically setting the data flow of each thread in the business operation, it can simplify the data flow distribution, optimize the data exchange process of the system, and make full use of the system resources.

【技术实现步骤摘要】
一种数据流量的控制方法、装置
本申请涉及信息
，特别是涉及一种数据流量的控制方法、装置。
技术介绍
随着移动互联网、物联网技术的不断发展，企业会积累丰富的数据，而这些数据根据业务特点被存放在不同的存储系统中，如Mysql、Hive、Hbase、Redis、MongoDB等。根据不同的业务的需求，数据会在不同存储系统中进行相互交换。通常是建立专门的数据交换平台来实现数据交换。不同的存储系统由于硬件配置的差异以及安全等级的差异，对流量的承载能力也是不同的。因此数据交换平台必须具备数据流量控制功能。现有技术中，流控主要有两种方式，第一种是利用存储系统端的流控功能。这种方式需要存储系统本身具备流控功能，对于本身不具备流控功能的存储系统，这种方式则不再适用，且一旦需要修改流控参数，必须重启存储系统；第二种是在数据交换作业端预设流控阈值，流控阈值是由业务人员在创建数据交换作业时配置的，但在配置流控阈值时业务人员并不知道当前一共有多少数据交换作业在运行，因此无法控制同一时刻流经同一存储系统的流量总和。此外，该流控阈值是静态的，无法根据业务的实际流量进行动态调整，因此由于不适合的流控阈值设置会造成物理资源的浪费或者业务作业运行的延迟。
技术实现思路
鉴于上述问题，本申请实施例提供一种数据流量的控制方法，能够动态地对数据交换业务进行流量分配，进而解决现有技术所存在的物理资源浪费或者业务作业的延迟问题。相应的，本申请实施例还提供了一种数据流量的控制装置。为了解决上述问题，本申请实施例公开了一种数据流量的控制方法，应用于数据流量控制单元，所述数据流量控制单元用于控制所有作业的数据流量，所述方法包括：接收所述所有作业执行单元发送的心跳数据包；根据接收到的所述心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所述所有作业中每一个存活作业的带宽配置信息，作为返回参数；将所述返回参数分别发送至对应的作业执行单元；其中，所述心跳数据包中包括第一作业的ID、所述第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对所述第一作业预设的权重，所述宽带设置信息包括存储单元的ID和所述存储单元的带宽，所述第一作业是所述所有作业中的任一作业。相应的，本申请实施例还公开了一种数据流量的控制方法，应用于作业执行单元，所述方法包括：当启动作业时，每隔预设的第三时长向数据流量控制单元发送心跳数据包，以便于所述数据流量控制单元根据所述心跳数据包和预存的宽带设置信息对应确定所述作业的带宽配置信息；其中，所述心跳数据包中包括所述作业的ID，所述作业所使用的源存储单元ID或者目标存储单元的ID以及对所述作业预设的权重；在执行所述作业时，以第一速率向所述作业中第一线程对应的第一消息队列发送令牌，其中所述第一速率是根据所述数据流量控制单元发送的所述带宽配置信息确定的所述第一消息队列的令牌发送速率，所述第一线程是所述作业中的任一作业线程；在执行所述第一线程时，确定在所述第一消息队列中是否存在与所述第一线程的数据大小对应个数的令牌；当在所述第一消息队列中不存在与所述第一线程的数据大小相对应个数的令牌时，暂缓执行所述第一线程，直至在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌；当在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌时，获取与所述第一线程的数据大小对应个数的令牌，以执行所述第一线程。相应的，本申请实施例还公开了一种数据流量的控制装置，应用于数据流量控制单元，所述数据流量控制单元用于控制所有作业的数据流量，所述装置包括：接收模块，用于接收所述所有作业执行单元发送的心跳数据包；计算模块，用于根据接收到的所述心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所述所有作业中每一个存活作业的带宽配置信息，作为返回参数；将所述返回参数发送至对应的作业执行单元；其中，所述心跳数据包中包括第一作业的ID、所述第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对所述第一作业预设的权重，所述宽带设置信息包括存储单元的ID和所述存储单元的带宽，所述第一作业是所述所有作业中的任一作业。相应的，本申请实施例还公开了一种数据流量的控制装置，应用于作业执行单元，所述装置包括：数据发送模块，用于当启动作业时，在预设的第三时长内向数据流量控制单元发送心跳数据包，以便于所述数据流量控制单元根据所述心跳数据包和预存的宽带设置信息对应确定所述作业的带宽配置信息；其中，所述心跳数据包中包括所述作业的ID，所述作业所使用的源存储单元ID或者目标存储单元的ID以及对所述作业预设的权重；令牌发送模块，用于在执行所述作业时，以第一速率向所述作业中第一线程对应的第一消息队列发送令牌，其中所述第一速率是根据所述数据流量控制单元发送的所述带宽配置信息确定的所述第一消息队列的令牌发送速率，所述第一线程是所述作业中的任一作业线程；个数确定模块，用于在执行所述第一线程时，确定在所述第一消息队列中是否存在与所述第一线程的数据大小对应个数的令牌；暂缓执行模块，用于当在所述第一消息队列中不存在与所述第一线程的数据大小相对应个数的令牌时，暂缓执行所述第一线程，直至在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌；令牌获取模块，用于当在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌时，获取与所述第一线程的数据大小对应个数的令牌，以执行所述第一线程。本申请实施例还提供一种装置，包括处理器以及存储器，其中，所述处理器执行所述存储器所存放的计算机程序代码，以实现本申请所述的数据流量的控制方法。本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现本申请所述的数据流量的控制方法的步骤。本申请实施例包括以下优点：本申请实施例通过接收所述所有作业执行单元发送的心跳数据包；根据接收到的所述心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所述所有作业中每一个存活作业的带宽配置信息，作为返回参数；将所述返回参数发送至对应的作业执行单元；其中，所述第一作业是所述所有作业中的任一作业，所述心跳数据包中包括所述第一作业的ID、所述第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对所述第一作业预设的权重，所述宽带设置信息包括存储单元的ID和所述存储单元的带宽。因此，通过动态的对业务作业中的各个线程的数据流量进行设置，从而简化数据流量分配，优化系统的数据交换过程，充分利用系统资源。附图说明图1是本申请的一种数据流量的控制方法实施例的步骤流程图；图2是本申请的数据流量的控制方法的系统结构示意图；图3是本申请的另一种数据流量的控制方法实施例的步骤流程图；图4是本申请的一种数据流量的控制方法可选实施例的步骤流程图；图5是本申请的又一种数据流量的控制方法实施例的步骤流程图；图6是本申请的又一种数据流量的控制方法实施例的步骤流程图；图7是本申请的一种数据流量的控制装置实施例的结构框图；图8是本申请的另一种数据流量的控制装置实施例的结构框图。具体实施方式为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。参照图1，示出了本申请的一种数据本文档来自技高网...

【技术保护点】
1.一种数据流量的控制方法，其特征在于，应用于数据流量控制单元，所述数据流量控制单元用于控制所有作业的数据流量，所述方法包括：接收所述所有作业执行单元发送的心跳数据包；根据接收到的所述心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所述所有作业中每一个存活作业的带宽配置信息，作为返回参数；将所述返回参数分别发送至对应的作业执行单元；其中，所述心跳数据包中包括第一作业的ID、所述第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对所述第一作业预设的权重，所述宽带设置信息包括存储单元的ID和所述存储单元的带宽，所述第一作业是所述所有作业中的任一作业。

【技术特征摘要】
1.一种数据流量的控制方法，其特征在于，应用于数据流量控制单元，所述数据流量控制单元用于控制所有作业的数据流量，所述方法包括：接收所述所有作业执行单元发送的心跳数据包；根据接收到的所述心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所述所有作业中每一个存活作业的带宽配置信息，作为返回参数；将所述返回参数分别发送至对应的作业执行单元；其中，所述心跳数据包中包括第一作业的ID、所述第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对所述第一作业预设的权重，所述宽带设置信息包括存储单元的ID和所述存储单元的带宽，所述第一作业是所述所有作业中的任一作业。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当在预设的第二时长内接收到第二作业发送的心跳数据包的个数大于或者等于预设的个数时，确定所述第二作业为所述存活作业；其中，所述第二作业是所述所有作业中的任一作业。3.根据权利要求1所述的方法，其特征在于，所述根据接收到的所述心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所述所有作业中每一个作业的带宽配置信息，作为返回参数，包括：对接收到的所述心跳数据包进行解析；根据所述解析的结果，结合所述宽带设置信息，每隔所述第一时长计算所述每一个作业的带宽配置信息。4.一种数据流量的控制方法，其特征在于，应用于作业执行单元，所述方法包括：当启动作业时，每隔预设的第三时长向数据流量控制单元发送心跳数据包，以便于所述数据流量控制单元根据所述心跳数据包和预存的宽带设置信息对应确定所述作业的带宽配置信息；其中，所述心跳数据包中包括所述作业的ID，所述作业所使用的源存储单元ID或者目标存储单元的ID以及对所述作业预设的权重；在执行所述作业时，以第一速率向所述作业中第一线程对应的第一消息队列发送令牌，其中所述第一速率是根据所述数据流量控制单元发送的所述带宽配置信息确定的所述第一消息队列的令牌发送速率，所述第一线程是所述作业中的任一作业线程；在执行所述第一线程时，确定在所述第一消息队列中是否存在与所述第一线程的数据大小对应个数的令牌；当在所述第一消息队列中不存在与所述第一线程的数据大小相对应个数的令牌时，暂缓执行所述第一线程，直至在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌；当在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌时，获取与所述第一线程的数据大小对应个数的令牌，以执行所述第一线程。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：接收所述流量控制单元发送的所述带宽配置信息；根据所述带宽配置信息和所述作业中的所有作业线程的个数，分别确定所述所有作业线程所对应的令牌发送速率。6.一种数据流量的控制装置，其特征在于，应用于...

【专利技术属性】
技术研发人员：张麒，
申请(专利权)人：同盾控股有限公司，
类型：发明
国别省市：浙江,33