数据的分发方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种数据的分发方法、装置、存储介质及电子设备，所述方法包括：根据采集器在当前时刻对应的历史采集数据信息以及与所述采集器对应的采集数据预测模型，预测所述采集器在所述当前时刻之后的下一采集时刻的采集数据信息；根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略；当接收到所述采集器在所述下一采集时刻采集的数据时，按照与所述采集器对应的所述分发策略对该数据进行分发。因此，可以在下一采集时刻之前提前预估出该下一采集时刻对应的分发策略，有效提高数据分发的效率，并降低数据分发的延迟率，提高整体资源利用率。

Data distribution methods, devices, storage media and electronic devices

【技术实现步骤摘要】
数据的分发方法、装置、存储介质及电子设备
本公开涉及数据传输领域，具体地，涉及一种数据的分发方法、装置、存储介质及电子设备。
技术介绍
在生产生活中，常常需要将上游系统数据生产者产生的数据，高效准确地传递给下端系统订阅者。这里就需要一个位于生产者和订阅者之间的中间件，其能实时采集上游生产者产生的数据，并能高效地将数据分发到下端订阅者。图1示出现有的数据分发过程的示例。如图1所示，数据分发的核心是以数据为中心的发布-订阅过程，即：能以某种方式将发布者(即生产者)产生的数据通过某种方式或某个中间件的处理高效准确地传递给适当的订阅者。随着上端生产者产生数据规模的增大和上端生产者应用系统种类增多，相应的下端订阅者也随之增加，数据分发过程变得更加复杂。现有的数据的分发方法大多会浪费计算机资源，产生数据传输延时。例如，对于以轮询的方式分发给所有的消费者的方式，每一次数据分发都只会发给一个消费者，在大部分时间内，许多消费者都是空闲的，非常浪费系统资源；对于采用负载均衡算法将数据分发给消费者的方式，每一次数据分发都需要进行负载均衡计算，由于负载均衡算法相对复杂，会导致额外的计算资源占用和数据传输I/O延时；对于基于数据发送-接收延迟率来调整数据分发策略的方式，只将上一次数据分发时产生的数据发送-接收延迟率，作为调整当前数据分发策略的依据，会较大概率的出现判断不准确的情况。
技术实现思路
本公开的目的是提供数据的分发方法、装置、存储介质及电子设备，以解决现有的数据分发方法存在浪费系统资源以及数据传输延时的技术问题。根据本公开的第一方面，提供一种数据的分发方法，所述方法包括：根据采集器在当前时刻对应的历史采集数据信息以及与所述采集器对应的采集数据预测模型，预测所述采集器在所述当前时刻之后的下一采集时刻的采集数据信息，其中，所述历史采集数据信息包括所述采集器在多个历史采集时刻的采集数据信息，所述历史采集时刻不晚于所述当前时刻；根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，所述分发策略指示了接收所述采集器在所述下一采集时刻采集的数据的目标接收端以及每个所述目标接收端接收的数据量；当接收到所述采集器在所述下一采集时刻采集的数据时，按照与所述采集器对应的所述分发策略对该数据进行分发。可选地，所述采集器为多个；所述根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，包括：根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略。可选地，所述根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略，包括：将预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据输入至分发策略预测模型，获得与每个所述采集器对应的分发策略，其中，所述分发策略预测模型表征每个所述采集器的采集数据信息、每个所述接收端的资源使用情况数据以及与每个所述采集器对应的分发策略之间的对应关系。可选地，所述根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略，包括：根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，按照使得各个所述接收端的资源使用情况处于均衡的准则，确定与每个所述采集器对应的分发策略。可选地，所述采集数据信息包括以下中至少一项：采集速率、采集规模、采集容量。可选地，所述资源使用情况数据包括以下至少一项：CPU使用率、内存使用率、数据接收速率、数据阻塞率。根据本公开的第二方面，提供一种数据的分发装置，包括：预测模块，用于根据采集器在当前时刻对应的历史采集数据信息以及与所述采集器对应的采集数据预测模型，预测所述采集器在所述当前时刻之后的下一采集时刻的采集数据信息，其中，所述历史采集数据信息包括所述采集器在多个历史采集时刻的采集数据信息，所述历史采集时刻不晚于所述当前时刻；确定模块，用于根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，所述分发策略指示了接收所述采集器在所述下一采集时刻采集的数据的目标接收端以及每个所述目标接收端接收的数据量；分发模块，用于当接收到所述采集器在所述下一采集时刻采集的数据时，按照与所述采集器对应的所述分发策略对该数据进行分发。可选地，所述采集器为多个；所述确定模块用于根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略。可选地，所述确定模块包括：第一确定子模块，用于将预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据输入至分发策略预测模型，获得与每个所述采集器对应的分发策略，其中，所述分发策略预测模型表征每个所述采集器的采集数据信息、每个所述接收端的资源使用情况数据以及与每个所述采集器对应的分发策略之间的对应关系。可选地，所述确定模块包括：第二确定子模块，用于根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，按照使得各个所述接收端的资源使用情况处于均衡的准则，确定与每个所述采集器对应的分发策略。可选地，所述采集数据信息包括以下中至少一项：采集速率、采集规模、采集容量。可选地，所述资源使用情况数据包括以下至少一项：CPU使用率、内存使用率、数据接收速率、数据阻塞率。根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一所述方法的步骤。根据本公开的第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面任一所述方法的步骤。在上述技术方案中，通过采集器的历史采集数据信息可以确定该采集器在下一采集时刻的采集数据信息，从而可以根据该下一采集时刻的采集数据信息和接收端当前的资源使用情况数据确定分发策略；并在接收到采集器在下一采集时刻采集的数据时，根据分发策略对该数据进行分发。因此，通过上述技术方案，一方面，可以对采集器在下一采集时刻的采集数据信息进行有效预估，从而结合接收端当前的资源使用情况数据确定出分发策略，即，在下一采集时刻之前提前预估出该下一采集时刻对应的分发策略，从而可以对下一采集时刻的数据分发提供数据参考，有效提高数据分发的效率，并降低数据分发的延迟率。另一方面，可以对采集器在数据采集时刻对应的采集数据信息以及对接收端的当前资源使用情况数据进行监控，使得根据上述两者确定出的分发策略与接收端的资源使用情况相匹配，提高整体资源利用率。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并本文档来自技高网...

【技术保护点】
1.一种数据的分发方法，其特征在于，包括：根据采集器在当前时刻对应的历史采集数据信息以及与所述采集器对应的采集数据预测模型，预测所述采集器在所述当前时刻之后的下一采集时刻的采集数据信息，其中，所述历史采集数据信息包括所述采集器在多个历史采集时刻的采集数据信息，所述历史采集时刻不晚于所述当前时刻；根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，所述分发策略指示了接收所述采集器在所述下一采集时刻采集的数据的目标接收端以及每个所述目标接收端接收的数据量；当接收到所述采集器在所述下一采集时刻采集的数据时，按照与所述采集器对应的所述分发策略对该数据进行分发。

【技术特征摘要】
1.一种数据的分发方法，其特征在于，包括：根据采集器在当前时刻对应的历史采集数据信息以及与所述采集器对应的采集数据预测模型，预测所述采集器在所述当前时刻之后的下一采集时刻的采集数据信息，其中，所述历史采集数据信息包括所述采集器在多个历史采集时刻的采集数据信息，所述历史采集时刻不晚于所述当前时刻；根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，所述分发策略指示了接收所述采集器在所述下一采集时刻采集的数据的目标接收端以及每个所述目标接收端接收的数据量；当接收到所述采集器在所述下一采集时刻采集的数据时，按照与所述采集器对应的所述分发策略对该数据进行分发。2.根据权利要求1所述的方法，其特征在于，所述采集器为多个；所述根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，包括：根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略。3.根据权利要求2所述的方法，其特征在于，所述根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略，包括：将预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据输入至分发策略预测模型，获得与每个所述采集器对应的分发策略，其中，所述分发策略预测模型表征每个所述采集器的采集数据信息、每个所述接收端的资源使用情况数据以及与每个所述采集器对应的分发策略之间的对应关系。4.根据权利要求2所述的方法，其特征在于，所述根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的...

【专利技术属性】
技术研发人员：李琛，张德阳，
申请(专利权)人：东软集团股份有限公司，沈阳东软系统集成技术有限公司，
类型：发明
国别省市：辽宁,21