数据处理的任务调度方法、装置、存储介质及系统制造方法及图纸

本发明专利技术提供一种数据处理的任务调度方法，其特征在于，包括：获取待处理的数据和所述数据对应的计算程序；将所述数据和所述计算程序调度到同一个网络节点上；基于所述计算程序处理所述数据。本发明专利技术的数据处理的任务调度方法及装置，能够减少网络传输压力；并且能够减少数据在计算步骤中间传输数据的时间成本，提高网络传输效率。网络传输效率。网络传输效率。

【技术实现步骤摘要】
数据处理的任务调度方法、装置、存储介质及系统


[0001]本专利技术涉及任务调度领域，特别是涉及一种数据处理的任务调度方法、装置、存储介质及系统。

技术介绍

[0002]在物联网的数据处理中，从传感器上采集来的大量数据需要及时地被处理，由于数据量已远超过单机处理能力的极限，所以多采用集群方式组网以提高处理能力。比如，在集群在部署有多个计算节点，每个计算节点上部署有数据处理的一个步骤，在一个节点上完成对应步骤的数据处理后，将处理结果传输至下一个节点以进行相应步骤的数据处理。
[0003]现有技术的这种处理方法由于每一次处理的数据量都较大，且需要经过多个计算节点才能完成整体的计算步骤，因此，对网络传输的压力较大。
[0004]因此，如何在数据处理的同时减少网络传输的压力是一个亟待解决的问题。

技术实现思路

[0005]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种数据处理的任务调度方法、装置、存储介质及系统，用于解决现有技术中在数据处理的同时无法减少网络传输的压力的问题。
[0006]为实现上述目的及其他相关目的，本专利技术提供一种数据处理的任务调度方法，包括以下步骤：获取待处理的数据和所述数据对应的计算程序；将所述数据和所述计算程序调度到同一个网络节点上；基于所述计算程序处理所述数据。
[0007]于本专利技术的一实施例中，所述计算程序包括数据处理的各步骤程序。
[0008]于本专利技术的一实施例中，所述计算程序以文件的方式存储。
[0009]于本专利技术的一实施例中，所述基于所述计算程序处理所述数据之后，还包括：将处理后的数据结果直接传输至非计算节点上。
[0010]对应地，本专利技术提供一种数据处理的任务调度装置，包括：获取单元，用于获取待处理的数据和所述数据对应的计算程序；调度单元，用于将所述数据和所述计算程序调度到同一个网络节点上；处理单元，用于基于所述计算程序处理所述数据。
[0011]于本专利技术的一实施例中，所述计算程序包括数据处理的各步骤程序。
[0012]于本专利技术的一实施例中，所述计算程序以文件的方式存储。
[0013]于本专利技术的一实施例中，所述处理单元，还用于：将处理后的数据结果直接传输至非计算节点上。
[0014]本专利技术提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的数据处理的任务调度方法。
[0015]本专利技术提供一种数据处理的任务调度系统，包括存储器，用于存储计算机程序；处理器，用于运行所述计算机程序以实现上述的数据处理的任务调度方法。
[0016]如上所述，本专利技术的数据处理的任务调度方法及装置，具有以下有益效果：
[0017](1)能够减少网络传输压力。
[0018](2)能够减少数据在计算步骤中间传输数据的时间成本，提高网络传输效率。
附图说明
[0019]图1显示为本专利技术的数据处理的任务调度方法于一实施例中的流程图。
[0020]图2显示为本专利技术的数据处理的任务调度方法于一实施例中的场景实例图。
[0021]图3显示为本专利技术的数据处理的任务调度装置于一实施例中的结构示意图。
[0022]图4显示为本专利技术的数据处理的任务调度装置于一实施例中的任务调度系统图。
[0023]元件标号说明
[0024]31
ꢀꢀꢀꢀꢀꢀꢀꢀ
获取模块
[0025]32
ꢀꢀꢀꢀꢀꢀꢀꢀ
调度模块
[0026]33
ꢀꢀꢀꢀꢀꢀꢀꢀ
处理模块
[0027]41
ꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
[0028]42
ꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
具体实施方式
[0029]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0030]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0031]本专利技术的数据处理的任务调度方法及装置，能够减少网络传输压力；并且能够减少数据在计算步骤中间传输数据的时间成本，提高网络传输效率。
[0032]如图1所示，于本实施例中，本专利技术的数据处理的任务调度方法包括以下步骤：
[0033]步骤S1、获取待处理的数据和所述数据对应的计算程序。
[0034]具体地，预先获取待处理的数据和数据对应的计算程序，其中，所述计算程序包括数据处理的各步骤程序；所述计算程序以文件的方式存储。
[0035]举例来说，如图2所示，于本实施例中，本专利技术的场景实例图，待处理的数据为B、C、D、E以及数据对应的计算程序B、计算程序C、计算程序D、计算程序E。
[0036]步骤S2、将所述数据和所述计算程序调度到同一个网络节点上。
[0037]举例来说，通过网络节点A，将数据B、C和数据对应的计算程序B、计算程序C调度到计算节点B上；通过网络节点A，将数据D、E和数据对应的计算程序D、E调度到计算节点D上。
[0038]步骤S3、基于所述计算程序处理所述数据。
[0039]举例来说，在计算节点B上，基于计算程序B处理数据B；基于计算程序C处理数据C；在计算节点D上，基于计算程序D处理数据D；基于计算程序E处理数据E。
[0040]进一步具体地，所述基于所述计算程序处理所述数据之后，还包括：将处理后的数据结果直接传输至非计算节点上。
[0041]举例来说，当在计算节点上执行计算程序处理好数据后，原网络上后续的计算节点可不用再进行计算处理，可将处理好后的数据直接传输至非计算节点上。
[0042]由上述步骤S1至S3的处理，通过获取待处理的数据和所述数据对应的计算程序；将所述数据和所述计算程序调度到同一个网络节点上；基于所述计算程序处理所述数据，从而能够减少网络传输压力；并且能够减少数据在计算步骤中间传输数据的时间成本，提高网络传输效率。
[0043]如图3所示，于本实施例中，本专利技术的数据处理的任务调度装置包括：
[0044]获取单元31，用于获取待处理的数据和所述数据对应的计算程序；
[0045]调度单元32，用于将所述数据和所述计算程序调度到同一个网络节点上；
[0046]处理单元33，用于基于所述计算程序处理所述数据。
[0047]其中，所述计算程序包括数据处理的各步骤程序；所述计算程序以文件的方式存储。
[0048]本实施例的数据处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的任务调度方法，其特征在于，所述任务调度方法包括以下步骤：获取待处理的数据和所述数据对应的计算程序；将所述数据和所述计算程序调度到同一个网络节点上；基于所述计算程序处理所述数据。2.根据权利要求1所述的方法，其特征在于，所述计算程序包括数据处理的各步骤程序。3.根据权利要求1所述的方法，其特征在于，所述计算程序以文件的方式存储。4.根据权利要求1所述的方法，其特征在于，所述基于所述计算程序处理所述数据之后，还包括：将处理后的数据结果直接传输至非计算节点上。5.一种数据处理的任务调度装置，其特征在于，包括：获取单元，用于获取待处理的数据和所述数据对应的计算程序；调度单元，用于将所述数据和所述计算程序调度到同一个网络节...

【专利技术属性】
技术研发人员：宁岩，赵大鹏，
申请(专利权)人：上海宽带技术及应用工程研究中心，
类型：发明
国别省市：