任务处理方法、系统及数据处理系统技术方案

本发明专利技术实施例提供了一种任务处理方法、系统及数据处理系统，任务处理系统包括中央节点和多个处理节点，方法包括：中央节点获得待处理任务；所述中央节点从所述存储系统中获取与所述待处理任务对应的待处理数据；所述中央节点将所述待处理数据拆分为多个子数据；所述中央节点将所述多个子数据分配给至少一个所述处理节点进行数据处理；所述中央节点将各所述处理节点处理后的子数据进行合并。本发明专利技术通过中央节点的设置，使得处理节点可以直接从该中央节点处获取数据，同时，由于中央节点进行了数据拆分，因此各处理节点只需从中央节点处获取自己所需处理的数据即可，大大降低了网络负担。

Task processing method, system and data processing system

The embodiment of the invention provides a task processing method, system and data processing system, task processing system includes a central node and a plurality of processing nodes. The method includes: central nodes for the pending tasks; the central node acquired from the storage system and the processing tasks corresponding to the data to be processed; the central node transmits the data to be processed is split into a plurality of data; the central node of the plurality of sub data assigned to at least one of the processing nodes for data processing; the central node to each of the processing data processed by merging nodes. The present invention through the central node set, the node can obtain data directly from the central node at the same time, due to the central node of the data resolution, so each processing node only needs to get data from the central node can greatly reduce the burden on the network.

【技术实现步骤摘要】
任务处理方法、系统及数据处理系统
本专利技术涉及分布式计算
，特别是涉及任务处理方法、系统及数据处理系统。
技术介绍
随着科技的发展，分布式计算技术也得到了广泛应用。例如：在视频转码领域，常将一部视频的转码任务分配给多个处理节点进行转码。现有的分布式计算技术进行任务处理时，各处理节点都需要分别从存储系统中获取完整的待处理数据，然后从中选取部分数据进行处理，这无疑增加了网络负担。当某处理节点对数据处理失败时，就需要另一处理节点重新从存储系统中获取完整的待处理数据，同样增加了网络负担。如何解决该技术问题仍旧是本领域技术人员一个亟待解决的技术难题。
技术实现思路
本专利技术实施例的目的在于提供一种任务处理方法、系统及数据处理系统，以实现降低网络负担。具体技术方案如下：一种任务处理方法，应用于与存储系统通信连接的任务处理系统中，所述任务处理系统包括中央节点和多个处理节点，所述方法包括：所述中央节点获得待处理任务；所述中央节点从所述存储系统中获取与所述待处理任务对应的待处理数据；所述中央节点将所述待处理数据拆分为多个子数据；所述中央节点将所述多个子数据分配给至少一个所述处理节点进行数据处理；本文档来自技高网...

【技术保护点】
一种任务处理方法，其特征在于，应用于与存储系统通信连接的任务处理系统中，所述任务处理系统包括中央节点和多个处理节点，所述方法包括：所述中央节点获得待处理任务；所述中央节点从所述存储系统中获取与所述待处理任务对应的待处理数据；所述中央节点将所述待处理数据拆分为多个子数据；所述中央节点将所述多个子数据分配给至少一个所述处理节点进行数据处理；所述中央节点将各所述处理节点处理后的子数据进行合并。

【技术特征摘要】
1.一种任务处理方法，其特征在于，应用于与存储系统通信连接的任务处理系统中，所述任务处理系统包括中央节点和多个处理节点，所述方法包括：所述中央节点获得待处理任务；所述中央节点从所述存储系统中获取与所述待处理任务对应的待处理数据；所述中央节点将所述待处理数据拆分为多个子数据；所述中央节点将所述多个子数据分配给至少一个所述处理节点进行数据处理；所述中央节点将各所述处理节点处理后的子数据进行合并。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述中央节点将合并后得到的数据发送到所述存储系统。3.根据权利要求1所述的方法，其特征在于，所述中央节点将所述待处理数据拆分为多个子数据，包括：所述中央节点获得各处理节点的工作状态，根据所述工作状态确定可执行任务的处理节点数量；所述中央节点将所述待处理数据拆分为所述处理节点数量的子数据。4.根据权利要求3所述的方法，其特征在于，在所述根据所述工作状态确定可执行任务的处理节点数量后，所述中央节点将所述待处理数据拆分为多个子数据，还包括：确定各可执行任务的处理节点的处理能力；所述中央节点将所述待处理数据拆分为所述处理节点数量的子数据，包括：所述中央节点根据各可执行任务的处理节点的处理能力，将所述待处理数据拆分为所述处理节点数量的子数据，每个子数据的数据量均与一个可执行任务的处理节点的处理能力相匹配。5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述中央节点将所述多个子数据分配给至少一个所述处理节点进行数据处理后，所述方法还包括：所述中央节点获得各所述处理节点进行数据处理的处理结果；所述中央节点将所述处理结果为失败的处理节点所处理的数据分配给除所述处理结果为失败的处理节点外的其他处理节点进行数据处理。6.一种任务处理系统，其特征在于，与存储系统通信连接，所述任务处理系统包括中央节点和多个处理节点，所述中央节点包括：任务获得单元、数据获得单元、数...

【专利技术属性】
技术研发人员：李逸骏，苗辉，
申请(专利权)人：贵州白山云科技有限公司，
类型：发明
国别省市：北京,11