任务处理方法、节点及内容分发网络技术

本发明专利技术实施例提供了一种任务处理方法、节点及内容分发网络，第一类型子节点获得任务调度节点分配给该第一类型子节点所在的任务处理节点的待处理任务；从存储节点中获取与待处理任务对应的待处理数据；将待处理数据拆分为多个子数据；将多个子数据分配给该第一类型子节点所在的任务处理节点内的至少一个第二类型子节点进行数据处理；将该第一类型子节点所在的任务处理节点内的各第二类型子节点处理后的子数据进行合并。本发明专利技术通过第一类型子节点的设置，使得第二类型子节点可以直接从该第一类型子节点处获取数据，由于第一类型子节点进行了数据拆分，因此各第二类型子节点只需从第一类型子节点处获取自己所需处理的数据即可，降低了网络负担。

Task processing method, node and content distribution network

The embodiment of the invention provides a task processing method, node and content distribution network, the first type of node allocated task scheduling node to the first node type where the task processing nodes to be processed; from the storage node to access and processing tasks of the data to be processed; the resolution of data to be processed into a plurality of data; a plurality of data will be assigned to the first type of node where the task processing at least one of the second types of nodes in the data processing; the data of the first sub sub node types where each of the second types of sub task nodes in node processing after the merger. The first type of node set, the second types of sub nodes can access data directly from the first type of sub node, the first sub node types of data resolution, so the second types of sub node only has obtained from the processing data from the first type of sub nodes, reduce the network the burden.

【技术实现步骤摘要】
任务处理方法、节点及内容分发网络
本专利技术涉及分布式计算
，特别是涉及任务处理方法、节点及内容分发网络。
技术介绍
随着科技的发展，分布式计算技术也得到了广泛应用。例如：在视频转码领域，常将一部视频的转码任务分配给多个处理节点进行转码。现有的分布式计算技术进行任务处理时，各处理节点都需要分别从存储系统中获取完整的待处理数据，然后从中选取部分数据进行处理，这无疑增加了网络负担。当某处理节点对数据处理失败时，就需要另一处理节点重新从存储系统中获取完整的待处理数据，同样增加了网络负担。如何解决该技术问题仍旧是本领域技术人员一个亟待解决的技术难题。
技术实现思路
本专利技术实施例的目的在于提供一种任务处理方法、节点及内容分发网络，以实现降低网络负担。具体技术方案如下：一种任务处理方法，应用于内容分发网络中，所述内容分发网络包括：存储节点、任务调度节点及多个任务处理节点，每个所述任务处理节点均包括：第一类型子节点及多个第二类型子节点，其中，各所述第二类型子节点对应的设备均不同，所述方法包括：所述第一类型子节点获得所述任务调度节点分配给该第一类型子节点所在的任务处理节点的待处理任务；该第一类本文档来自技高网...

【技术保护点】
一种任务处理方法，其特征在于，应用于内容分发网络中，所述内容分发网络包括：存储节点、任务调度节点及多个任务处理节点，每个所述任务处理节点均包括：第一类型子节点及多个第二类型子节点，其中，各所述第二类型子节点对应的设备均不同，所述方法包括：所述第一类型子节点获得所述任务调度节点分配给该第一类型子节点所在的任务处理节点的待处理任务；该第一类型子节点从所述存储节点中获取与所述待处理任务对应的待处理数据；该第一类型子节点将所述待处理数据拆分为多个子数据；该第一类型子节点将所述多个子数据分配给该第一类型子节点所在的任务处理节点内的至少一个所述第二类型子节点进行数据处理；该第一类型子节点将该第一类型子节点...

【技术特征摘要】
1.一种任务处理方法，其特征在于，应用于内容分发网络中，所述内容分发网络包括：存储节点、任务调度节点及多个任务处理节点，每个所述任务处理节点均包括：第一类型子节点及多个第二类型子节点，其中，各所述第二类型子节点对应的设备均不同，所述方法包括：所述第一类型子节点获得所述任务调度节点分配给该第一类型子节点所在的任务处理节点的待处理任务；该第一类型子节点从所述存储节点中获取与所述待处理任务对应的待处理数据；该第一类型子节点将所述待处理数据拆分为多个子数据；该第一类型子节点将所述多个子数据分配给该第一类型子节点所在的任务处理节点内的至少一个所述第二类型子节点进行数据处理；该第一类型子节点将该第一类型子节点所在的任务处理节点内的各所述第二类型子节点处理后的子数据进行合并。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：该第一类型子节点将合并后得到的数据发送到所述存储节点。3.根据权利要求1所述的方法，其特征在于，在所述第一类型子节点获得所述任务调度节点分配给该第一类型子节点所在的任务处理节点的待处理任务之前，所述方法还包括：所述任务调度节点获得各任务处理节点的工作状态信息及各任务处理节点到所述存储节点的距离信息；所述任务调度节点根据所述工作状态信息和所述距离信息确定执行待处理任务的任务处理节点，将所述待处理任务分配给所确定的任务处理节点。4.根据权利要求1所述的方法，其特征在于，每个所述任务处理节点内的各子节点之间的距离小于第一预设距离。5.根据权利要求1至4中任一项所述的方法，其特征在于，在该第一类型子节点将所述多个子数据分配给该第一类型子节点所在的任务处理节点内的至少一个所述第二类型子节点进行数据处理后，所述方法还包括：该第一类型子节点获得该第一类型子节点所在的任务处理节点内的各所述第二类型子节点进行数据处理的处理结果；该第一类型子节点将所述处理结果为失败的第二类型子节点所处理的数据分配给该第一类型子节点所在的任务处理节点内除所述处理结果为失败的第二类型子节点外的其他第二类型子节点进行数据处理。6.一种任务处理节点，其特征在于，位于内容分发网络中，所述内容分发网络包括：存储节点、任务调度节点...

【专利技术属性】
技术研发人员：李逸骏，苗辉，
申请(专利权)人：贵州白山云科技有限公司，
类型：发明
国别省市：北京,11