一种数据任务处理方法及系统技术方案

本发明专利技术提供了一种数据任务处理方法及系统，该方法包括：解析待处理的数据任务的执行逻辑，将待处理的数据任务分解为若干个子任务；将所述若干个子任务进行归类，第一类子任务为并行处理的各子任务，第二类子任务为具有前置条件的各子任务，所述前置条件为根据所述执行逻辑中相关联的各子任务其中之一成功完成；将所述第一类子任务中各任务通过各分布式并行处理器进行并行处理；以及，当所述第二类子任务的前置条件满足时，执行所述第二类子任务。本发明专利技术对于不同数字内容的需求可以在一次处理过程中同时满足，并将其应用在分布处理的基础上，从而提高了数据加工内容处理的效率，增强了处理过程的稳定性。

【技术实现步骤摘要】
【专利摘要】本专利技术提供了一种数据任务处理方法及系统，该方法包括：解析待处理的数据任务的执行逻辑，将待处理的数据任务分解为若干个子任务；将所述若干个子任务进行归类，第一类子任务为并行处理的各子任务，第二类子任务为具有前置条件的各子任务，所述前置条件为根据所述执行逻辑中相关联的各子任务其中之一成功完成；将所述第一类子任务中各任务通过各分布式并行处理器进行并行处理；以及，当所述第二类子任务的前置条件满足时，执行所述第二类子任务。本专利技术对于不同数字内容的需求可以在一次处理过程中同时满足，并将其应用在分布处理的基础上，从而提高了数据加工内容处理的效率，增强了处理过程的稳定性。【专利说明】一种数据任务处理方法及系统
本专利技术属于信息处理
，具体涉及一种数据任务处理方法及系统。
技术介绍
由于数据加工内容处理的多样性，例如一份报刊，需要同时在触摸屏、平板电脑、移动终端等进行阅读，而且针对报纸等实时性比较强的数字内容，更要求数字报刊的处理具有快速、高效、稳定的特点。传统的数据加工内容处理系统，通常是将各个不同的内容需求进行逐一处理，即不能实现对处理内容按照需要同时进行处理，导致整个处理过程的成本投入高，并且处理效率低，很难满足不同用户对内容的多样性需求。
技术实现思路
针对现有技术中存在的缺陷，本专利技术提供一种数据任务处理方法及系统，以分布式处理器为基础，将可并行化的任务分布处理，从而提高了内容处理效率，同时也保证了处理系统的稳定性。 为达到以上目的，本专利技术实施例提供一种数据任务处理方法，该方法包括: 解析待处理的数据任务的执行逻辑，将待处理的数据任务分解为若干个子任务； 将所述若干个子任务进行归类，第一类子任务为并行处理的各子任务，第二类子任务为具有前置条件的各子任务，所述前置条件为根据所述执行逻辑中相关联的各子任务其中之一成功完成； 将所述第一类子任务中各任务通过各分布式并行处理器进行并行处理；以及， 当所述第二类子任务的前置条件满足时，执行所述第二类子任务。 本专利技术实施例还提供一种数据任务处理系统，包括: 解析处理器，用于解析待处理数据任务的执行逻辑，并将待处理的数据任务分解为若干个子任务； 分类处理器，用于将所述若干个子任务进行归类，其中，第一类子任务为并行处理的各子任务，第二类子任务为具有前置条件的各子任务，所述前置条件为根据所述执行逻辑中相关联的各子任务其中之一成功完成； 分布式并行处理器，用于对第一类子任务中的各任务进行并行处理； 综合处理器，用于当所述第二类子任务的前置条件满足时，执行所述第二类子任务。 本专利技术与现有技术相比具有以下优点: 本专利技术对于数据加工内容处理的多样性需求，提供了一种快速、高效、稳定的任务处理方法，将人们从繁杂的内容处理中解放出来，并以分布式处理为基础，将可并行化的任务分布处理，提高了内容处理的效率，同时也保证了处理系统的稳定性，还可以根据内容处理数据量的多少，动态调整参与内容处理的机器数量，使得整个数据加工内容处理过程高效、稳定，并具有可伸缩性，减少人工干预，节省数据加工成本。 【专利附图】【附图说明】 图1为本专利技术实施例一方法的流程示意图； 图2为本专利技术实施例二方法的流程示意图； 图3为本专利技术实施例一系统的结构示意图； 图4为本专利技术实施例系统中解析处理器的结构示意图； 图5为本专利技术实施例系统中分布式并行处理器的结构示意图； 图6为本专利技术实施例系统中综合处理器的结构示意图； 图7为本专利技术实施例三处理方法的流程示意图； 图8为本专利技术实施例四处理方法中各子任务的分类图； 图9为本专利技术实施例五处理方法中各子任务的分类图。 【具体实施方式】 本专利技术提供一种数据任务处理方法及系统，以分布式处理器为基础，将可并行化的任务分布处理，从而提高了内容处理效率，同时也保证了处理系统的稳定性。 本专利技术提供一种数据任务处理方法，该方法包括: 解析待处理的数据任务的执行逻辑，将待处理的数据任务分解为若干个子任务； 将所述若干个子任务进行归类，第一类子任务为并行处理的各子任务，第二类子任务为具有前置条件的各子任务，所述前置条件为根据所述执行逻辑中相关联的各子任务其中之一成功完成； 将所述第一类子任务中各任务通过各分布式并行处理器进行并行处理；以及， 当所述第二类子任务的前置条件满足时，执行所述第二类子任务。 进一步，所述各分布式并行处理器在对所述第一类子任务成功处理后，还包括:向处理第二类子任务的综合处理器发送成功标识； 所述当第二类子任务的前置条件满足时，执行所述第二类子任务，具体为: 所述综合处理器接收到的所述成功标识数量满足设置条件后，执行所述第二子任务。 进一步，当所述第二类子任务不止一个时，通过各分布式并行处理器并行处理各第二类子任务。 较佳的，所述第一类子任务为第一级子任务，所述第二类子任务为第二级子任务; 将所述第一级子任务中的各任务通过各分布式并行处理器进行并行处理；以及， 当与所述第二级子任务相关联的第一级子任务其中之一成功执行后，执行所述第二级子任务。 较佳的，所述第二级子任务至少包含两个子任务，所述两个子任务通过各分布式并行处理器并行处理。 本专利技术提供一种数据任务处理系统，包括: 解析处理器，用于解析待处理数据任务的执行逻辑，并将待处理的数据任务分解为若干个子任务； 分类处理器，用于将所述若干个子任务进行归类，其中，第一类子任务为并行处理的各子任务，第二类子任务为具有前置条件的各子任务，所述前置条件为根据所述执行逻辑中相关联的各子任务其中之一成功完成； 分布式并行处理器，用于对第一类子任务中的各任务进行并行处理； 综合处理器，用于当所述第二类子任务的前置条件满足时，执行所述第二类子任务。 进一步，所述解析处理器，具体包括: 解析单元，用于将数据任务分为子任务及顶级任务； 存储单元，用于存储所述解析待处理的数据任务得到的执行逻辑。 分解单元，用于将待处理的数据任务分解为若干个子任务。 进一步，所述分布式并行处理器，具体包括: 第一处理单元，用于将所述第一类子任务中各任务进行并行处理； 发送单元，用于根据处理结果向所述综合处理器发送成功标识； 所述综合处理器具体包括: 接收单元，用于接收所述成功标识，并存储； 判断单元，用于判断接收到的所述成功标识的数量是否满足设置条件； 检测单元，用于定期查看接收到的所述成功标识的数量，并将数据结果发送给所述判断单元； 第二处理单元，用于当判断所述成功标识数量满足设置条件后，执行所述第二子任务。 较佳的，所述分布式并行处理器，具体还用于:当所述第二类子任务不止一个时，各第二类子任务进行并行处理。 该系统中，所述第一类子任务为第一级子任务，所述第二类子任务为第二级子任务；所述分布式并行处理器，还用于对所述第一级子任务中的各任务进行并行处理； 所述综合处理器，还用于当与所述第二级子任务相关联的第一级子任务其中之一成功执行后，执行所述第二级子任务。 下面结合各个附图对本专利技术实施例技术方案的主要实现原理、【具体实施方式】及其对应能够达到的有益效果进行详细地阐述。 如图1所示，为本专利技术方法实施本文档来自技高网...

【技术保护点】
一种数据任务处理方法，其特征在于，该方法包括：解析待处理的数据任务的执行逻辑，将待处理的数据任务分解为若干个子任务；将所述若干个子任务进行归类，第一类子任务为并行处理的各子任务，第二类子任务为具有前置条件的各子任务，所述前置条件为根据所述执行逻辑中相关联的各子任务其中之一成功完成；将所述第一类子任务中各任务通过各分布式并行处理器进行并行处理；以及，当所述第二类子任务的前置条件满足时，执行所述第二类子任务。

【技术特征摘要】

【专利技术属性】
技术研发人员：董宁，耿蕾蕾，徐剑波，
申请(专利权)人：北大方正集团有限公司，北京方正阿帕比技术有限公司，
类型：发明
国别省市：北京;11