一种任务状态管理方法及装置制造方法及图纸

本发明专利技术提供的一种任务状态管理方法及装置，该方法首先获取待处理任务，并将所述待处理任务按照预设规则进行分段处理，得到多个子任务，然后为每个所述子任务各分配一个特征标识并记录个各所述特征标识的顺序关系，之后依次执行所述子任务，当某一所述子任务执行失败时，重新执行当前子任务，直至全部所述子任务执行完成后，根据所述特征标识将所述子任务组合成目标任务。可见，本方案中，将任务拆分成子任务并独立执行，当其中一个任务失败时，只需重新执行该任务，无需重新执行所有子任务，减少了数据处理的数量，减少恢复预聚合任务的时间，降低系统的资源占用。

【技术实现步骤摘要】
一种任务状态管理方法及装置
本专利技术涉及数据处理
，尤其涉及一种任务状态管理方法及装置。
技术介绍
随着科技的不断发展，数据量越来越大，大数据的快速处理成为本领域的发展趋势。目前，Kylin作为比较主流的OLAP查询分析系统，在进行数据查询之前，会通过预聚合的方式对用户的原始数据按照用户需求进行聚合处理，以减少查询数据的数量，加快数据查询速度。而，预聚合过程的状态管理是预聚合的关键步骤，具体的，数据查询系统首先创建一个全局调度器对象，然后执行该对象中的原始(init)方法来实现对待处理数据的查询。其中，该原始方法会启动两个线程池，每个线程池持有一个线程，该线程进行周期性的检查任务队列中是否存在有可执行的任务，如果有，则将该任务添加到正在执行的任务队列中，并创建一个目标任务执行对象以便线程池进行调度执行。当线程池执行该目标任务执行对象时，调用run函数，执行该目标任务执行对象中包含的任务。然而，专利技术人发现，通常预聚合的数据量很大，使得执行一次预聚合的时间较长(几个小时或者几天)，而，当任务执行失败后，会重新执行该任务，使得预聚合时间更长。因此如何提高预聚合在发生任务失败时，本文档来自技高网...

【技术保护点】
1.一种任务状态管理方法，其特征在于，包括：获取待处理任务；将所述待处理任务按照预设规则进行分段处理，得到多个子任务；为每个所述子任务各分配一个特征标识并记录个各所述特征标识的顺序关系；依次执行所述子任务，当某一所述子任务执行失败时，重新执行当前子任务，直至全部所述子任务执行完成后，根据所述特征标识将所述子任务组合成目标任务。

【技术特征摘要】
1.一种任务状态管理方法，其特征在于，包括：获取待处理任务；将所述待处理任务按照预设规则进行分段处理，得到多个子任务；为每个所述子任务各分配一个特征标识并记录个各所述特征标识的顺序关系；依次执行所述子任务，当某一所述子任务执行失败时，重新执行当前子任务，直至全部所述子任务执行完成后，根据所述特征标识将所述子任务组合成目标任务。2.根据权利要求1所述的任务状态管理方法，其特征在于，所述依次执行所述子任务，包括：确定所述子任务的类型；为每个所述类型设置一个消费线程；将所述子任务按照所述类型分配至对应的所述消费线程；所述消费线程执行所述子任务，且不同的消费线程相互独立。3.根据权利要求1所述的任务状态管理方法，其特征在于，所述依次执行所述子任务之后，所述状态管理方法还包括：获取表征所述子任务执行状态的状态标识；判断所述状态标识是否为预设的完成标识，若是，则确定所述子任务执行完成；若否，则重新执行所述子任务，直至所述状态标识为所述预设的完成标识。4.根据权利要求1所述的任务状态管理方法，其特征在于，所述根据所述特征标识将所述子任务组合成目标任务，包括：获取所述特征标识的顺序位；按照所述顺序位，对所述子任务进行组合。5.一种任务状态管理装置，其特征在于，包括：获取模块，用于获取待处理任务；拆分模块，用于将所述待处理任务按照预设规则进行分段处理，得到多个子任务；标记模块，用于为每个所述子任务各分配一个特...

【专利技术属性】
技术研发人员：梁利亮，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11