任务处理方法、装置及分布式计算机系统制造方法及图纸

本说明书公开了一种任务处理方法、节点及分布式计算机系统，该方法包括：利用事件处理线程池中的线程并行对监听到的批量即时任务进行过滤处理，并将过滤处理得到的有效即时任务添加至事件队列；利用业务处理线程池中的线程并行处理事件队列中的有效即时任务。

Task Processing Method, Device and Distributed Computer System

This specification discloses a task processing method, node and distributed computer system. The method includes: using threads in event processing thread pool to filter batches of real-time tasks that are monitored in parallel, and adding effective real-time tasks that are filtered to event queue; using threads in business processing thread pool to process events queue in parallel, that is to say, using threads in business processing thread pool to process events queue effectively. Time task.

【技术实现步骤摘要】
任务处理方法、装置及分布式计算机系统
本说明书涉及计算机领域，尤其涉及一种任务处理方法、装置及分布式计算机系统。
技术介绍
在各种业务场景中均需要进行业务处理，处理用户侧发起的任务请求。所针对的业务场景不同，任务请求的数据也不相同。在某些业务场景：在同一时刻需要处理用户侧大规模发起的任务请求；在某些业务场景，虽然用户只发起一次请求，但是产生的是需要批量操作的任务请求；在某些业场景，需要定时触发进行业务处理，如每天的0点或未来的某个时刻需要处理一些业务逻辑。
技术实现思路
本说明书实施例提供一种任务处理方法、装置及分布式计算机系统。第一方面，本说明书实施例提供一种任务处理方法，包括：监听批量即时任务，并将监听到的批量即时任务添加至事件处理线程池；利用所述事件处理线程池中的线程并行对监听到的批量即时任务进行过滤处理，并将过滤处理得到的有效即时任务添加至事件队列；利用业务处理线程池中的线程并行处理所述事件队列中的有效即时任务。第二方面，本说明书实施例提供一种任务处理装置，包括任务处理器，所述任务处理器包括：任务监听器，用于监听批量即时任务，并将监听到的批量即时任务添加至事件处理线程池；核心处理本文档来自技高网...

【技术保护点】
1.一种任务处理方法，包括：监听批量即时任务，并将监听到的批量即时任务添加至事件处理线程池；利用所述事件处理线程池中的线程并行对监听到的批量即时任务进行过滤处理，并将过滤处理得到的有效即时任务添加至事件队列；利用业务处理线程池中的线程并行处理所述事件队列中的有效即时任务。

【技术特征摘要】
1.一种任务处理方法，包括：监听批量即时任务，并将监听到的批量即时任务添加至事件处理线程池；利用所述事件处理线程池中的线程并行对监听到的批量即时任务进行过滤处理，并将过滤处理得到的有效即时任务添加至事件队列；利用业务处理线程池中的线程并行处理所述事件队列中的有效即时任务。2.如权利要求1所述的任务处理方法，所述批量即时任务来自多个业务场景或者同一业务场景。3.如权利要求1所述的任务处理方法，所述监听批量即时任务，包括：接收外部节点传来的第一业务处理请求，基于所述第一业务处理请求产生所述批量即时任务；监听基于所述第一业务处理请求产生的所述批量即时任务。4.如权利要求1所述的任务处理方法，在所述监听批量即时任务之前，还包括：接收M个外部节点传来的M个第二业务处理请求，M为大于1的整数；将所述M个第二业务处理请求分别转换为对应的定时触发任务；利用定时消息中间件在到达所述定时触发任务的触发时间时发出所述定时触发任务，以使任务监听器监听到所述批量即时任务。5.如权利要求4所述的任务处理方法，所述将所述M个第二业务处理请求分别转换为对应的定时触发任务，包括：通过如下步骤将所述第二业务处理请求转换定时触发任务：检测所述第二业务处理请求的任务类型；根据与所述第二业务处理请求的任务类型对应的转换方式，将所述第二业务处理请求转换为定时触发任务。6.如权利要求5所述的任务处理方法，所述根据与所述第二业务处理请求的任务类型对应的转换方式，将所述第二业务处理请求转换为定时触发任务，包括：所述第二业务处理请求的任务类型为长事件任务，将所述长事件任务转换为多个新短事件任务；将所述新短事件任务持久化至第一事件数据库；从所述第一事件数据库中获取任务执行时间点与当前时间点匹配的新短事件任务，并转换为定时触发任务。7.如权利要求2所述的任务处理方法，所述方法还包括：检测是否接入新的业务场景；根据所述新的业务场景，重新配置所述事件处理线程池的线程数和所述业务处理线程池的线程数和所述事件队列的队列大小。8.如权利要求7所述的任务处理方法，在所述接入新的业务场景之后，还包括：配置针对所述新的业务场景的任务过滤规则、业务处理逻辑、任务监控方式以及业务校验方式中的一种以上。9.如权利要求7所述的任务处理方法，所述利用业务处理线程池中的线程并行处理所述事件队列中的有效即时任务，包括：确定所述有效即时任务对应的目标业务场景；获取所述目标业务场景的业务处理逻辑；利用所述业务处理线程池中的线程，基于所述目标业务场景的业务处理逻辑处理所述有效即时任务。10.如权利要求7所述的任务处理方法，所述利用所述事件处理线程池中的线程并行对监听到的批量即时任务进行过滤处理，包括：确定所述批量即时任务中当前待过滤任务所对应的业务场景；根据与所述当前待过滤任务所对应的业务场景适配的任务过滤规则，判断所述当前待过滤任务是否为有效即时任务。11.如权利要求1所述的任务处理方法，还包括：如果将过滤处理获得的有效即时任务添加至事件队列时所述事件队列溢出，将所述有效即时任务持久化至第二事件数据库，以在所述第二事件数据库中保存为待处理任务；在所述事件队列中存在剩余空间时，从所述第二事件数据库中获取所述待处理任务并添加至所述事件队列。12.一种任务处理装置，包括任务处理器，所述任务处理器包括：任务监听器，用于监听批量即时任务，并将监听到的批量即时任务添加至事件处理线程池；核心处理模块，用于利用所述事件处理线程池中的线程并行对监听到的批量即时任务进行过滤处理...

【专利技术属性】
技术研发人员：魏保子，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY