一种大规模有限乱序场景下的实时数据延时调度方法技术

本发明专利技术公开了一种大规模有限乱序场景下的实时数据延时调度方法，包括以下步骤：S1.根据任务的标识将任务散列到不同的分区，保障其先后顺序并为分布式处理提供条件；S2.通过时间轮定义若干个时钟周期和步长，指针每走一步，获取时钟刻度上的任务并执行；S3.对任务进行确认。本发明专利技术通过将无序的业务数据，根据一定的散列策略，分发至有序的队列，可实现有序分发；通过将任务与业务松耦合，方案中只对任务操作，业务由具体业务代码实现，可减少侵入性，提升任务处理效率；通过使用确认机制，达到任务的高可靠性；通过从有序队列当中接收数据，使用多进程方式，可达到分布式目的；通过使用时间轮技术进行任务触发，提升了任务触发效率。率。率。

【技术实现步骤摘要】
一种大规模有限乱序场景下的实时数据延时调度方法


[0001]本专利技术涉及数据延时调度
，具体涉及一种数据有限时间的乱序场景下实时顺序调度的方法。

技术介绍

[0002]大多数IT系统中，很多场景都需要在某一特定时刻去执行某个任务，随着计算机硬件的发展和网络的普及，IT系统中处理的数据量与日俱增，这些事件具有如下特性：
[0003]A、事件量越来越大：由于集中化的需求，事件量越大也就意味着管理的任务量越来越大，峰值可达到上万个任务同时触发。
[0004]B、事件可靠性越来越高：事件的高可靠性要求在业务程序重启或者出现异常时，保证任务不丢失。
[0005]C、事件是无序的：事件无序意味着对任务的操作是乱序的，业务层面上需要保证添加/删除/修改任务的有序性。
[0006]D、事件时效性要求很高：事件产生且延时之后的触发时间点需要精确到秒级。
[0007]针对这些事件的特性，任务的定时执行就需要具有持久化的能力，保证高可靠的能力，支持业务程序分布式部署的能力以及实时高效的能力。
>[0008]针对上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大规模有限乱序场景下的实时数据延时调度方法，其特征在于：包括以下步骤：S1.根据任务的标识将任务散列到不同的分区，保障其先后顺序并为分布式处理提供条件；S2.通过时间轮定义若干个时钟周期和步长，指针每走一步，获取时钟刻度上的任务并执行；S3.对任务进行确认。2.根据权利要求1所述的一种大规模有限乱序场景下的实时数据延时调度方法，其特征在于：所述步骤S1具体包括以下步骤：S11.通过任务散列器根据任务的标识，将相关任务进行分组，无关任务根据一定策略散列，保证相关任务的有序性；S12.将步骤S11处理后的任务分发到不同的分区当中，形成松耦合。3.根据权利要求2所述的一种大规模有限乱序场景下的实时数据延时调度方法，其特征在于：所述步骤S12中的一定策略根据业务逻辑需要自行实现。4.根据权利要求1所述的一种大规模有限乱序场景下的实时数据延时调度方法，其特征在于：所述步骤S2中获取的当前任务的类型为添加时，任务执行的方法为：如果当前任务的预计执行时间晚于根据步骤S3得来的已确认任务的操作时间，说明当前任务未执行过，根据任务组、任务标识和任务类型，将任务放入缓存；如果任务的执行时间早于等于已确认任务的操作时间，说明任务已执行，不操作。5.根据权利要求1所述的一种大规模有限乱序场景下的实时...

【专利技术属性】
技术研发人员：赵阔程，陈丹，冯峰，
申请(专利权)人：北京铱软科技有限公司，
类型：发明
国别省市：