定时任务分页处理方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及计算机技术领域，公开了一种定时任务分页处理方法、装置、计算机设备及存储介质。该方法包括：通过将分布式定时任务配置在分布式任务平台上；当分布式定时任务的调度时间达到预设的配置执行时间时，分布式任务平台触发调用事件，以调用服务器中的业务逻辑；获取分布式定时任务中待处理的所有数据，通过预设的每页数据量对待处理的所有数据进行分页；通过分页处理器对分页后的数据执行对应的业务逻辑。本申请实现了分布式定时任务的分页处理，可简化由于分页处理对定时任务带来流程上的复杂性，同时拆分了定时任务和业务逻辑之间的耦合性，使每个定时任务的业务逻辑变得更加清晰，减少由于人员疏忽带来的问题。减少由于人员疏忽带来的问题。减少由于人员疏忽带来的问题。

【技术实现步骤摘要】
定时任务分页处理方法、装置、计算机设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种定时任务分页处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]目前在如金融科技等领域的业内分布式系统架构，很多场景业务数据都需要业务系统执行定时任务，为了保证定时任务的准确性，需要保证分布式系统内各系统定时任务运行逻辑的准确性，又要保证分布式系统内各系统调度的有序性，还要保证处理每条数据业务逻辑的准确性，尤其是在数据量较多、需要分批次处理数据的时候，会增加开发工作量、开发难度和任务维护的成本。
[0003]企业为了使各业务系统之间的数据高效准确的完成定时任务，通常会使用两种方式，一种是直接设置任务调度服务任务部署在单节点或者使用redis进行加锁操作，使任务只在某一节点执行，这种方式存在的缺点是将所有任务放在单个节点服务器上，会造成这个节点服务器任务压力过大，如果该节点出现问题则会影响到整个系统业务。
[0004]另外一种方式是使用分布式定时任务框架原有的定时任务平台，将所有的定时任务都维护在定时任务平台上，这种方式可以保证节点的高可用性，如果一个节点失效了，可以使用其他节点，支持弹性扩容、水平扩展、失效转移、容错处理等。但缺点在于对于数据量大的任务，每次都需要重复处理业务查询数据，分页和执行调度逻辑编写。

技术实现思路

[0005]有鉴于此，本专利技术的目的是为了克服现有技术中的不足，提供一种能够应用于如金融科技领域或其他
的定时任务分页处理方法、装置、计算机设备及存储介质。
[0006]本专利技术提供如下技术方案：
[0007]第一方面，本公开实施例中提供了一种定时任务分页处理方法，所述方法包括：
[0008]将分布式定时任务配置在分布式任务平台上；
[0009]当所述分布式定时任务的调度时间达到预设的配置执行时间时，所述分布式任务平台触发调用事件，以调用服务器中的业务逻辑；
[0010]获取所述分布式定时任务中待处理的所有数据，通过预设的每页数据量对待处理的所有数据进行分页；
[0011]通过分页处理器对分页后的数据执行对应的业务逻辑。
[0012]进一步地，所述调用服务器中的业务逻辑之后，还包括：
[0013]当所述服务器超时链接时，通过调度所述分布式任务平台对所述服务器进行容错处理，其中，所述容错处理包括剥作业隔离和资源隔离。
[0014]进一步地，所述获取所述分布式定时任务中待处理的所有数据，通过预设的每页数据量对待处理的所有数据进行分页，包括：
[0015]通过数据库查询和接口调用，获取所述分布式定时任务中待处理的所有数据；
[0016]获取预设的每页数据量和每页数据对应的业务逻辑，并通过所述每页数据量对所述待处理的所有数据进行分页。
[0017]进一步地，所述通过分页处理器对分页后的数据执行对应的业务逻辑，包括：
[0018]通过分页处理器并行执行每页数据对应的业务逻辑，获得处理后的每页数据；
[0019]将所述处理后的每页数据进行拼接，得到处理后的分布式定时任务。
[0020]进一步地，所述通过分页处理器对分页后的数据执行对应的业务逻辑之后，还包括：
[0021]记录数据处理成功数和数据处理失败数，以监视所述处理后的分布式定时任务的执行情况。
[0022]进一步地，所述监视所述处理后的分布式定时任务的执行情况之后，还包括：
[0023]将所述执行情况发送至开发人员所用终端，以使所述开发人员根据所述执行情况对执行失败的分布式定时任务进行人工处理与维护。
[0024]进一步地，所述分布式定时任务的调度时间采用cron表达式。
[0025]第二方面，本公开实施例中提供了一种定时任务分页处理装置，所述装置包括：
[0026]配置模块，用于将分布式定时任务配置在分布式任务平台上；
[0027]调用模块，用于当所述分布式定时任务的调度时间达到预设的配置执行时间时，所述分布式任务平台触发调用事件，以调用服务器中的业务逻辑；
[0028]分页模块，用于获取所述分布式定时任务中待处理的所有数据，通过预设的每页数据量对待处理的所有数据进行分页；
[0029]执行模块，用于通过分页处理器对分页后的数据执行对应的业务逻辑。
[0030]第三方面，本公开实施例中提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面中所述定时任务分页处理方法的步骤。
[0031]第四方面，本公开实施例中提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中所述定时任务分页处理方法的步骤。
[0032]本申请的实施例具有如下优点：
[0033]本申请实施例提供的定时任务分页处理方法，通过将分布式定时任务配置在分布式任务平台上；当所述分布式定时任务的调度时间达到预设的配置执行时间时，所述分布式任务平台触发调用事件，以调用服务器中的业务逻辑；获取所述分布式定时任务中待处理的所有数据，通过预设的每页数据量对待处理的所有数据进行分页；通过分页处理器对分页后的数据执行对应的业务逻辑。本申请实现了分布式定时任务的分页处理，可简化由于分页处理对定时任务带来流程上的复杂性，同时拆分了定时任务和业务逻辑之间的耦合性，使每个定时任务的业务逻辑变得更加清晰，减少由于人员疏忽带来的问题，也可以使后续对于该定时任务的维护修改变得更加容易。
[0034]为使本专利技术的上述目的、特征和优点能更明显和易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。
附图说明
[0035]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0036]图1示出了本申请实施例提供的一种定时任务分页处理方法的流程图；
[0037]图2示出了本申请实施例提供的另一种定时任务分页处理方法的流程图；
[0038]图3示出了本申请实施例提供的再一种定时任务分页处理方法的流程图；
[0039]图4示出了本申请实施例提供的一种定时任务分页处理装置的结构示意图；
[0040]图5示出了本申请实施例提供的计算机设备的硬件架构示意图。
具体实施方式
[0041]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0042]需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种定时任务分页处理方法，其特征在于，所述方法包括：将分布式定时任务配置在分布式任务平台上；当所述分布式定时任务的调度时间达到预设的配置执行时间时，所述分布式任务平台触发调用事件，以调用服务器中的业务逻辑；获取所述分布式定时任务中待处理的所有数据，通过预设的每页数据量对待处理的所有数据进行分页；通过分页处理器对分页后的数据执行对应的业务逻辑。2.根据权利要求1所述的定时任务分页处理方法，其特征在于，所述调用服务器中的业务逻辑之后，还包括：当所述服务器超时链接时，通过调度所述分布式任务平台对所述服务器进行容错处理，其中，所述容错处理包括剥作业隔离和资源隔离。3.根据权利要求1所述的定时任务分页处理方法，其特征在于，所述获取所述分布式定时任务中待处理的所有数据，通过预设的每页数据量对待处理的所有数据进行分页，包括：通过数据库查询和接口调用，获取所述分布式定时任务中待处理的所有数据；获取预设的每页数据量和每页数据对应的业务逻辑，并通过所述每页数据量对所述待处理的所有数据进行分页。4.根据权利要求1所述的定时任务分页处理方法，其特征在于，所述通过分页处理器对分页后的数据执行对应的业务逻辑，包括：通过分页处理器并行执行每页数据对应的业务逻辑，获得处理后的每页数据；将所述处理后的每页数据进行拼接，得到处理后的分布式定时任务。5.根据权利要求4所述的定时任务分页处理方法，其特征在于，所述通过分页处理器对分页后的数据执行对应的业务逻辑之后，...

【专利技术属性】
技术研发人员：刘荣耀，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：