一种基于容器云的分布式调度方法技术

本发明专利技术提供的一种基于容器云的分布式调度方法，所述调度方法包括：分布式批量处理节点，用于处理定时的批量的作业；跨平台的批量作业调度软件，用于定时触发批量调度任务；数据存储单元，用于保存分布式批量处理节点的数据和维护分布式批量处理各个节点状态；容器云环境，用于部署分布式批量处理节点并支持分布式批量处理节点之间通信机制。式批量处理节点之间通信机制。式批量处理节点之间通信机制。

【技术实现步骤摘要】
一种基于容器云的分布式调度方法


[0001]本专利技术涉及银行核心领域，尤其涉及一种基于容器云的分布式调度方法。

技术介绍

[0002]现有技术中，如通过跨平台的批量作业调度软件触发任务，系统无法多节点同时处理一个任务，只能有一个节点在运行。导致资源浪费，处理任务的性能和时效无法满足要求。
[0003]现实场景需要，系统中多节点同时处理一个任务并且各个节点之间需要互相通信，维护处理状态。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术以便提供克服上述问题或者至少部分地解决上述问题的一种基于容器云的分布式调度方法。
[0005]根据本专利技术的一个方面，提供了一种基于容器云的分布式调度方法，所述实现方法包括：
[0006]分布式批量处理节点，用于处理定时的批量的作业；
[0007]跨平台的批量作业调度软件，用于定时触发批量调度任务；
[0008]数据存储单元，用于保存分布式批量处理系统的数据和维护分布式批量处理系统各个节点状态；
[0009]容器云环境，用于部署分布式批量处理节点并支持分布式批量处理各节点之间通信机制；
[0010]可选的，所述分布式批量处理节点整体是基于SpringCloud框架开发。
[0011]可选的，所述分布式批量处理节点，接收跨平台的批量作业调度软件发送的Http请求，接收到请求之后，启动节点的批量任务。
[0012]可选的，所述分布式批量处理节点，通过数据库来维护系统中各个节点的批量处理状态，状态包括未开始，执行中和已完成。
[0013]可选的，所述分布式批量处理节点，可通过Feign调用通知分布式节点中其他节点，每个节点接收到通知后，根据自己的状态判断是否执行批量任务。
[0014]可选的，所述分布式批量处理即诶安，部署在容器云上，用StatefulSet形式部署分布式批量处理的节点，可以满足节点之间相互通知的需求。
[0015]可选的，所述跨平台的批量作业调度软件，可以管理和控制作业流程，提供作业状态信息，通过Http请求触发批量调度任务。
[0016]可选的，所述数据存储单元，存储分布式批量节点的数据并且存储分布式批量每个节点的状态。
[0017]可选的，所述数据存储单元，如果当前节点存储的状态是未执行和已完成，在收到批量调动通知后可以执行批量任务，如果当前节点存储的状态是执行中，泽不执行任务，当
任务执行完成，将当前节点的状态更新为已完成。
[0018]本专利技术提供的一种基于容器云的分布式调度方法，所述调度方法包括：分布式批量处理节点，用于处理定时的批量的作业；跨平台的批量作业调度软件，用于定时触发批量调度任务；数据存储，用于保存分布式批量处理节点的数据和维护分布式批量处理各个节点状态；容器云环境，用于部署分布式批量处理节点并支持分布式批量处理节点之间通信机制。
[0019]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0020]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0021]图1为本专利技术实施例提供的一种基于容器云的分布式调度实现方法整体框架图。
具体实施方式
[0022]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0023]本专利技术的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
[0024]下面结合附图和实施例，对本专利技术的技术方案做进一步的详细描述。
[0025]如图1所示，展示了本专利技术涉及到的所有组件和各个组件之间的调用关系。
[0026]批量作业调度软件，用来通知分布式批量系统处理任务。
[0027]分布式批量系统，包含多个分布式节点，接收批量作业调度软件发起的任务通知，各个节点通过部署在容器云中，应用StatefulSet形式可以互相通信。
[0028]数据库，维护分布式系统各个节点处理任务的状态。
[0029]以上的具体实施方式，对本专利技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本专利技术的具体实施方式而已，并不用于限定本专利技术的保护范围，凡在本专利技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于容器云的分布式调度方法，其特征在于，所述调度方法包括：分布式批量处理节点，用于处理定时的批量的作业；跨平台的批量作业调度软件，用于定时触发批量调度任务；数据存储，保存分布式批量处理系统的数据和维护分布式批量处理系统各个节点状态；容器云环境，用于部署分布式批量处理节点并支持分布式批量处理各节点之间通信机制。2.根据权利要求1所述的一种基于容器云的分布式调度实现方法，其特征在于，所述分布式批量处理节点整体是基于SpringCloud框架开发。3.根据权利要求1所述的一种基于容器云的分布式调度实现方法，其特征在于，所述分布式批量处理节点，接收跨平台的批量作业调度软件发送的Http请求，接收到请求之后，启动节点的批量任务。4.根据权利要求1所述的一种基于容器云的分布式调度实现方法，其特征在于，所述分布式批量处理节点，通过数据库来维护系统中各个节点的批量处理状态，状态包括未开始，执行中和已完成。5.根据权利要求1所述的一种基于容器云的分布式调度实现方法，其特征在于，所述分布...

【专利技术属性】
技术研发人员：彭博，孙磊，
申请(专利权)人：北银金融科技有限责任公司，
类型：发明
国别省市：