一种分布式批量框架通讯系统及方法技术方案

一种分布式批量框架通讯系统及方法，涉及计算机应用系统领域，可用于金融领域和其他领域，所述系统包含：分布式通讯服务器集群构建作业消息目录和消息处理目录；分布式批量控制器监听作业消息目录获取批量作业信息，根据批量作业消息中的各作业信息的作业名和预存排程信息分析获得执行作业名的分布式批量执行器信息；根据分布式批量执行器信息和作业信息于分布式通讯服务器集群中建立监听子节点；根据消息处理目录中的处理结果删除对应的批量作业信息；分布式批量执行器集群包含多个分布式批量执行器，分布式批量执行器获得对应的作业信息，并调用对应的作业逻辑代码对作业信息执行作业处理，将处理结果存放至消息处理目录。录。录。

【技术实现步骤摘要】
一种分布式批量框架通讯系统及方法


[0001]本专利技术涉及计算机应用系统
，可应用于金融领域和其他领域，尤指一种分布式批量框架通讯系统及方法。

技术介绍

[0002]当前技术中，很多应用都使用了分布式批量框架，即为平台应用批量开发的一种框架，主要实现功能：批量作业按时开启(传统批量由Entegor控制)，实现批量内部各作业步之间的调度，控制台对批量进行可视化控制(传统批量由Entegor控制)，调度执行器执行作业逻辑。针对该框架，还存在以下问题：指令传输单向性，无法回传调度，其次针对分布式构架通信过程中，指令发送较为复杂无法批量高效调度。

技术实现思路

[0003]本专利技术目的在于提供一种分布式批量框架通讯系统及方法，予以克服现有技术中分布式批量框架通讯负载，调度繁琐的问题。。
[0004]为达上述目的，本专利技术所提供的分布式批量框架通讯系统，具体包含：分布式批量控制器、分布式通讯服务器集群和分布式批量执行器集群；所述分布式通讯服务器集群用于构建作业消息目录和消息处理目录，通过所述作业消息目录存放接收到的批量作业信息，通过所述消息处理目录存放接收到的处理结果；所述分布式批量控制器用于监听所述作业消息目录获取批量作业信息，根据所述批量作业消息中的各作业信息的作业名和预存排程信息分析获得执行所述作业名的分布式批量执行器信息；根据所述分布式批量执行器信息和作业信息于所述分布式通讯服务器集群中建立监听子节点；以及，监听所述消息处理目录，根据所述消息处理目录中的处理结果删除对应的批量作业信息；所述分布式批量执行器集群包含多个分布式批量执行器，所述分布式批量执行器用于监听所述监听子节点获得对应的作业信息，并调用对应的作业逻辑代码对所述作业信息执行作业处理，将处理结果存放至所述消息处理目录。
[0005]在上述分布式批量框架通讯系统中，优选的，所述分布式批量控制器包含控制器注册模块、解析消息模块、删除消息模块、批量调度模块、发送指令模块和执行器管理模块；所述控制器注册模块用于监听所述作业消息目录和所述消息处理目录，当所述作业消息目录新增批量作业信息时，获取新增的批量作业信息；所述解析消息模块用于根据预设消息格式解析所述批量作业信息获得多个作业信息及对应的批量作业名、日期、场次号信息；所述批量调度模块用于根据所述批量作业消息中的各作业信息的作业名和预存排程信息分析获得执行所述作业名的分布式批量执行器信息；所述发送指令模块用于根据所述作业信息、批量作业名、日期、场次号信息及预设指令格式拼接生成指令字符串，根据所述指令字符串和所述分布式批量执行器信息于所述分布式通讯服务器集群中建立监听子节点；所述删除消息模块用于根据所述消息处理目录中的处理结果删除对应的批量作业信息；所述执行器管理模块用于监听所述监听子节点的删除情况，根据所述删除情况获取所述作业消息
目录中对应的下线监听子节点，通过下线监听子节点获得对应的作业信息，将所述作业信息的作业名提供至所述批量调度模块。
[0006]在上述分布式批量框架通讯系统中，优选的，所述分布式批量执行器包含执行器注册模块、指令解析模块、指令删除模块、作业执行模块和发送消息模块；所述执行器注册模块用于监听所述监听子节点获取所述指令字符串；所述指令解析模块用于解析所述指令字符串获得批量作业名、日期、场次号信息和指令类型；所述指令删除模块用于根据处理结果删除对应的监听子节点；所述作业执行模块用于根据所述指令类型调用对应的作业逻辑代码对所述作业信息执行作业处理，生成处理结果；所述发送消息模块用于根据所述处理结果和所述作业信息，通过预设消息格式组装消息字符串，根据所述消息字符串在所述作业消息目录中建立下线监听子节点。
[0007]在上述分布式批量框架通讯系统中，优选的，所述系统还包含批量调度控制台，所述批量调度控制台用于遍历所述分布式通讯服务器集群内的所有监听子节点，解析所述监听子节点获得作业信息对应的作业名并显示输出；以及，获取所述作业消息目录中所述批量作业信息，解析获得所述批量作业信息内所有作业信息的作业名并显示输出。
[0008]在上述分布式批量框架通讯系统中，优选的，所述批量调度控制台包含指令查看模块和消息查看模块；所述指令查看模块用于遍历所述分布式通讯服务器集群内的所有监听子节点，解析所述监听子节点获得作业信息对应的作业名并显示输出；所述消息查看模块用于获取所述作业消息目录中所述批量作业信息，解析获得所述批量作业信息内所有作业信息的作业名并显示输出。
[0009]在上述分布式批量框架通讯系统中，优选的，所述分布式通讯服务器集群包含多台zookeeper服务器，通过所述zookeeper服务器构建作业消息目录和消息处理目录，通过所述作业消息目录存放接收到的批量作业信息，通过所述消息处理目录存放接收到的处理结果。
[0010]本专利技术还提供一种适用上述分布式批量框架通讯系统的通讯方法，所述方法包含：构建作业消息目录和消息处理目录，利用所述作业消息目录存放接收到的批量作业信息；监听所述作业消息目录获取批量作业信息，根据所述批量作业消息中的各作业信息的作业名和预存排程信息分析获得执行所述作业名的分布式批量执行器信息；根据所述分布式批量执行器信息和作业信息于所述分布式通讯服务器集群中建立监听子节点；监听所述监听子节点获得对应的作业信息，并调用对应的作业逻辑代码对所述作业信息执行作业处理，将处理结果存放至所述消息处理目录；监听所述消息处理目录，根据所述消息处理目录中的处理结果删除对应的批量作业信息。
[0011]在上述通讯方法中，优选的，根据所述批量作业消息中的各作业信息的作业名和预存排程信息分析获得执行所述作业名的分布式批量执行器信息包含：根据预设消息格式解析所述批量作业信息获得多个作业信息及对应的批量作业名、日期、场次号信息；根据所述批量作业消息中的各作业信息的作业名和预存排程信息分析获得执行所述作业名的分布式批量执行器信息。
[0012]在上述通讯方法中，优选的，根据所述分布式批量执行器信息和作业信息于所述分布式通讯服务器集群中建立监听子节点包含：根据所述作业信息、批量作业名、日期、场次号信息及预设指令格式拼接生成指令字符串；根据所述指令字符串和所述分布式批量执
行器信息于所述分布式通讯服务器集群中建立监听子节点。
[0013]在上述通讯方法中，优选的，将处理结果存放至所述消息处理目录还包含：根据所述处理结果和所述作业信息，通过预设消息格式组装消息字符串，根据所述消息字符串在所述作业消息目录中建立下线监听子节点。
[0014]在上述通讯方法中，优选的，监听所述作业消息目录获取批量作业信息还包含：监听所述监听子节点的删除情况；根据所述删除情况获取所述作业消息目录中对应的下线监听子节点；通过下线监听子节点获得对应的作业信息。
[0015]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
[0016]本专利技术还提供一种计算机可读存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式批量框架通讯系统，其特征在于，所述系统包含：分布式批量控制器、分布式通讯服务器集群和分布式批量执行器集群；所述分布式通讯服务器集群用于构建作业消息目录和消息处理目录，通过所述作业消息目录存放接收到的批量作业信息，通过所述消息处理目录存放接收到的处理结果；所述分布式批量控制器用于监听所述作业消息目录获取批量作业信息，根据所述批量作业消息中的各作业信息的作业名和预存排程信息分析获得执行所述作业名的分布式批量执行器信息；根据所述分布式批量执行器信息和作业信息于所述分布式通讯服务器集群中建立监听子节点；以及，监听所述消息处理目录，根据所述消息处理目录中的处理结果删除对应的批量作业信息；所述分布式批量执行器集群包含多个分布式批量执行器，所述分布式批量执行器用于监听所述监听子节点获得对应的作业信息，并调用对应的作业逻辑代码对所述作业信息执行作业处理，将处理结果存放至所述消息处理目录。2.根据权利要求1所述的分布式批量框架通讯系统，其特征在于，所述分布式批量控制器包含控制器注册模块、解析消息模块、删除消息模块、批量调度模块、发送指令模块和执行器管理模块；所述控制器注册模块用于监听所述作业消息目录和所述消息处理目录，当所述作业消息目录新增批量作业信息时，获取新增的批量作业信息；所述解析消息模块用于根据预设消息格式解析所述批量作业信息获得多个作业信息及对应的批量作业名、日期、场次号信息；所述批量调度模块用于根据所述批量作业消息中的各作业信息的作业名和预存排程信息分析获得执行所述作业名的分布式批量执行器信息；所述发送指令模块用于根据所述作业信息、批量作业名、日期、场次号信息及预设指令格式拼接生成指令字符串，根据所述指令字符串和所述分布式批量执行器信息于所述分布式通讯服务器集群中建立监听子节点；所述删除消息模块用于根据所述消息处理目录中的处理结果删除对应的批量作业信息；所述执行器管理模块用于监听所述监听子节点的删除情况，根据所述删除情况获取所述作业消息目录中对应的下线监听子节点，通过下线监听子节点获得对应的作业信息，将所述作业信息的作业名提供至所述批量调度模块。3.根据权利要求2所述的分布式批量框架通讯系统，其特征在于，所述分布式批量执行器包含执行器注册模块、指令解析模块、指令删除模块、作业执行模块和发送消息模块；所述执行器注册模块用于监听所述监听子节点获取所述指令字符串；所述指令解析模块用于解析所述指令字符串获得批量作业名、日期、场次号信息和指令类型；所述指令删除模块用于根据处理结果删除对应的监听子节点；所述作业执行模块用于根据所述指令类型调用对应的作业逻辑代码对所述作业信息执行作业处理，生成处理结果；所述发送消息模块用于根据所述处理结果和所述作业信息，通过预设消息格式组装消息字符串，根据所述消息字符串在所述作业消息目录中建立下线监听子节点。
4.根据权利要求1所述的分布式批量框架通讯系统，其特征在于，所述系统还包含批量调度控制台，所述批量调度控制台用于遍历所述分布式通讯服务器集群内的所有监听子节点，解析所述监听子节点获得作业信息对应的作业名并显示输出；以及，获取所述作业消息目录中所述批量作业信息，解析获...

【专利技术属性】
技术研发人员：何启承，郑思慧，丘威，林嘉婷，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：