一种分布式计算框架及分布式计算处理方法技术

本申请公开了一种分布式计算框架及分布式计算处理方法，该分布式计算框架包括：分布式计算引擎Spark驱动端、多个Spark从节点和Spring Boot模块；Spring Boot模块包括Spring Boot框架中容器管理的第一对象和至少一个第二对象，各第二对象各自对应一个分布式计算业务逻辑，且，各第二对象对应的分布式计算业务逻辑相互具有差异，第一对象为将Spark驱动端中的SparkSession注入到容器中得到的；第二对象，用于基于其对应的分布式计算业务逻辑，获得分布式计算信息，调用第一对象，以使得第一对象使用Spark驱动端的驱动功能，将所述分布式计算信息发送给各Spark从节点。式计算信息发送给各Spark从节点。式计算信息发送给各Spark从节点。

【技术实现步骤摘要】
一种分布式计算框架及分布式计算处理方法


[0001]本申请涉及计算机
，更具体地说，涉及一种分布式计算框架及分布式计算处理方法。

技术介绍

[0002]目前，在企业的数据规模庞大且业务的逻辑也极为复杂的情况下，为保证数据计算的时效性，一般会基于分布式计算框架来进行大规模数据的处理及对繁杂的业务逻辑进行合理设计。
[0003]其中，目前，为了实现企业级的大规模数据处理和复杂的业务逻辑，一般需要开发人员采用原生Java编程的方式，基于Java语言编写复杂的业务代码开发分布式计算框架，但是，上述方式存在开发难度大，开发效率低的问题。

技术实现思路

[0004]为解决上述问题，本申请提供以下技术方案：
[0005]本申请一方面提供一种分布式计算框架，包括：分布式计算引擎Spark驱动端、多个Spark从节点和Spring Boot模块；
[0006]所述Spring Boot模块包括Spring Boot框架中容器管理的第一对象和至少一个第二对象，各所述第二对象各自对应一个分布式计算业务逻辑，且，各所述第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式计算框架，其特征在于，包括：分布式计算引擎Spark驱动端、多个Spark从节点和Spring Boot模块；所述Spring Boot模块包括Spring Boot框架中容器管理的第一对象和至少一个第二对象，各所述第二对象各自对应一个分布式计算业务逻辑，且，各所述第二对象对应的分布式计算业务逻辑相互具有差异，所述第一对象为将所述Spark驱动端中的SparkSession注入到所述容器中得到的；所述第二对象，用于基于其对应的分布式计算业务逻辑，获得分布式计算信息，调用所述第一对象，以使得所述第一对象使用所述Spark驱动端的驱动功能，将所述分布式计算信息发送给各所述Spark从节点。2.根据权利要求1所述的分布式计算框架，其特征在于，所述第二对象基于其对应的分布式计算业务逻辑，获得分布式计算信息的过程，具体包括：所述第二对象基于其对应的分布式计算业务逻辑和JPA框架获得待广播数据；所述第二对象基于其对应的分布式计算业务逻辑生成任务。3.根据权利要求2所述的分布式计算框架，其特征在于，所述第二对象调用所述第一对象，以使得所述第一对象使用所述Spark驱动端的驱动功能，将所述分布式计算信息发送给各所述Spark从节点的过程，具体包括：所述第二对象若从责任链上获得到与其具有依赖关系的其它第二对象发送的第一信息，则调用所述第一对象，以使得所述第一对象使用所述Spark驱动端的驱动功能，将所述任务发送给各所述Spark从节点，所述第一信息表征其它第二对象的任务已经执行完成，所述责任链为多个所述第二对象进行串联连接得到的。4.根据权利要求3所述的分布式计算框架，其特征在于，所述Spark从节点，用于执行所述任务，得到执行结果，并将所述执行结果持久化存储到所述Spark从节点所在服务器的内存或硬件存储设备中。5.根据权利要求1所述的分布式计算框架，其特征在于，各所述第二对象各自对应的分布式计算业务逻辑的至少一部分为基于面向切面编程AOP处理得到的。6.一种分布式...

【专利技术属性】
技术研发人员：徐诗雯，林世福，
申请(专利权)人：华夏基金管理有限公司，
类型：发明
国别省市：