一种业务处理方法、计算机设备和客户端技术

本申请实施例公开了一种业务处理方法、计算机设备和客户端，用于方便数据分析人员使用Spark SQL，扩大Spark SQL的应用范围。本申请实施例提供的技术方案如下：将指定逻辑封装成通用程序并保存；接收客户端提交的可编程语句；根据所述可编程语句和所述通用程序封装生成应用程序；为所述应用程序申请对应的集群资源以运行所述应用程序。

A Business Processing Method, Computer Equipment and Client

【技术实现步骤摘要】
一种业务处理方法、计算机设备和客户端
本申请涉及大数据领域，尤其涉及一种业务处理方法、服务器和客户端。
技术介绍
随着信息化的深入推进和人类日益普及的网络行为，大数据和云计算的概念应运而生。近年来，大数据应用的爆发性增长，已经衍生出独特的架构，并直接推动了存储、网络以及计算技术的研究。基于内存的分布式计算框架Spark作为Apache社区的顶级开源项目，吸引了全世界各大公司和开发人员的参与。经过多年的发展，Spark已经形成了完整的生态圈，并成为业界大数据处理的事实标准。作为Spark生态圈中的重要成员，SparkSQL为用户提供了结构化数据处理和SQL(StructuredQueryLanguage)查询分析的功能，使得不同业务领域的分析人员只需要通过SQL语句即能够透明地利用Spark完成海量数据的处理。在面向多用户的生产环境中，SparkSQL底层通常会基于YARN(YetAnotherResourceNegotiator)资源协调系统来进行业务管理。用户任务提交后，YARN动态分配集群资源；任务结束后，YARN回收相应的集群资源。
技术实现思路
本申请实施例提供了一种业务处理方法本文档来自技高网...

【技术保护点】
1.一种业务处理方法，其特征在于，包括：将指定逻辑封装成通用程序并保存；接收客户端提交的可编程语句；根据所述可编程语句和所述通用程序封装生成应用程序；为所述应用程序申请对应的集群资源以运行所述应用程序。

【技术特征摘要】
1.一种业务处理方法，其特征在于，包括：将指定逻辑封装成通用程序并保存；接收客户端提交的可编程语句；根据所述可编程语句和所述通用程序封装生成应用程序；为所述应用程序申请对应的集群资源以运行所述应用程序。2.根据权利要求1所述的方法，其特征在于，所述指定逻辑至少包含初始化逻辑块；所述根据所述可编程语句和所述通用程序封装生成应用程序之后，所述方法还包括：调用所述通用逻辑对所述应用程序进行初始化。3.根据权利要求1所述的方法，其特征在于，将指定逻辑封装成通用程序包括：接收集群运行环境的配置信息；根据该配置信息创建业务对应的会话状态对象；在所述会话状态对象中执行所述指定逻辑；并在所述指定逻辑执行结束之后，将所述指定逻辑的执行结果并保存作为所述通用程序。4.根据权利要求1所述的方法，其特征在于，所述接收客户端提交的可编程语句包括：通过应用管理ApplicationMaster接收客户端提交的可编程语句；其中，所述ApplicationMaster包括消息接口，所述消息接口包括所述ApplicationMaster与所述客户端之间的交互协议，并用于在所述客户端与所述ApplicationMaster之间进行信息交互。5.根据权利要求4所述的方法，其特征在于，所述ApplicationMaster通过所述消息接口向所述客户端反馈所述应用程序的运行状态信息。6.根据权利要求5所述的方法，其特征在于，所述ApplicationMaster通过所述消息接口向所述客户端反馈所述应用程序的运行状态信息包括：根据所述ApplicationMaste...

【专利技术属性】
技术研发人员：朱锋，张韶全，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44