一种业务处理方法、计算机设备和客户端技术

本申请实施例公开了一种业务处理方法、计算机设备和客户端，用于方便数据分析人员使用Spark SQL，扩大Spark SQL的应用范围。本申请实施例提供的技术方案如下：将指定逻辑封装成通用程序并保存；接收客户端提交的可编程语句；根据所述可编程语句和所述通用程序封装生成应用程序；为所述应用程序申请对应的集群资源以运行所述应用程序。

A Business Processing Method, Computer Equipment and Client

【技术实现步骤摘要】
一种业务处理方法、计算机设备和客户端
本申请涉及大数据领域，尤其涉及一种业务处理方法、服务器和客户端。
技术介绍
随着信息化的深入推进和人类日益普及的网络行为，大数据和云计算的概念应运而生。近年来，大数据应用的爆发性增长，已经衍生出独特的架构，并直接推动了存储、网络以及计算技术的研究。基于内存的分布式计算框架Spark作为Apache社区的顶级开源项目，吸引了全世界各大公司和开发人员的参与。经过多年的发展，Spark已经形成了完整的生态圈，并成为业界大数据处理的事实标准。作为Spark生态圈中的重要成员，SparkSQL为用户提供了结构化数据处理和SQL(StructuredQueryLanguage)查询分析的功能，使得不同业务领域的分析人员只需要通过SQL语句即能够透明地利用Spark完成海量数据的处理。在面向多用户的生产环境中，SparkSQL底层通常会基于YARN(YetAnotherResourceNegotiator)资源协调系统来进行业务管理。用户任务提交后，YARN动态分配集群资源；任务结束后，YARN回收相应的集群资源。
技术实现思路
本申请实施例提供了一种业务处理方法、计算机设备和客户端，用于方便数据分析人员使用SparkSQL，扩大SparkSQL的应用范围。一方面，本申请实施例提供一种业务处理方法，包括：计算机设备将指定逻辑封装成通用程序并保存；接收客户端提交的可编程语句；根据所述可编程语句和所述通用程序封装生成应用程序；为所述应用程序申请对应的集群资源以运行所述应用程序。另一方面，本申请实施例提供一种业务处理方法，包括：客户端向服务器提交可编程语句，以使得所述服务器根据所述可编程语句和通用程序封装生成应用程序；以及为所述应用程序申请对应的集群资源以运行所述应用程序，所述通用程序由指定逻辑封装生成；最后关闭该应用程序。另一方面，本申请实施例提供一种计算机设备，包括：处理模块，用于将指定逻辑封装成通用程序并保存；接收模块，用于接收客户端提交的可编程语句；所述处理模块，用于根据所述可编程语句和所述通用程序封装生成应用程序；为所述应用程序申请对应的集群资源以运行所述应用程序。另一方面，本申请实施例提供一种计算机设备，包括：存储器、收发器、处理器以及总线；其中，所述存储器用于存储程序；所述处理器用于执行所述存储器中的程序，包括如下步骤：将指定逻辑封装成通用程序并保存；接收客户端提交的可编程语句；根据所述可编程语句和所述通用程序封装生成应用程序；为所述应用程序申请对应的集群资源以运行所述应用程序。所述总线用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。另一方面，本申请实施例提供一种客户端，包括：发送模块，用于向服务器提交可编程语句，以使得所述服务器根据所述可编程语句和通用程序封装生成应用程序；以及为所述应用程序申请对应的集群资源以运行所述应用程序，所述通用程序由指定逻辑封装生成；处理模块，用于关闭所述应用程序。另一方面，本申请实施例提供一种客户端，包括：存储器、收发器、处理器以及总线；其中，所述存储器用于存储程序；所述处理器用于执行所述存储器中的程序，包括如下步骤：向服务器提交可编程语句，以使得所述服务器根据所述可编程语句和通用程序封装生成应用程序；以及为所述应用程序申请对应的集群资源以运行所述应用程序，所述通用程序由指定逻辑封装生成；关闭所述应用程序。所述总线用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。另一方面，本申请实施例提供一种业务处理系统，该业务处理系统包括客户端和服务器，其中，该客户端具备上述方法中的客户端的功能，该服务器具备上述方法中的服务器的功能。另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。另一方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。从以上技术方案可以看出，本申请实施例具有以下优点：由于服务器可以将客户端提交的SQL语句以及该服务器保存的通用程序进行封装，得到包含于SQLApplicationMaster的应用程序，因此该应用程序可以直接利用该通用程序引导运行，不再需要用户编写完整的上下文程序来实现应用程序的初始化等准备工作，因此非专业的数据分析人员也可以使用该SparkSQL进行数据分析，扩大SparkSQL的应用范围。附图说明图1为基于Spark系统下的Yarn架构的示意图；图2为基于Spark系统下的服务器模式(Yarn-Cluster)的程序提交和执行流程图；图3为基于Spark系统下的客户端模式(Yarn-Client)的程序提交和执行流程图；图4为本申请实施例中业务处理方法的一个实施例示图；图5为本申请实施例中业务处理方法的另一个实施例示意图；图6为本申请实施例中业务处理方法的一个流程示意图；图7为本申请实施例中计算机设备的一个实施例示意图；图8为本申请实施例中计算机设备的另一个实施例示意图；图9为本申请实施例中客户端的一个实施例示意图；图10为本申请实施例中客户端的另一个实施例示意图；图11为本申请实施例中业务处理系统的一个实施例示意图。具体实施方式本申请实施例提供了一种业务处理方法、服务器和客户端，用于方便数据分析人员使用SparkSQL，扩大SparkSQL的应用范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。为了方便理解本专利技术实施例，首先在此介绍本专利技术实施例描述中会引入的几个要素：客户端：客户端(Client)或称为用户端，是指与服务器相对应，为客户提供本地服务的程序。除了一些只在本地运行的应用程序之外，一般安装在普通的客户机(如手机等终端)上，需要与服务端互相配合运行，对于应用程序所在的客户端，需要网络中有相应的服务器和服务程序来提供相应的服务，如数据库服务，电子邮件服务等等，在客户端和服务器端，需要建立特定的通信连接，来保证应用程序的正常运行。服务器：也称伺服器，服务器是网络环境中的高性能计算机，它侦听网络上的其他计算机(客户机)提交的服务请求，并提供相应的服务。随着人类日益普及的网络行为，大数据和云计算应运而生。而基于内存的大数据分布式计算框架——Spark目前作为Apache开源社区的顶级项目，吸引到全世界各大公司以及开发人员的参与。Spark发展至今已经成为业界大数据处理的事实标准。为了提高Spark集群利用率，提出了另一种资源协调者(YetAnotherResourceNegotiator，Yarn)资源管理系统进行业务提交。具体如图1所示，Yar本文档来自技高网...

【技术保护点】
1.一种业务处理方法，其特征在于，包括：将指定逻辑封装成通用程序并保存；接收客户端提交的可编程语句；根据所述可编程语句和所述通用程序封装生成应用程序；为所述应用程序申请对应的集群资源以运行所述应用程序。

【技术特征摘要】
1.一种业务处理方法，其特征在于，包括：将指定逻辑封装成通用程序并保存；接收客户端提交的可编程语句；根据所述可编程语句和所述通用程序封装生成应用程序；为所述应用程序申请对应的集群资源以运行所述应用程序。2.根据权利要求1所述的方法，其特征在于，所述指定逻辑至少包含初始化逻辑块；所述根据所述可编程语句和所述通用程序封装生成应用程序之后，所述方法还包括：调用所述通用逻辑对所述应用程序进行初始化。3.根据权利要求1所述的方法，其特征在于，将指定逻辑封装成通用程序包括：接收集群运行环境的配置信息；根据该配置信息创建业务对应的会话状态对象；在所述会话状态对象中执行所述指定逻辑；并在所述指定逻辑执行结束之后，将所述指定逻辑的执行结果并保存作为所述通用程序。4.根据权利要求1所述的方法，其特征在于，所述接收客户端提交的可编程语句包括：通过应用管理ApplicationMaster接收客户端提交的可编程语句；其中，所述ApplicationMaster包括消息接口，所述消息接口包括所述ApplicationMaster与所述客户端之间的交互协议，并用于在所述客户端与所述ApplicationMaster之间进行信息交互。5.根据权利要求4所述的方法，其特征在于，所述ApplicationMaster通过所述消息接口向所述客户端反馈所述应用程序的运行状态信息。6.根据权利要求5所述的方法，其特征在于，所述ApplicationMaster通过所述消息接口向所述客户端反馈所述应用程序的运行状态信息包括：根据所述ApplicationMaste...

【专利技术属性】
技术研发人员：朱锋，张韶全，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44