任务处理方法、服务器、客户端及系统技术方案

本申请实施例提供了一种任务处理方法、服务器、客户端及系统，该方法包括：服务器接收客户端通过远程调用端口提交给应用的驱动的第一任务请求命令，所述第一任务请求命令请求处理所述应用的目标任务，所述第一任务请求命令携带有所述目标任务的业务逻辑代码的访问地址；所述服务器根据所述访问地址，获取预先存储的所述目标任务的业务逻辑代码；所述服务器根据所述目标任务的业务逻辑代码，通过所述驱动处理所述目标任务；所述服务器通过所述远程调用端口向所述客户端返回所述目标任务的处理结果。本申请实施例可以提高Spark任务的提交的效率。

【技术实现步骤摘要】
任务处理方法、服务器、客户端及系统
本申请实施例涉及通信技术，尤其涉及一种任务处理方法、服务器、客户端及系统。
技术介绍
Spark是一款基于内存迭代的开源大数据计算引擎，它通过数据共享抽象弹性分布式数据集(resilientdistributeddatasets，RDDs)，来支持各种各样的数据处理工作，例如：批处理、流处理，结构化查询语言(structuredquerylanguage，SQL)查询，机器学习和图计算等。由于Spark具有速度快，吞吐高，分布式扩展等特点，因此，Spark成为当前最流行的大数据计算引擎，在各行业的大数据系统中被广泛使用。Spark一般是部署在使用YARN管理资源的服务器集群上的，有YARN-Cluster和YARN-Client两种提交Spark任务的模式。在YARN-Cluster模式下，用户可以通过服务器集群外的客户端服务器进行某一应用的Spark任务的提交，被提交的Spark任务可以在该服务器集群上运行和计算。在采用该方式提交Spark任务时，为了使客户端可以及时的获取到任务的执行结果，客户端服本文档来自技高网...

【技术保护点】
1.一种任务处理方法，其特征在于，包括：/n服务器接收客户端通过远程调用端口提交给应用的驱动的第一任务请求命令，所述第一任务请求命令请求处理所述应用的目标任务，所述第一任务请求命令携带有所述目标任务的业务逻辑代码的访问地址；/n所述服务器根据所述访问地址，获取预先存储的所述目标任务的业务逻辑代码；/n所述服务器根据所述目标任务的业务逻辑代码，通过所述驱动处理所述目标任务；/n所述服务器通过所述远程调用端口向所述客户端返回所述目标任务的处理结果。/n

【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：
服务器接收客户端通过远程调用端口提交给应用的驱动的第一任务请求命令，所述第一任务请求命令请求处理所述应用的目标任务，所述第一任务请求命令携带有所述目标任务的业务逻辑代码的访问地址；
所述服务器根据所述访问地址，获取预先存储的所述目标任务的业务逻辑代码；
所述服务器根据所述目标任务的业务逻辑代码，通过所述驱动处理所述目标任务；
所述服务器通过所述远程调用端口向所述客户端返回所述目标任务的处理结果。


2.根据权利要求1所述的方法，其特征在于，所述服务器接收客户端通过远程调用端口提交给应用的驱动的第一任务请求命令之前，还包括：
所述服务器接收所述客户端通过所述驱动的任务提交接口提交的第二任务请求命令，所述第二任务请求命令用于请求启动所述驱动；
所述服务器根据所述第二任务请求命令，启动所述驱动，并将所述驱动的任务服务接口与所述远程调用端口绑定。


3.根据权利要求2所述的方法，其特征在于，所述服务器接收客户端通过远程调用端口提交给应用的驱动的第一任务请求命令，包括：
所述服务器通过所述任务服务接口，接收所述客户端通过所述远程调用端口提交给所述驱动的所述第一任务请求命令。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述服务器接收客户端通过远程调用端口提交给应用的驱动的第一任务请求命令之前，所述方法还包括：
所述服务器接收来自所述客户端的存储请求，所述存储请求用于请求存储所述目标任务的业务逻辑代码；
所述服务器根据所述存储请求，存储所述目标任务的业务逻辑代码。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述目标任务的业务逻辑代码存储在文件系统或数据库中，所述服务器通过访问所述文件系统或所述数据库获取所述目标任务的逻辑代码。


6.根据权利要求1-5任一项所述的方法，其特征在于，所述服务器根据所述目标任务的业务逻辑代码，通过所述驱动处理所述目标任务，包括：
所述服务器根据所述目标任务的业务逻辑代码，通过所述驱动将所述目标任务拆分成多个子任务；
所述服务器通过所述驱动将拆分后的多个子任务发送给多个执行器，以使所述执行器执行所述子任务。


7.根据权利要求1-6任一项所述的方法，其特征在于，所述第一任务请求命令还携带有执行所述目标任务所需的参数值。


8.根据权利要求1-7任一项所述的方法，其特征在于，所述目标任务为Spark任务、或Flink任务、或Hadoop任务。


9.一种任务处理方法，其特征在于，包括：
客户端通过远程调用端口向服务器发送提交给应用的驱动的第一任务请求命令，所述第一任务请求命令请求处理所述应用的目标任务，所述第一任务请求命令携带有所述目标任务的业务逻辑代码的访问地址；
所述客户端接收所述服务器通过所述远程调用端口返回的所述目标任务的处理结果。


10.根据权利要求9所述的方法，其特征在于，所述客户端通过远程调用端口向服务器发送提交给应用的驱动的第一任务请求命令之前，还包括：
所述客户端通过任务提交接口向所述服务器提交第二任务请求命令，所述第二任务请求命令用于请求启动所述驱动。


11.根据权利要求9或10所述的方法，其特征在于，所述客户端通过远程调用端口向服务器发送提交给应用的驱动的第一任务请求命令之前，所述方法还包括：
所述客户端向所述服务器发送存储请求，所述存储请求用于请求存储所述目标任务的业务逻辑代码。


12.根据权利要求9-11任一项所述的方法，其特征在于，所述第一任务请求命令还携带有执行所述目标任务所需的参数值。


13.根据权利要求9-12任一项所述的方法，其特征在于，所述目标任务为Spark任务、或Flink任务、或Hadoop任务。


14.一种服务器，其特征在于，所述服务器包...

【专利技术属性】
技术研发人员：巴俊，
申请(专利权)人：成都华为技术有限公司，
类型：发明
国别省市：四川;51