任务处理方法和电子设备技术

技术编号:42610662 阅读:24 留言:0更新日期:2024-09-03 18:18
本申请公开了一种任务处理方法和电子设备,该任务处理方法应用于服务器端,包括:响应于接收到的来自于客户端发起的目标任务请求,获取目标任务请求携带的客户端信息;在已存储的引擎注册信息中,获取与客户端信息对应的历史引擎信息;其中,历史引擎信息对应的历史计算引擎处理过客户端的任务请求;响应于获取历史引擎信息成功,将目标任务请求发送给历史计算引擎进行任务处理;响应于获取历史引擎信息失败,创建用于处理目标任务请求的新建计算引擎,利用所述新建计算引擎处理所述目标任务请求,并将客户端信息与新建计算引擎的对应关系存储至引擎注册信息。上述方案,能够提高任务处理效率。

【技术实现步骤摘要】

本申请涉及大数据处理,特别是涉及一种任务处理方法和电子设备


技术介绍

1、hive是基于hadoop的一个数据仓库工具,可以存储、查询和分析存储在hadoop中的大规模数据。例如,其把sql语句转换成一系列能在hadoop集群执行的任务,进而实现数据查询等功能。

2、目前,基于hive的数据查询方法过程中,其每接收到一个来自用户的请求,hiveserver2都会为该请求创建一个会话,并通过集群资源管理器(如yarn、k8s等)为该会话创建一套计算引擎,并由计算引擎执行对应的任务。但是,用户在任务结束后会关闭与hiveserver2的会话,与之对应的计算引擎也会被关闭以释放计算资源;若用户再次发起会话则需要重新创建计算引擎,并等待一段计算引擎启动时间,这极大影响了任务处理效率。

3、尤其是在即席查询的场景下,用户通常需要快速地进行交互式查询和分析,也即需要快速启动查询引擎,然而目前的hive架构却难以满足大数据下的高效运行。


技术实现思路

1、本申请至少提供一种任务处理方法、装置、设备本文档来自技高网...

【技术保护点】

1.一种任务处理方法,其特征在于,所述方法应用于服务器端,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述服务器端通过目标会话接收所述目标任务请求,所述历史引擎信息包括引擎网络地址和引擎端口,所述将所述目标任务请求发送给所述历史计算引擎进行任务处理,包括:

3.根据权利要求1所述的方法,其特征在于,所述服务器端通过目标会话接收所述目标任务请求,所述创建用于处理所述目标任务请求的新建计算引擎,包括:

4.根据权利要求3所述的方法,其特征在于,在所述创建与所述客户端信息对应的新建计算引擎之后,所述方法还包括:

5.根据权利要求4所...

【技术特征摘要】

1.一种任务处理方法,其特征在于,所述方法应用于服务器端,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述服务器端通过目标会话接收所述目标任务请求,所述历史引擎信息包括引擎网络地址和引擎端口,所述将所述目标任务请求发送给所述历史计算引擎进行任务处理,包括:

3.根据权利要求1所述的方法,其特征在于,所述服务器端通过目标会话接收所述目标任务请求,所述创建用于处理所述目标任务请求的新建计算引擎,包括:

4.根据权利要求3所述的方法,其特征在于,在所述创建与所述客户端信息对应的新建计算引擎之后,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述启动所述新建计算引擎中的各引擎组件,包括:

6.根据权利要求1所述的方法,其特...

【专利技术属性】
技术研发人员:邓安赵鹏飞钱浩东周明伟
申请(专利权)人:浙江大华技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1