【技术实现步骤摘要】
本申请涉及大数据处理,特别是涉及一种任务处理方法和电子设备。
技术介绍
1、hive是基于hadoop的一个数据仓库工具,可以存储、查询和分析存储在hadoop中的大规模数据。例如,其把sql语句转换成一系列能在hadoop集群执行的任务,进而实现数据查询等功能。
2、目前,基于hive的数据查询方法过程中,其每接收到一个来自用户的请求,hiveserver2都会为该请求创建一个会话,并通过集群资源管理器(如yarn、k8s等)为该会话创建一套计算引擎,并由计算引擎执行对应的任务。但是,用户在任务结束后会关闭与hiveserver2的会话,与之对应的计算引擎也会被关闭以释放计算资源;若用户再次发起会话则需要重新创建计算引擎,并等待一段计算引擎启动时间,这极大影响了任务处理效率。
3、尤其是在即席查询的场景下,用户通常需要快速地进行交互式查询和分析,也即需要快速启动查询引擎,然而目前的hive架构却难以满足大数据下的高效运行。
技术实现思路
1、本申请至少提供一种任务
...【技术保护点】
1.一种任务处理方法,其特征在于,所述方法应用于服务器端,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述服务器端通过目标会话接收所述目标任务请求,所述历史引擎信息包括引擎网络地址和引擎端口,所述将所述目标任务请求发送给所述历史计算引擎进行任务处理,包括:
3.根据权利要求1所述的方法,其特征在于,所述服务器端通过目标会话接收所述目标任务请求,所述创建用于处理所述目标任务请求的新建计算引擎,包括:
4.根据权利要求3所述的方法,其特征在于,在所述创建与所述客户端信息对应的新建计算引擎之后,所述方法还包括:
...
【技术特征摘要】
1.一种任务处理方法,其特征在于,所述方法应用于服务器端,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述服务器端通过目标会话接收所述目标任务请求,所述历史引擎信息包括引擎网络地址和引擎端口,所述将所述目标任务请求发送给所述历史计算引擎进行任务处理,包括:
3.根据权利要求1所述的方法,其特征在于,所述服务器端通过目标会话接收所述目标任务请求,所述创建用于处理所述目标任务请求的新建计算引擎,包括:
4.根据权利要求3所述的方法,其特征在于,在所述创建与所述客户端信息对应的新建计算引擎之后,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述启动所述新建计算引擎中的各引擎组件,包括:
6.根据权利要求1所述的方法,其特...
【专利技术属性】
技术研发人员:邓安,赵鹏飞,钱浩东,周明伟,
申请(专利权)人:浙江大华技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。