【技术实现步骤摘要】
本申请涉及大数据处理，具体而言，涉及一种hive sql任务的处理方法、装置、计算机可读存储介质和电子设备。
技术介绍
1、通过对任务类型统计，发现jcs平台上运行的所有任务，超过95％都是hive sql类型的作业。hive sql作业分为天级别、月级别以及季度级别三类作业，且三种类型作业都需要在规定时间内完成，例如日级别作业，需要在当天完成作业的执行。jcs上运行的90％都是日级别作业，为了不影响业务以及次日作业的运行，需要作业在一定时间范围内快速运行，从而保证系统的时效性。因此，如何有效地加快作业的运行就显得尤为重要。
2、基于apache tez引擎的作业，虽然运行过快，但是遇到大任务，会抢占整个集群的资源，严重降低了整个hadoop集群的效率。
3、现有方案需要开发人员给每个hive sql任务编写对应的激活函数，且还需要进行spark作业的配置、作业运行资源的配置、代码打成jar包提交运行的步骤之后，才可以执行hive sql任务，从而造成hive sql任务的处理效率较低。
4、另外针对...
【技术保护点】
1.一种HIVE SQL任务的处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，在确定第一差值平均值为所有的所述初始平均时长中的数值最大值和数值最小值的差值平均值之后，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，在确定第二差值平均值为第二平均时长与所述第一平均时长的差值之后，所述方法还包括：
7.根...
【技术特征摘要】
1.一种hive sql任务的处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，在确定第一差值平均值为所有的所述初始平均时长中的数值最大值和数值最小值的差值平均值之后，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，在确定第二差值平均值为第二平均时长与所述第一平均时长的差值之后，所述方法还包括：
7.根据权利要求5所述的方法...
【专利技术属性】
技术研发人员：朱昆鹏，马正兵，解浩，王磊，韩丹，韩强，夏江涛，韩旭，
申请(专利权)人：中国邮政储蓄银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。