【技术实现步骤摘要】
HIVE库的扩容方法以及装置、处理器和电子设备
[0001]本申请涉及大数据处理领域，具体而言，涉及一种HIVE库的扩容方法以及装置、处理器和电子设备。
技术介绍
[0002]现有技术中，企业中的大数据平台中存在不同租户进行HIVE SQL作业。各个租户一般拥有多个HIVE库。每个HIVE库涉及多个同业务的HIVE SQL作业。所以每个HIVE库的空间是独立的并随着时间进行变化的。尽管大数据平台随着业务数据量的增长也在不断扩容。但是在同一时间内，大数据平台的总容量是不变的。在大数据平台管理过程中，需要对每个HIVE库的空间进行限制。每个HIVE库能使用的空间都对应着一个最大值，即限额。各租户都需要人工提交“HIVE库限额扩容申请表”至集群管理员进行扩容的申请。管理员在进行扩容审批时难以预估HIVE库容量增量的大小。特别是在HIVE SQL在执行时，其短时需要容量增量大。作业完毕后便不再需要短时扩展的容量。
[0003]目前采用的人工申请审批的扩容方案时效性差，存在着等待时间长，容量增量难以科学估算的问题。为避免出现作...
【技术保护点】
【技术特征摘要】
1.一种HIVE库的扩容方法，其特征在于，包括：获取SQL文件，并解析所述SQL文件，得到所述SQL文件中包含的HIVE SQL作业对应的当前作业参数组，所述当前作业参数组至少包括以下参数：所述HIVESQL作业对应的当前SQL操作、所述HIVE SQL作业对应的当前作业名、所述HIVE SQL作业当前对应的HIVE库表的表名、所述HIVE库表的当前容量大小以及所述HIVE SQL作业对应的当前源数据量，所述SQL文件包含至少一个所述HIVE SQL作业的信息，所述HIVE库表与所述HIVE SQL作业之间存在一一对应的映射关系，HIVE数据库中包含有多个所述HIVE库表；控制每个所述HIVE SQL作业对应的所述作业参数组输入至预设机器学习模型中，以得到每个所述HIVE库表对应的空间增量，其中，所述HIVE库表的所述空间增量用于为执行所述HIVE SQL作业提供容量支持；依据所述空间增量，对与所述空间增量对应的所述HIVE库表进行扩容操作。2.根据权利要求1所述的方法，其特征在于，在控制每个所述HIVE SQL作业对应的所述作业参数组输入至预设模型中之前，所述方法包括：获取多个所述HIVE SQL作业对应的多组历史作业参数组，每组所述历史作业参数组至少包括以下参数：所述HIVE SQL作业当次对应的SQL操作，所述HIVE SQL作业对应的当次作业名，所述HIVE SQL作业当次对应的HIVE库表的表名，所述HIVE库表的当次容量大小，所述HIVE SQL作业执行时对应的HIVE库表的使用空间峰值，所述HIVE SQL作业当次对应的源数据量，所述HIVE库表与所述HIVE SQL作业之间存在一一对应的映射关系，每个所述HIVE SQL作业对应多组所述历史作业参数组；获取多个所述HIVE SQL作业对应的多个当前源数据量，所述HIVE SQL作业与所述当前源数据量之间一一对应；依据多组所述历史作业参数组以及多个所述当前源数据量，通过所述预设机器学习算法，构建所述预设机器学习模型。3.根据权利要求1所述的方法，其特征在于，在依据所述空间增量，对与所述空间增量对应的所述HIVE库表进行扩容操作之后，所述方法还包括：依据所述空间增量扩容后的所述HIVE库表，执行与所述HIVE库表对应的所述HIVE SQL作业；实时监测所述HIVE库表的使用量，并确定所述HIVE SQL作业在执行过程中所述HIVE库表的使用量峰值，并将所述使用量峰值更新至作业历史HIVE数据库中。4.根据权利要求1所述的方法，其特征在于，在控制每个所述HIVE SQL作业对应的所述作业参数组输入至预设机器学习模型中，得到每个...
【专利技术属性】
技术研发人员：王淼，
申请(专利权)人：中国邮政储蓄银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。