【技术实现步骤摘要】
HIVE表迁移方法、装置、设备及存储介质
[0001]本申请涉及计算机领域，尤其涉及一种HIVE表迁移方法、装置、设备及存储介质。
技术介绍
[0002]随着大数据时代的到来，超大规模集团与企业会建设不同的大数据平台或数据中台环境，用以实现大数据计算和存储、数据统计分析、数据挖掘，对企业数字化营销、数字化运营进行决策支持。随着大数据中台的建设，数据计算和存储的中心化趋势的发展，企业或集团内部不同子集团之间的数据需要迁移至数据中台进行数据融合、共享以及关联计算。此时，就需要在集团或企业内部的各大数据平台环境(或数据中台)之间进行数据迁移、数据交换的工具。
[0003]Hadoop是一个由Apache基金会所开发的分布式系统基础架构。HIVE是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。HIVE数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供结构化查询语言(Structured Query Language，SQL)查询功...
【技术保护点】
【技术特征摘要】
1.一种HIVE表迁移方法，其特征在于，包括：获取预先配置的表迁移规则，所述表迁移规则包括至少一条迁移信息，所述迁移信息包括源集群的源表信息和目标集群的目标表信息；根据所述表迁移规则，通过支持并发任务的数据迁移工具将至少一个源表中的数据迁移到对应的目标表中；根据所述目标表的分区数据和所述表迁移规则，同步所述目标表的分区元数据信息。2.根据权利要求1所述的HIVE表迁移方法，其特征在于，所述表迁移规则包括并发控制参数，所述根据所述表迁移规则，通过支持并发任务的数据迁移工具将至少一个源表中的数据迁移到对应的目标表中，还包括：根据所述并发控制参数，对所述数据迁移工具在将至少一个源表中的数据迁移到对应的目标表中的并发任务数进行控制。3.根据权利要求1所述的HIVE表迁移方法，其特征在于，所述根据所述表迁移规则，通过支持并发任务的数据迁移工具将至少一个源表中的数据迁移到对应的目标表中，包括：响应于所述表迁移规则中包括分区列表参数，通过支持并发任务的数据迁移工具将所述源表中的增量分区数据迁移到所述目标表中；响应于所述表迁移规则中不存在所述分区列表参数，通过支持并发任务的数据迁移工具将所述源表中的全量表数据迁移到所述目标表中。4.根据权利要求1所述的方法，其特征在于，所述根据所述表迁移规则，通过支持并发任务的数据迁移工具将所述源表中的数据迁移到所述目标表之前，还包括：验证所述源表与所述目标表的有效性和表结构的一致性；响应于所述源表与所述目标表均为有效状态，且所述源表的表结构与所述目标表的表结构不同，创建与所述源表的表结构相同的目标表。5.根据权利要求1所述的方法，其特征在于，所述根据所述表迁移规则，通过支持并发任务的数据迁移工具将所述源表中的数据迁移到所述目标表之前，还包括：验证所述源表与所述目标表的有效性和表结构的一致性；响应于所述目标表为无效状态，创建与所述源表的表结构相同的目标表。6.根据权利要求1所述的方法，其特征在于，所述根据所述表迁移规则，通过支持并发任务的数据迁移工具将所述源表中的数据迁移到所述目标表之前，还包括：验证所述源表与所述目标表的有效性和表结构一致性；响应于所述源表为无效状态，终止表迁移流程。7.根据权利要求1所述的方法，其特征在于，根据所述表迁移规则，通过支持并发任务的数据迁移工具将至少一个源表中的数据迁移到对应的目标表中之后，还包括：响应于所述目标表中的数据需要格式转换，创建目标表格式的目标临时表；复制迁移所述目标表中的数据到所述目标临时表，删除所述目标表，重命名所述目标临时表为最终的目标表。8.根据权利要求1所述的方法，其特征在于，根据所述表迁移规则，通过支持并发任务的数据迁移工具将至少一个源表中的数据迁移到对应的目标表中之后，还包括：将所述源表的相关信息与所述目标表的相关信息进行比较，验证所述目标表中的数据的正确性。
9.根据权利要求1所述的方法，其特征在于，根据所述表迁移规则，通过支持并发任务的数据迁移工具将至少一个源表中的数据迁移到对应的目标表中之后，还包括：记录审计日志，所述审计日志包括所述目标表的相关信息。10.一种HIVE表迁移装置，其特征在于，包括：配置...
【专利技术属性】
技术研发人员：张贵强，
申请(专利权)人：网银在线北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。