一种异构大数据管理平台任务迁移方法技术

本发明专利技术公开了一种异构大数据管理平台任务迁移方法，将开发环境的元数据信息导出,通过配置的算法将开发环境的数据导入到生产环境中,然后处理生产环境哪些数据需要覆盖,哪些数据保持不变，实现在自动进行任务迁移的同时，不会出现任务反复的问题。不会出现任务反复的问题。

【技术实现步骤摘要】
一种异构大数据管理平台任务迁移方法


[0001]本专利技术涉及数据管理
，具体涉及一种异构大数据管理平台任务迁移方法。

技术介绍

[0002]当前数据平台多套环境之间的调度、任务以及任务相关的表迁移的处理方法，一种是人为地在多个环境之间去手动修改,先是在开发环境中将任务测试通过之后,然后手动将任务移植到生产环境去使用，但是手动操作不能保证任务的一致性。另外一种是通过将开发环境的数据完全迁移至生产环境，这样会导致生产环境已经处理过的问题在开发环境没有处理过的时候,将开发环境的问题重新覆盖至生产环境,最终导致任务反复。

技术实现思路

[0003]针对现有技术的不足，本专利技术旨在提供一种异构大数据管理平台任务迁移方法。
[0004]为了实现上述目的，本专利技术采用如下技术方案：
[0005]一种异构大数据管理平台任务迁移方法，具体过程为：
[0006]将开发环境的元数据信息导出并导入至生产环境中，并在数据开始导入时，对数据进行校验，然后根据校验结果执行相应的操作；其中：
[0007]对于数据库数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构大数据管理平台任务迁移方法，其特征在于，具体过程为：将开发环境的元数据信息导出并导入至生产环境中，并在数据开始导入时，对数据进行校验，然后根据校验结果执行相应的操作；其中：对于数据库数据,使用HiveDataBaseMerger去检验数据,检验生产环境中hive库是否存在,不存在的时候,需要提示用户去集群申请创建数据库；对于hive表的数据,使用HiveTableMerger检验数据,检验生产环境中该hive表是否存在,如果不存在，则插入该hive表；如果该hive表存在，则进一步检验要导入的该hive表相对于原有的hive表是否有修改，如果没有修改，不操作，保持数据原状，如果有修改，进一步检验该hive表是否有分区或分桶，如果有,则校验分区或者分桶信息是否有变更,如果有变更，提示用户修改，否则修改mysql保存信息；对于hive表字段的数据,使用hiveColumnMerger检验数据,首先检验生产环境中该hive表字段是否存在,如果该hive表字段...

【专利技术属性】
技术研发人员：于洋，高经郡，李城军，
申请(专利权)人：北京科杰科技有限公司，
类型：发明
国别省市：