一种简化数据对接任务迁移的方法技术

本发明专利技术公开一种简化数据对接任务迁移的方法，涉及数据迁移领域。该简化数据对接任务迁移的方法，包括任务配置描述模块、任务迁移修正模块和任务可视化与调试模块；所述任务可视化与调试模块首先部署对接系统，进行相关组成模块的配置，并进行调试，所述任务配置描述模块和任务迁移修正模块在任务可视化与调试模块调试结束后，对迁移数据进行描述和修正，达到快速任务迁移的作用。该简化数据对接任务迁移的方法，一个标准版本迁移任务，可以自动完成各部件的适配，达到一个可操作的基础版本；通过插件化，可视化等，方便一般人员检测是否正确迁移；当整体方案发生变化时，可以批量更新所有迁移任务。更新所有迁移任务。更新所有迁移任务。

【技术实现步骤摘要】
一种简化数据对接任务迁移的方法


[0001]本专利技术涉及数据迁移
，具体为一种简化数据对接任务迁移的方法。

技术介绍

[0002]公司内部，公司之间，公司与政府之间存在很多数据同步场景，涉及跨数据源，多种传输协议适配，当需要批量做相似任务时，效率上会存在问题。
[0003]一般会对同步任务使用execl或类似的产品做任务描述，然后使用脚本开发完成主体开发，当迁移时需要根据当前场景的特例，进行脚本调整。
[0004]但是上述迁移方式具有以下的缺点：1、调试过程依赖脚本日志；2、迁移过程遇到特例调整需要研发参与，迁移度不高；3、对多源多传输协议适配更加订制化；4、整体迁移成本高。
[0005]因此我们提出了一种简化数据对接任务迁移的方法。

技术实现思路

[0006]（一）解决的技术问题针对现有技术的不足，本专利技术提供了一种简化数据对接任务迁移的方法，解决了调试过程依赖脚本日志、迁移过程遇到特例调整需要研发参与，迁移度不高和对多源多传输协议适配更加订制化的问题。
[0007]（二）技术方案为实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种简化数据对接任务迁移的方法，其特征在于，包括任务配置描述模块、任务迁移修正模块和任务可视化与调试模块；所述任务可视化与调试模块首先部署对接系统，进行相关组成模块的配置，并进行调试，所述任务配置描述模块和任务迁移修正模块在任务可视化与调试模块调试结束后，对迁移数据进行描述和修正，达到快速任务迁移的作用。2.根据权利要求1所述的一种简化数据对接任务迁移的方法，其特征在于：所述任务配置描述模块包括数据源描述，ETL任务描述，网关协议描述，任务调度描述。3.根据权利要求2所述的一种简化数据对接任务迁移的方法，其特征在于：所述数据源描述：结构化描述各种类型的数据源连接；所述ETL任务描述：结构化描述对各自来源数据源表进行分组，筛选等算子构建的数据处理过程；所述网关协议描述：结构化描述对接接口所述任务调度描述：结构化描述任务的调度时间以及依赖关系。4.根据权利要求3所述的一种简化数据对接任务迁移的方法，其特征在于：所述数据源包括mysql、oracle、hive、postgresql、mongodb、api源和kafka源；所述对接接口包括header头部、授权、代理和参数变更。5.根据权利要求1所述的一种简化数据对接任务迁移的方法，其特征在于：所述任务迁移修正包括变量替换、元数据校对和缺项补全。6.根据权利要求5所述的一种简化数据对接任务迁移的方法，其特征在于：所述变量替换：在描述文件中，对一些变量在迁移后取得新的数据进行替...

【专利技术属性】
技术研发人员：王聪明，王三明，胡小敏，李成坤，
申请(专利权)人：启业云大数据南京有限公司，
类型：发明
国别省市：