一种基于Datax框架的数据同步方法技术

本发明专利技术属于数据处理技术领域，涉及一种基于Datax框架的数据同步方法。使用Datax框架整合json脚本文件开发的后台程序及shell脚本程序；在服务器上安装Datax程序；整合json脚本文件开发的后台程序，将上述的后台程序进行打包部署；确认源数据库和目标数据库；将执行程序部署到服务器上，进行执行数据的同步工作；所述数据同步框架为Datax；所述后台程序为整合json脚本文件程序；所述执行程序是shell命令脚本程序，所述配置文件对应顺序配置任务参数文件；所述源数据库指数据的来源；所述目标数据库指将数据同步到目标数据库或者目录中。易于维护、不需要专业技术人员修改程序代码进行维护，从而降低维护成本。从而降低维护成本。

【技术实现步骤摘要】
一种基于Datax框架的数据同步方法


[0001]本专利技术属于数据处理
，涉及一种基于Datax框架研发的数据同步方法，适用于ETL数据处理转换迁移。

技术介绍

[0002]目前，基于Datax框架同步数据时，都是将源数据库和目标数据库的连接信息和字段信息写入到json文件中，在配置json文件时，json文件中源库的字段顺序必须与目标库的字段顺序一致，然后将json文件上传到目标服务器，在服务器上运行Datax的命令调用json文件进行数据同步。
[0003]这种基于Datax框架使用json文件的方式进行数据同步工作时，当数据源表字段发生变动时，就只能重新调整json文件中源和目标表字段的信息，不管是开始配置json文件还是当数据源及表发生变动时都需重新调整json文件，很容易出错，排错纠错很费时，需要花大量时间去重新核对字段，这样将严重影响数据及时性，对于一些时效性比较强的系统来说，数据的故障就是致命的。因此，亟需引进一些新方法摒弃传统数据同步方法的弊端。

技术实现思路

[0004]本专利技术的目的在于提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Datax框架的数据同步方法，其特征在于包括如下步骤：使用Datax框架整合json脚本文件开发的后台程序及shell脚本程序；在服务器上安装Datax程序；整合json脚本文件开发的后台程序，将上述的后台程序进行打包部署；确认源数据库和目标数据库；将执行程序部署到服务器上，进行执行数据的同步工作；所述数据同步框架为Datax；所述后台程序为整合json脚本文件程序；所述执行程序是shell命令脚本程序，所述配置文件对...

【专利技术属性】
技术研发人员：李振涛，颜强，殷亚辉，杨婷玉，尚志忠，任晓菲，
申请(专利权)人：中电万维信息技术有限责任公司，
类型：发明
国别省市：