一种基于文件方式进行数据同步的方法及装置制造方法及图纸

本发明专利技术涉及一种基于文件方式进行数据同步的方法。本方法包括：进行源端配置，选择来源数据源，定义SQL语句；配置数据同步的目标端数据源、目标表和数据同步策略；对SQL语句进行切分，依据切分的条数初始化相同数量的源端线程，在每个线程中组装sqluldr2启动命令，利用sqluldr2工具将源端数据库数据导出为文本文件；依据源端线程数量初始化相同数量的目标端线程，将每个源端线程生成的本地文件的前缀名称传递给相应的目标端线程，每个目标端线程将与之相应的源端线程导出的文本文件导入到目标端数据表中。本方法以文件方式进行数据同步，解决了JDBC连接方式数据抽取性能低下的问题，提升了数据同步的整体性能和效率。本方法可操作性强，实现简单，具有普适性。

【技术实现步骤摘要】

本专利技术涉及数据同步，尤其涉及一种基于文件方式进行数据同步的方法及装置。

技术介绍

1、目前，随着信息化建设的不断发展及对数据价值的逐渐重视，越来越多的企业和政府部门意识到业务不集中、流程不互通、数据不共享造成的“数据孤岛”现象给企业和政府部门进行数据的分析利用、分析挖掘带来了巨大困难。而解决“数据孤岛”问题的第一步便是将相互分离的各个业务系统或者各个部门的数据汇聚在一起，建立一个统一的数据采集、处理、共享中心，这个过程中使用到的数据处理方法之一就是数据同步技术。

2、数据同步一般需要借助一些etl工具来实现，然而，开源的etl工具往往是通过jdbc连接方式来进行数据的读取和写入，在实际项目应用中，对于关系型数据库，采用jdbc连接方式进行数据读取的性能较差，尤其是对于大批量的数据同步场景，其对数据同步的性能和效率有较高的要求，而使用传统的jdbc连接方式访问数据库，会存在查询数据性能差、抽取数据耗时过久、长时间占据数据库连接等问题，从而严重影响数据同步的性能和效率。

技术实现思路>

1、为了克服本文档来自技高网...

【技术保护点】

1.一种基于文件方式进行数据同步的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于文件方式进行数据同步的方法，其特征在于，步骤S1中使用可视化的SQL编辑器定义SQL语句，所述SQL编辑器支持单表查询、多表联合查询、函数转换、字段新增的使用场景；

3.根据权利要求1所述的基于文件方式进行数据同步的方法，其特征在于，步骤S2中所述目标端数据源为需要写入数据的数据库；

4.根据权利要求1所述的基于文件方式进行数据同步的方法，其特征在于，步骤S3中所述对用户选择或定义的SQL语句进行切分，包括：

5.根据权利要求1所述的基于文件方式...

【技术特征摘要】

1.一种基于文件方式进行数据同步的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于文件方式进行数据同步的方法，其特征在于，步骤s1中使用可视化的sql编辑器定义sql语句，所述sql编辑器支持单表查询、多表联合查询、函数转换、字段新增的使用场景；

3.根据权利要求1所述的基于文件方式进行数据同步的方法，其特征在于，步骤s2中所述目标端数据源为需要写入数据的数据库；

4.根据权利要求1所述的基于文件方式进行数据同步的方法，其特征在于，步骤s3中所述对用户选择或定义的sql语句进行切分，包括：

5.根据权利要求1所述的基于文件方式进行数据同步的方法，其特征在于，步骤s3中包括：

6.根据权利要求1所述的基于文件方式进行数据同步的方法，其特征在于，步骤s4中包括：

7.根据权利要求6所述的基于文件方式进行数据同步的方法，其特征在于，当源端确定好需要初始化的线程数以及每个...

【专利技术属性】
技术研发人员：彭壮，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：