一种多数据源同步数据的方法技术

本发明专利技术公开了一种多数据源同步数据的方法，涉及数据同步技术领域。本发明专利技术包括步骤：S01、选择配置好的数据源和表作为来源表和目标表；S02、判断是否使用基础配置得到来源表字段；S03、解析来源字段、目标字段及字段映射；S04、判断数据源是否支持支持SQL语句；S05、动态生成SQL语句；S06、拼接SQL执行命令；S07、调用Shell执行命令。本发明专利技术降低了数据同步时配置各数据源之间的差异，最大程度的突出数据同步本身需要的配置信息，减少了服务器资源的浪费并节约了同步执行时间，降低了使用的限制，提高了用户配置数据同步的效率，方便了用户进行数据处理。行数据处理。行数据处理。

【技术实现步骤摘要】
一种多数据源同步数据的方法


[0001]本专利技术属于数据同步
，特别是涉及一种多数据源同步数据的方法。

技术介绍

[0002]现在的企业在互联网化转型后都会在企业使用的本地服务器或云服务器中产生大量的数据，这些数据由于属于不同的部门，采用了不同的数据存储和管理方式，因而存在于不同的数据源上。
[0003]现在的网络上有很多数据源，其中包括的关系型数据库有MySQL、Oracle、SQL Server等，大数据存储有Hive、HBase等，而在有些涉及敏感数据的情况下，需要做数据处理时只能拿到一个接口API，该API会返回一些经过脱敏或者集合处理的数据，这样的数据源称之为API数据源。
[0004]这些数据源的配置方式多种多样，执行时得到的数据集格式也不完全一致，这样拥有多套数据源的用户使用数据同步来汇总处理自己的数据变得复杂、困难且繁琐。如果每次都使用普通的一对一同步的方法进行数据同步，那需要的软件或者Java库会有很多，对于普通用户来说非常不方便，中途还会生成大量的临时表和数据，造成服务器资源的浪费。
专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多数据源同步数据的方法，其特征在于，包括如下步骤：S01、选择配置好的数据源和表作为来源表和目标表：所述数据源具体包括的关系型数据库有MySQL、Oracle、SQL Server，包括的大数据存储有Hive、HBase；所述来源表和目标表选自其中任意一种；S02、判断是否使用基础配置得到来源表字段：具体通过isBasic字段进行判断实现，表示是否使用基础配置完成此次数据同步；若否，则执行来源表数据处理脚本后执行下一步骤；若是，则直接执行下一步骤；S03、解析来源字段、目标字段及字段映射；S04、判断数据源是否支持支持SQL语句；若否，则动态生成同步命令，并执行步骤S07；若是，则直接执行下一步骤；S05、动态生成SQL语句；S06、拼接SQL执行命令；S07、调用Shell执行命令。2.根据权利要求1所述的一种多数据源同步数据的方法，其特征在于，所述S02步骤中，执行来源表数据处理脚本后执行下一步骤具体通过使用高级选项，从conditionSql中提取自定义来源表字段处理脚本，根据脚本类型调用相关程序执行脚本，如是SQL语句则直接在后端程序中执行SQL语句，如是Python脚本则调用在执行后端程序的服务器上安装的Python程序执行该脚本，执行脚本可以得到来源表字段。3.根据权利要求1所述的一种多数据源同步数据的方法，其特征在于，所述S03步骤，具体是将mappingList中的from和to属性的table和field字段使用点号拼合为实际字段，得到实际的来源字段为from_table.id、from_table.name、from_table.age，目标字段分别对应为to_table.id，to_table.name，to_table.age。4.根据权利要求1所述的一种多数据源同步数据的方法，其特...

【专利技术属性】
技术研发人员：徐翔轩，宋静杰，
申请(专利权)人：上海得帆信息技术有限公司，
类型：发明
国别省市：