异构数据源的数据同步方法及系统技术方案

本发明专利技术公开了一种异构数据源的数据同步方法及系统，其中该方法包括：接收数据同步请求，获取所述数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；根据所述源数据库类型及所述目标数据库类型，读取相应的模板文件，基于所述模板文件组装所述同步数据属性信息，并根据所述任务调度配置信息生成相应的数据同步任务；根据所述任务调度配置信息生成所述数据同步任务相应的数据读取线程及数据写入线程，从源数据库中抽取待同步数据并写入至目标数据库。本发明专利技术通过数据同步请求中的配置，可对异构数据进行高效的数据同步管理，从而使异构数据的集中汇聚，提高了数据的互用性，便于数据的集成管理。

【技术实现步骤摘要】
异构数据源的数据同步方法及系统
本专利技术涉及异构数据源的数据管理，特别涉及一种异构数据源的数据同步方法及系统。
技术介绍
IT业务系统很少跨部门、跨单位、跨层级进行统一规划和建设，导致业务系统处于分散、独立的状况，业务间数据资源不仅处于烟囱状态，数据资源的一致性和互用性较差，数据资源的价值无法充分发挥，数据之间的集成也是无章可循。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种异构数据源的数据同步方法，能够支持异构数据源之间的数据在异构网络下高效同步，集成数据。本专利技术还提出一种具有上述异构数据源的数据同步方法的异构数据源的数据同步系统。本专利技术还提出一种具有上述异构数据源的数据同步方法的计算机可读存储介质。根据本专利技术的第一方面实施例的异构数据源的数据同步方法，包括以下步骤：S100，接收数据同步请求，获取所述数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；S200，根据所述源数据库类型及所述目标数据库类型，读取相应的模板文件，基于所述模板文件组装所述同步数据属性信息，并根据所述任务调度配置信息生成相应的数据同步任务；S300，根据所述任务调度配置信息生成所述数据同步任务相应的数据读取线程及数据写入线程，所述数据读取线程根据所述源数据库类型及所述同步数据属性信息从源数据库中抽取待同步数据，所述数据写入线程根据所述目标数据库类型及所述同步数据属性信息将所述待同步数据写入至目标数据库。根据本专利技术实施例的异构数据源的数据同步方法，至少具有如下有益效果：通过数据同步请求中的配置信息，可对不同来源、格式、特点性质的异构数据进行高效的数据同步管理，从而使异构数据的集中汇聚，提高了数据的互用性，便于数据的集成管理。根据本专利技术的一些实施例，所述同步数据属性信息包括：数据来源信息、数据去向信息、数据映射关系、脏数据检测规则及写入方式。根据本专利技术的一些实施例，所述步骤S300包括：S310，所述数据读取线程根据所述源数据库类型调用相应的读取接口，通过所述数据来源信息获取所述待同步数据；S320，根据所述数据去向信息对所述待同步数据进行类型转换，并通过所述脏数据检测规则对所述待同步数据进行检测过滤；S330，所述数据写入线程根据所述目标数据库类型调用相应的写入接口，根据所述数据去向信息及所述写入方式，将检测过滤后的所述待同步数据写入目标数据库中。根据本专利技术的一些实施例，所述数据来源信息及所述数据去向信息均包括：数据库、表及字段；所述写入方式被配置为更新或者覆盖。根据本专利技术的一些实施例，所述步骤S300还包括：在启动所述数据读取线程之前，根据所述模板文件中的预处理配置，通过反射调用相应的处理类执行所述数据同步任务的预处理。根据本专利技术的一些实施例，所述任务调度配置信息包括：配置资源组、调度周期、任务并发数、资源优先级、任务生效规则及任务失效规则。根据本专利技术的第二方面实施例的异构数据源的数据同步系统，包括：配置模块，用于通过可视化交互界面，配置数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；任务生成模块，用于根据所述源数据库类型及所述目标数据库类型，读取相应的模板文件，基于所述模板文件组装所述同步数据属性信息，并根据所述任务调度配置信息生成相应的数据同步任务；任务调度模块，用于根据所述任务调度配置信息管理所述数据同步任务，根据所述源数据库类型及所述同步数据属性信息从源数据库中抽取待同步数据，并根据所述目标数据库类型及所述同步数据属性信息将所述待同步数据写入至目标数据库。根据本专利技术实施例的异构数据源的数据同步系统，至少具有如下有益效果：通过以可视化的方式配置数据同步任务，可对不同来源、格式、特点性质的异构数据进行高效的数据同步管理，从而使异构数据的集中汇聚，提高了数据的互用性，便于数据的集成管理；并提高了数据集成管理的效率，节省人力物力。根据本专利技术的一些实施例，所述任务调度模块还包括：数据抽取模块，用于根据所述源数据库类型调用相应的读取接口，通过数据来源信息获取所述待同步数据；数据转化模块，用于根据数据去向信息对所述待同步数据进行类型转换，并通过脏数据检测规则对所述待同步数据进行检测过滤；数据写入模块，用于根据所述目标数据库类型调用相应的写入接口，根据所述数据去向信息及所述待同步数据的写入方式，将所述待同步数据写入目标数据库中。根据本专利技术的一些实施例，还包括：结果查看模块，用于从目标数据库中获取所述待同步数据的同步结果，进行界面展示。根据本专利技术的第三方面实施例的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术的第一方面实施例的方法。根据本专利技术实施例的计算机可读存储介质，至少具有与本专利技术第一方面实施例的方法同样的有益效果。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术实施例的方法的步骤示意图；图2为本专利技术实施例的方法中对数据的处理示意图；图3为本专利技术实施例中的系统的模块示意框图之一；图4为本专利技术实施例中的系统的模块示意框图之二。配置模块100、任务生成模块200、任务调度模块300、结果查看模块400；数据抽取模块310、数据转化模块320、数据写入模块330。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。在本专利技术的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。名词解释：资源组：是指群集服务作为一个逻辑单元进行管理的资源集合。通过将逻辑上相关的资源分成资源组，可以非常容易地管理应用资源和群集实体。Kafka：是一种高吞吐量的分布式发布订阅消息系统。Flume：一种日志收集系统。Sqoop：主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql等)间进行数据的传递，可以将一个关系型数据库(例如：MySQL,Oracle,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。参照图1，本专利技术的实施例的方法包括以下步骤：S100，接收数据同步请求，获取数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调本文档来自技高网...

【技术保护点】
1.一种异构数据源的数据同步方法，其特征在于，包括以下步骤：/nS100，接收数据同步请求，获取所述数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；/nS200，根据所述源数据库类型及所述目标数据库类型，读取相应的模板文件，基于所述模板文件组装所述同步数据属性信息，并根据所述任务调度配置信息生成相应的数据同步任务；/nS300，根据所述任务调度配置信息生成所述数据同步任务相应的数据读取线程及数据写入线程，所述数据读取线程根据所述源数据库类型及所述同步数据属性信息从源数据库中抽取待同步数据，所述数据写入线程根据所述目标数据库类型及所述同步数据属性信息将所述待同步数据写入至目标数据库。/n

【技术特征摘要】
1.一种异构数据源的数据同步方法，其特征在于，包括以下步骤：
S100，接收数据同步请求，获取所述数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；
S200，根据所述源数据库类型及所述目标数据库类型，读取相应的模板文件，基于所述模板文件组装所述同步数据属性信息，并根据所述任务调度配置信息生成相应的数据同步任务；
S300，根据所述任务调度配置信息生成所述数据同步任务相应的数据读取线程及数据写入线程，所述数据读取线程根据所述源数据库类型及所述同步数据属性信息从源数据库中抽取待同步数据，所述数据写入线程根据所述目标数据库类型及所述同步数据属性信息将所述待同步数据写入至目标数据库。


2.根据权利要求1所述的异构数据源的数据同步方法，其特征在于，所述同步数据属性信息包括：数据来源信息、数据去向信息、数据映射关系、脏数据检测规则及写入方式。


3.根据权利要求2所述的异构数据源的数据同步方法，其特征在于，所述步骤S300包括：
S310，所述数据读取线程根据所述源数据库类型调用相应的读取接口，通过所述数据来源信息获取所述待同步数据；
S320，根据所述数据去向信息对所述待同步数据进行类型转换，并通过所述脏数据检测规则对所述待同步数据进行检测过滤；
S330，所述数据写入线程根据所述目标数据库类型调用相应的写入接口，根据所述数据去向信息及所述写入方式，将检测过滤后的所述待同步数据写入目标数据库中。


4.根据权利要求2所述的异构数据源的数据同步方法，其特征在于，所述数据来源信息及所述数据去向信息均包括：数据库、表及字段；所述写入方式被配置为更新或者覆盖。


5.根据权利要求1所述的异构数据源的数据同步方法，其特征在于，所述步骤S300还包括：
在启动所述数据读取线程之前，根据所述模板文件中的预处理配置，通...

【专利技术属性】
技术研发人员：李柯辰，朱潇婷，唐宏禹，何伟，魏战松，曾子豪，王钎，李钏冉，
申请(专利权)人：珠海市卓轩科技有限公司，
类型：发明
国别省市：广东;44