异构数据源的数据同步方法及系统技术方案

本发明专利技术公开了一种异构数据源的数据同步方法及系统，其中该方法包括：接收数据同步请求，获取所述数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；根据所述源数据库类型及所述目标数据库类型，读取相应的模板文件，基于所述模板文件组装所述同步数据属性信息，并根据所述任务调度配置信息生成相应的数据同步任务；根据所述任务调度配置信息生成所述数据同步任务相应的数据读取线程及数据写入线程，从源数据库中抽取待同步数据并写入至目标数据库。本发明专利技术通过数据同步请求中的配置，可对异构数据进行高效的数据同步管理，从而使异构数据的集中汇聚，提高了数据的互用性，便于数据的集成管理。

【技术实现步骤摘要】
异构数据源的数据同步方法及系统
本专利技术涉及异构数据源的数据管理，特别涉及一种异构数据源的数据同步方法及系统。
技术介绍
IT业务系统很少跨部门、跨单位、跨层级进行统一规划和建设，导致业务系统处于分散、独立的状况，业务间数据资源不仅处于烟囱状态，数据资源的一致性和互用性较差，数据资源的价值无法充分发挥，数据之间的集成也是无章可循。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种异构数据源的数据同步方法，能够支持异构数据源之间的数据在异构网络下高效同步，集成数据。本专利技术还提出一种具有上述异构数据源的数据同步方法的异构数据源的数据同步系统。本专利技术还提出一种具有上述异构数据源的数据同步方法的计算机可读存储介质。根据本专利技术的第一方面实施例的异构数据源的数据同步方法，包括以下步骤：S100，接收数据同步请求，获取所述数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；S200，根据所述源数据库类型及所述目标数据库类型，读取相应的模板文本文档来自技高网...

【技术保护点】
1.一种异构数据源的数据同步方法，其特征在于，包括以下步骤：/nS100，接收数据同步请求，获取所述数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；/nS200，根据所述源数据库类型及所述目标数据库类型，读取相应的模板文件，基于所述模板文件组装所述同步数据属性信息，并根据所述任务调度配置信息生成相应的数据同步任务；/nS300，根据所述任务调度配置信息生成所述数据同步任务相应的数据读取线程及数据写入线程，所述数据读取线程根据所述源数据库类型及所述同步数据属性信息从源数据库中抽取待同步数据，所述数据写入线程根据所述目标数据库类型及所述同步数据属性信息将所述待同步数...

【技术特征摘要】
1.一种异构数据源的数据同步方法，其特征在于，包括以下步骤：
S100，接收数据同步请求，获取所述数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；
S200，根据所述源数据库类型及所述目标数据库类型，读取相应的模板文件，基于所述模板文件组装所述同步数据属性信息，并根据所述任务调度配置信息生成相应的数据同步任务；
S300，根据所述任务调度配置信息生成所述数据同步任务相应的数据读取线程及数据写入线程，所述数据读取线程根据所述源数据库类型及所述同步数据属性信息从源数据库中抽取待同步数据，所述数据写入线程根据所述目标数据库类型及所述同步数据属性信息将所述待同步数据写入至目标数据库。


2.根据权利要求1所述的异构数据源的数据同步方法，其特征在于，所述同步数据属性信息包括：数据来源信息、数据去向信息、数据映射关系、脏数据检测规则及写入方式。


3.根据权利要求2所述的异构数据源的数据同步方法，其特征在于，所述步骤S300包括：
S310，所述数据读取线程根据所述源数据库类型调用相应的读取接口，通过所述数据来源信息获取所述待同步数据；
S320，根据所述数据去向信息对所述待同步数据进行类型转换，并通过所述脏数据检测规则对所述待同步数据进行检测过滤；
S330，所述数据写入线程根据所述目标数据库类型调用相应的写入接口，根据所述数据去向信息及所述写入方式，将检测过滤后的所述待同步数据写入目标数据库中。


4.根据权利要求2所述的异构数据源的数据同步方法，其特征在于，所述数据来源信息及所述数据去向信息均包括：数据库、表及字段；所述写入方式被配置为更新或者覆盖。


5.根据权利要求1所述的异构数据源的数据同步方法，其特征在于，所述步骤S300还包括：
在启动所述数据读取线程之前，根据所述模板文件中的预处理配置，通...

【专利技术属性】
技术研发人员：李柯辰，朱潇婷，唐宏禹，何伟，魏战松，曾子豪，王钎，李钏冉，
申请(专利权)人：珠海市卓轩科技有限公司，
类型：发明
国别省市：广东;44