数据同步方法和系统、计算机可读存储介质技术方案

本公开是关于一种数据同步方法和系统、计算机可读存储介质。该方法包括：响应于在第一交互界面内配置数据源的操作，连接多个数据源；然后，响应于在第二交互界面内创建任务的操作，生成任务配置文件；之后，响应于在第三交互界面内启动数据同步任务的操作，将源数据源内的待同步数据同步至目标数据源。这样，本实施例中通过可视化的配置操作可以实现不同数据源之间数据的传输，无需重复开发；并且配置过程简单，可以降低学习成本。可以降低学习成本。可以降低学习成本。

【技术实现步骤摘要】
数据同步方法和系统、计算机可读存储介质


[0001]本公开涉及数据处理
，尤其涉及一种数据同步方法和系统、计算机可读存储介质。

技术介绍

[0002]目前，各行各业会形成不同的数据中心，并且各个数据中心相互隔离。当需求两个数据中心的数据时可以将一个数据中心的数据同步到另一个数据，如相关技术中数据ETL(Extract
‑
Transform
‑
Load，提取
‑
转换
‑
加载)转换工具可以从一个数据中心的集群内抽取数据并同步到另一个数据中心的集群内。为此，相关技术中通常需要为各个数据中心开发相应的ETL转换工具。然而，不同数据中心或者不同项目重复开发ETL转换工具会浪费开发时间，延长开发周期，降低开发效率。

技术实现思路

[0003]本公开提供一种数据同步方法和系统、计算机可读存储介质，以解决相关技术的不足。
[0004]根据本公开实施例的第一方面，提供一种数据同步方法，包括：
[0005]响应于在第一交互界面内配置数据源的操作，连接多个数据源；
[0006]响应于在第二交互界面内创建任务的操作，生成任务配置文件；
[0007]响应于在第三交互界面内启动数据同步任务的操作，将源数据源内的待同步数据同步至目标数据源。
[0008]可选地，响应于在第一交互界面内配置数据源的操作，连接多个数据源，包括：
[0009]响应于在所述第一交互界面内选择数据源的操作，获取所述操作对应的数据源；所述数据源包括源数据源和目标数据源；
[0010]响应于在所述第一交互界面内修改配置参数的操作，获取目标配置参数；
[0011]响应于在所述第一交互界面内测试连接所述源数据源和所述目标数据源的操作，尝试连接所述源数据源和所述目标数据源；
[0012]响应于连接成功，保存所述数据源。
[0013]可选地，所述同步规则采用热更新，包括：
[0014]响应于表示修改目标配置参数的操作，修改任务配置文件内配置表格的目标配置参数，所述任务配置文件存储到目标数据库中。
[0015]可选地，响应于在第二交互界面内创建任务的操作，生成任务配置文件，包括：
[0016]响应于在所述第二交互界面内配置任务信息的操作，获取任务信息；
[0017]响应于在所述第二交互界面内选择源数据源的操作，获取源数据源；
[0018]响应于在所述第二交互界面内选择待同步数据的操作，获取待同步数据；
[0019]响应于在所述第二交互界面内选择同步规则的操作，获取同步规则；
[0020]响应于在所述第二交互界面内选择目标数据源的操作，获取目标数据源；
[0021]响应于在所述第二交互界面内配置执行周期和频率的操作，获取执行周期和频率；
[0022]响应于在所述第二交互界面内创建数据同步任务的操作，创建目标任务，所述目标任务用于按照所述执行周期和频率以及同步规则将所述源数据源中的待同步数据同步到所述目标数据源。
[0023]可选地，响应于在第三交互界面内启动数据同步任务的操作，将源数据源内的待同步数据同步至目标数据源，包括：
[0024]响应于启动数据同步任务的操作，确定所启动任务的任务类型，并根据所述任务类型选择对应的数据同步插件；
[0025]解析所述任务配置文件，得到源数据源、目标数据源、同步规则、执行周期和频率以及待同步数据；
[0026]从所述源数据源读取所述待同步数据并根据所述同步规则确定是否转换所述待同步数据；
[0027]响应于确定转换所述待同步数据，转换所述待同步数据；响应于确定不转换所述待同步数据，输出转换后的转换数据到所述目标数据源；
[0028]获取执行结果数据。
[0029]可选地，所述同步规则采用热更新。
[0030]可选地，所述同步规则采用热更新，包括：
[0031]测试新的同步规则；
[0032]当所述新的同步规则正确时，将新的同步规则处理为目标文档格式的目标数据包；所述目标文档格式与所述规则加载接口相匹配；
[0033]将所述目标数据包存储到预设的指定目录之内，以使预设的规则加载接口读取所述目标数据包并使用所述目标数据包对应的同步规则。
[0034]根据本公开实施例的第二方面，提供一种数据同步系统，包括数据源管理模块、任务管理模块和后台启动任务模块；
[0035]所述数据源管理模块，用于响应于在第一交互界面内配置数据源的操作，连接多个数据源；
[0036]所述任务管理模块，用于响应于在第二交互界面内创建任务的操作，生成任务配置文件；
[0037]所述后台启动任务模块，用于响应于在第三交互界面内启动数据同步任务的操作，将源数据源内的待同步数据同步至目标数据源。
[0038]可选地，所述数据源管理模块响应于在第一交互界面内配置数据源的操作，连接多个数据源，包括：
[0039]响应于在所述第一交互界面内选择数据源的操作，获取所述操作对应的数据源；所述数据源包括源数据源和目标数据源；
[0040]响应于在所述第一交互界面内修改配置参数的操作，获取目标配置参数；
[0041]响应于在所述第一交互界面内测试连接所述源数据源和所述目标数据源的操作，尝试连接所述源数据源和所述目标数据源；
[0042]响应于连接成功，保存所述数据源；或者，响应于连接不成功，重新执行获取目标
配置参数的步骤。
[0043]可选地，所述任务管理模块采用热更新方式更新所述同步规则，包括：
[0044]响应于表示修改目标配置参数的操作，修改任务配置文件内配置表格的目标配置参数，所述任务配置文件存储到目标数据库中。
[0045]可选地，所述任务管理模块响应于在第二交互界面内创建任务的操作，生成任务配置文件，包括：
[0046]响应于在所述第二交互界面内配置任务信息的操作，获取任务信息；
[0047]响应于在所述第二交互界面内选择源数据源的操作，获取源数据源；
[0048]响应于在所述第二交互界面内选择待同步数据的操作，获取待同步数据；
[0049]响应于在所述第二交互界面内选择同步规则的操作，获取同步规则；
[0050]响应于在所述第二交互界面内选择目标数据源的操作，获取目标数据源；
[0051]响应于在所述第二交互界面内配置执行周期和频率的操作，获取执行周期和频率；
[0052]响应于在所述第二交互界面内创建数据同步任务的操作，创建目标任务，所述目标任务用于按照所述执行周期和频率以及同步规则将所述源数据源中的待同步数据同步到所述目标数据源。
[0053]可选地，所述后台启动任务模块响应于在第三交互界面内启动数据同步任务的操作，将源数据源内的待同步数据同步至目标数据源，包括：
[0054]响应于启动数据同步任务的操作，确定所启动任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：响应于在第一交互界面内配置数据源的操作，连接多个数据源；响应于在第二交互界面内创建任务的操作，生成任务配置文件；响应于在第三交互界面内启动数据同步任务的操作，将源数据源内的待同步数据同步至目标数据源。2.根据权利要求1所述的方法，其特征在于，响应于在第一交互界面内配置数据源的操作，连接多个数据源，包括：响应于在所述第一交互界面内选择数据源的操作，获取所述操作对应的数据源；所述数据源包括源数据源和目标数据源；响应于在所述第一交互界面内修改配置参数的操作，获取目标配置参数；响应于在所述第一交互界面内测试连接所述源数据源和所述目标数据源的操作，尝试连接所述源数据源和所述目标数据源；响应于连接成功，保存所述数据源。3.根据权利要求2所述的方法，其特征在于，所述同步规则采用热更新，包括：响应于表示修改目标配置参数的操作，修改任务配置文件内配置表格的目标配置参数，所述任务配置文件存储到目标数据库中。4.根据权利要求1所述的方法，其特征在于，响应于在第二交互界面内创建任务的操作，生成任务配置文件，包括：响应于在所述第二交互界面内配置任务信息的操作，获取任务信息；响应于在所述第二交互界面内选择源数据源的操作，获取源数据源；响应于在所述第二交互界面内选择待同步数据的操作，获取待同步数据；响应于在所述第二交互界面内选择同步规则的操作，获取同步规则；响应于在所述第二交互界面内选择目标数据源的操作，获取目标数据源；响应于在所述第二交互界面内配置执行周期和频率的操作，获取执行周期和频率；响应于在所述第二交互界面内创建数据同步任务的操作，创建目标任务，所述目标任务用于按照所述执行周期和频率以及同步规则将所述源数据源中的待同步数据同步到所述目标数据源。5.根据权利要求1所述的方法，其特征在于，响应于在第三交互界面内启动数据同步任务的操作，将源数据源内的待同步数据同步至目标数据源，包括：响应于启动数据同步任务的操作，确定所启动任务的任务类型，并根据所述任务类型选择对应的数据同步插件；解析所述任务配置文件，得到源数据源、目标数据源、同步规则、执行周期和频率以及待同步数据；从所述源数据源读取所述待同步数据并根据所述同步规则确定是否转换所述待同步数据；响应于确定转换所述待同步数据，转换所述待同步数据；响应于确定不转换所述待同步数据，输出转换后的转换数据到所述目标数据源；获取执行结果数据。6.根据权利要求5所述的方法，其特征在于，所述同步规则采用热更新。
7.根据权利要求6所述的方法，其特征在于，所述同步规则采用热更新，包括：测试新的同步规则；当所述新的同步规则正确时，将新的同步规则处理为目标文档格式的目标数据包；所述目标文档格式与所述规则加载接口相匹配；将所述目标数据包存储到预设的指定目录之内，以使预设的规则加载接口读取所述目标数据包并使用所述目标数据包对应的同步规则。8.一种数据同步系统，其特征在于，包括：数据源管理模块、任务管理模块和后台启动任务模块；所述数据源管理模块，用于响应于在第一交互界面内配置数据源的操作，连接多个数据源；所述任务管理模块，用于响应于在第二交互界面内创建任务的操作，生成任务配置...

【专利技术属性】
技术研发人员：关蕊，张宁，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：