数据同步方法及装置、电子设备、计算机可读存储介质制造方法及图纸

本公开提供了一种数据同步方法及装置、电子设备、计算机可读存储介质，该方法包括：通过元数据查询接口从源数据源中查询获得元数据，并从元数据中获取需要同步的目标数据；基于选择的同步工具的工具类型，生成和部署与工具类型对应的同步配置文件；通过同步工具，基于同步配置文件将目标数据同步到目标数据源。根据本公开的实施例，可以提高数据同步效率。可以提高数据同步效率。可以提高数据同步效率。

【技术实现步骤摘要】
数据同步方法及装置、电子设备、计算机可读存储介质


[0001]本公开涉及计算机
，特别涉及一种数据同步方法及装置、电子设备、计算机可读存储介质。

技术介绍

[0002]随着计算机技术和互联网行业的飞速发展，各行各业以及日常生活中产生的数据日渐增长，例如，员工信息、订单记录、网页(Web)浏览记录等。由于不同的数据库具有不同的功能特点，因此，可以通过不同的数据库对数据进行不同方面的管理；为了提高数据管理效率，使得数据保持完整性和统一性，需要在不同数据库之间进行数据同步。
[0003]常用的数据同步方法是使用数据同步工具编写结构化查询语言(Structure Query Language，SQL)，在数据源管理工具中执行该SQL以获取需要同步的数据，将需要同步的数据通过规定方式写入目标存储介质中，该数据同步方法可以通过脚本语言实现一定程度的自动化，但开发测试等工作量较大，数据同步效率低。因此，在数据同步领域中，如何高效的进行数据同步成为当今研究的热点问题之一。

技术实现思路

[0004]本公开提供一种数据同步方法及装置、电子设备、计算机可读存储介质，可以提高数据同步效率。
[0005]第一方面，本公开提供了一种数据同步方法，该数据同步方法包括：通过元数据查询接口从源数据源中查询获得元数据，并从元数据中获取需要同步的目标数据；基于选择的同步工具的工具类型，生成和部署与工具类型对应的同步配置文件；通过同步工具，基于同步配置文件将目标数据同步到目标数据源。
[0006]第二方面，本公开提供了一种数据同步装置，该数据同步装置包括：查询模块，用于通过元数据查询接口从源数据源中查询获得元数据，并从元数据中获取需要同步的目标数据；配置模块，用于基于选择的同步工具的工具类型，生成和部署与工具类型对应的同步配置文件；同步模块，用于通过同步工具，基于同步配置文件将目标数据同步到目标数据源。
[0007]第三方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的一个或多个计算机程序，一个或多个计算机程序被至少一个处理器执行，以使至少一个处理器能够执行上述的数据同步方法。
[0008]第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，计算机程序在被处理器/处理核执行时实现上述的数据同步方法。
[0009]第五方面，本公开提供了一种计算机程序或计算机程序产品，该计算机程序产品包括计算机程序，计算机程序可存储于计算机可读存储介质中，计算机程序被处理器执行时实现上述的数据同步方法。
[0010]本公开所提供的实施例的数据同步方法，通过元数据查询接口查询获取元数据，并从查询得到的元数据中获取需要同步的目标数据，自动生成不同类型的同步工具的同步配置文件，从而适配不同类型的同步工具；数据同步过程无需开发和测试数据采集脚本，从而有利于减少数据同步的工作量，提高数据同步效率。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
[0013]图1为本公开实施例提供的一种数据同步方法的流程图；
[0014]图2为本公开实施例提供的数据同步系统的框架示意图；
[0015]图3为本公开实施例提供的一种数据同步装置的框图；
[0016]图4为本公开实施例提供的一种电子设备的框图。
具体实施方式
[0017]为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0018]在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
[0019]如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
[0020]本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0021]除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
[0022]在相关技术中，数据同步方法包括如下步骤：根据数据同步需求开发数据采集脚本，并在数据采集脚本通过脚本测试的情况下，根据采集工具的规范创建该数据采集脚本对应的采集配置文件；将采集配置文件保存到采集工具所在服务器的指定目录下，并启动采集任务；在采集任务执行过程中，可以查看任务输出日志和查看运行结果，通过人工判断是否存在采集异常；如果存在采集异常，则进行数据采集脚本的修复或配置文件的修复，并
重新启动任务；如果不存在异常则本次数据同步完成。
[0023]在相关技术的数据同步方法中，对数据采集脚本进行开发测试的工作量较大；常用的数据同步工具不支持规范化的采集配置文件自动生成，只能通过人工进行分析数据同步需求，以及通过人工进行同步配置文件编写，数据同步效率低。
[0024]根据本公开实施例的数据同步方法，可以通过元数据自动生成不同类型的同步工具的同步配置文件，从而适配不同类型的同步工具；并且，无需开发和测试数据采集脚本，从而有利于减少数据同步的工作量，提高数据同步效率。
[0025]根据本公开实施例的数据同步方法可以由终端设备或服务器等电子设备执行，终端设备可以为车载设备、用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等，方法可以通过处理器调用存储器中存储的计算机可读程序指令的方式来实现。服务器可以包括独立本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：通过元数据查询接口从源数据源中查询获得元数据，并从所述元数据中获取需要同步的目标数据；基于选择的同步工具的工具类型，生成和部署与所述工具类型对应的同步配置文件；通过所述同步工具，基于所述同步配置文件将所述目标数据同步到目标数据源。2.根据权利要求1所述的方法，其特征在于，所述元数据包括数据源名称、实体信息和对应的实体属性信息；所述通过元数据查询接口从源数据源中查询获得元数据，并从所述元数据中获取需要同步的目标数据，包括：调用所述元数据查询接口，使用数据源名称查询所述源数据源，并从查找到的源数据源中获取对应的多个候选实体信息和多个候选实体属性信息；通过页面展示所述多个候选实体信息和所述多个候选实体属性信息；其中，所述页面中包含用于标记多个候选实体信息的多个第一控件元素和用于标记多个候选实体属性信息的多个第二控件元素；一个候选实体信息对应一个第一控件元素，一个候选实体属性信息对应一个第二控件元素；响应于针对多个第一控件元素和多个第二控件元素的操作指令，将被操作的第一控件元素标记的候选实体信息，以及被操作的第二控件元素对应的候选实体属性信息，作为需要同步的目标数据。3.根据权利要求2所述的方法，其特征在于，所述源数据源的类型包括数据库类型和系统接口类型；若所述源数据源的类型为数据库类型，则所述数据源名称为数据库名称，所述实体信息为表名称，所述实体属性信息为对应表中的字段名称；若所述源数据源的类型为系统接口类型，则所述数据源名称为接口名称，所述实体信息为系统接口的请求结构信息和响应结构信息，所述实体属性信息为所对应请求结构中的字段信息和所对应响应结构中的字段信息。4.根据权利要求3所述的方法，其特征在于，所述元数据中还包括：与数据源类型对应的相关属性信息；在所述源数据源类型为数据库类型的情况下，所述相关属性信息包括如下信息项中的至少一项：数据库链接信息和数据库登录信息；在所述源数据源类型为系统接口类型的情况下，所述相关属性信息包括如下信息项中的至少一项：接口链接信息和接口配置信息。5.根据权利要求1所述的方法，其特征在于，所述基于选择的同步工具的工具类型，生成和部署与所述工具类型对应的同步配置文件，包括：获取目标数据源的被选择的索引信息，并调用所述元数据查询接口，使用所述索引信息从所述元数据中查询与所述索引信息相对应的实体属性信息；确定所述元数据中的实体属性信息和所述索引信息所对应的实体属性信息之间的一一对应关系；根据所述同步工具的工具类型，获取与所述工具类型对应的同步配置参数；根据所述一一对应关系和所述同步配置参数，生成与所述工具类型对应的同步配置文件，以用于通过同步配置文件记录：所述目标数据中的实体属性信息与所述索引信息所对
应的实体属性信息的同步对应关系。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：将所述同步配置文件部署至指定文件路径；其中，所述同步工具具有所述指定文件路径的访问权限；其中，所述将所述同步配置文件部署至指定文件路径，包括：采用共享文件的方式，将所述同步配置文件挂载到本地文件目录，以用于在本地对所述同步配置文件进行共享访问；所述通过所述同步工具，基于所述同步配置文件将所述目标数据同步到目标数据源，包括：启动预先创建的所述同步工具的多个同步实例；其中，每个同步实例均用于进行目标数据的同步；根据所述多个同步实例在本地共享访问所述同步配置文件，并通过所述多个同步实例共...

【专利技术属性】
技术研发人员：彭鹏，胡兵，林伟华，吴海英，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：