一种数据同步的方法及装置制造方法及图纸

本申请适用于计算机技术领域，提供了一种数据同步的方法，包括：获取数据同步指令；基于所述数据库地址信息、所述数据库权限信息和所述表名信息，确定所述目标数据对应的字段信息和字段类型；基于所述字段信息、所述字段类型、所述目标同步地址信息和预设分布式数据库工具，在分布式数据库中建立目标表；基于所述数据同步指令确定所述目标数据对应的同步脚本；基于所述同步脚本将所述目标数据同步至所述分布式数据库中的目标表。上述方法，通过生成同步脚本，把原本手动编写的脚本通过自动化实现，提高了数据同步的效率，并且减少了出错的可能。

A method and device of data synchronization

【技术实现步骤摘要】
一种数据同步的方法及装置
本申请属于计算机
，尤其涉及一种数据同步的方法及装置。
技术介绍
大数据开发中的第一个环节是将海量数据导入平台之中，供数据分析或算法建模，现有技术中针对存储在不同类型数据库的数据，导入的方式是手动编写对应的脚本，从而实现数据同步。但是现有的大批量数据导入的方式效率过低，并且容易在同步时出现错误。
技术实现思路
本申请实施例提供了一种数据同步的方法及装置，可以解决现有的大批量数据导入的方式效率过低，并且容易在同步时出现错误的问题。第一方面，本申请实施例提供了一种数据同步的方法，包括：获取数据同步指令；所述数据同步指令包括待同步的目标数据所属的关系数据库的数据库地址信息、数据库权限信息、所述目标数据在所述关系数据库中对应的表的表名信息、目标同步地址信息；基于所述数据库地址信息、所述数据库权限信息和所述表名信息，确定所述目标数据对应的字段信息和字段类型；基于所述字段信息、所述字段类型、所述目标同步地址信息和预设分布式数据库工具，在分布式数据库中建立目标表；所述分布式数据库为所述目标数据进行数据同步的目标数据库；所述目标表用于存储所述目标数据；基于所述数据同步指令确定所述目标数据对应的同步脚本；基于所述同步脚本将所述目标数据同步至所述分布式数据库中的目标表。进一步地，所述基于所述字段信息、所述字段类型和预设分布式数据库工具，在分布式数据库中建立目标表，包括：基于所述字段信息、所述字段类型和预设分布式数据库工具，确定元数据；所述元数据包括所述目标表的表信息；基于所述元数据在分布式数据库中建立目标表。进一步地，所述基于所述数据同步指令确定所述目标数据对应的同步脚本，包括：基于预设生成策略和所述数据同步指令，生成所述目标数据对应的ApacheSpark提交脚本。进一步地，所述数据同步指令还包括所述关系数据库的数据库类型；所述基于所述同步脚本将所述目标数据同步至所述分布式数据库中的目标表，包括：根据所述数据库类型确定关系数据库的驱动信息；基于所述同步脚本和所述驱动信息，确定可执行任务文件；基于所述可执行任务文件进行任务调度，将所述目标数据同步至所述分布式数据库中的目标表。进一步地，在所述基于所述可执行任务文件进行任务调度，将所述目标数据同步至所述分布式数据库中的目标表之后，还包括：当检测到所述可执行任务文件调度失败时，再次基于所述可执行任务文件进行任务调度。第二方面，本申请实施例提供了一种数据同步的装置，包括：获取单元，用于获取数据同步指令；所述数据同步指令包括待同步的目标数据所属的关系数据库的数据库地址信息、数据库权限信息、所述目标数据在所述关系数据库中对应的表的表名信息、目标同步地址信息；第一确定单元，用于基于所述数据库地址信息、所述数据库权限信息和所述表名信息，确定所述目标数据对应的字段信息和字段类型；建立单元，用于基于所述字段信息、所述字段类型、所述目标同步地址信息和预设分布式数据库工具，在分布式数据库中建立目标表；所述分布式数据库为所述目标数据进行数据同步的目标数据库；所述目标表用于存储所述目标数据；第二确定单元，用于基于所述数据同步指令确定所述目标数据对应的同步脚本；同步单元，用于基于所述同步脚本将所述目标数据同步至所述分布式数据库中的目标表。进一步地，所述建立单元，具体用于：基于所述字段信息、所述字段类型和预设分布式数据库工具，确定元数据；所述元数据包括所述目标表的表信息；基于所述元数据在分布式数据库中建立目标表。进一步地，所述第二确定单元，具体用于：基于预设生成策略和所述数据同步指令，生成所述目标数据对应的ApacheSpark提交脚本。进一步地，所述数据同步指令还包括所述关系数据库的数据库类型；所述同步脚本，具体用于：根据所述数据库类型确定关系数据库的驱动信息；基于所述同步脚本和所述驱动信息，确定可执行任务文件；基于所述可执行任务文件进行任务调度，将所述目标数据同步至所述分布式数据库中的目标表。进一步地，所述数据同步的装置，还包括：执行单元，用于当检测到所述可执行任务文件调度失败时，再次基于所述可执行任务文件进行任务调度。第三方面，本申请实施例提供了一种数据同步的设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面所述的数据同步的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面所述的数据同步的方法。第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如上述第一方面所述的数据同步的方法。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。本申请实施例中，获取数据同步指令；基于所述数据库地址信息、所述数据库权限信息和所述表名信息，确定所述目标数据对应的字段信息和字段类型；基于所述字段信息、所述字段类型、所述目标同步地址信息和预设分布式数据库工具，在分布式数据库中建立目标表；基于所述数据同步指令确定所述目标数据对应的同步脚本；基于所述同步脚本将所述目标数据同步至所述分布式数据库中的目标表。上述方法，通过生成同步脚本，把原本手动编写的脚本通过自动化实现，提高了数据同步的效率，并且减少了出错的可能。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请第一实施例提供的一种数据同步的方法的示意流程图；图2是本申请第一实施例提供的一种数据同步的方法中S103的细化的示意流程图；图3是本申请第一实施例提供的一种数据同步的方法中S105的细化的示意流程图；图4是本申请第二实施例提供的数据同步的装置的示意图；图5是本申请第三实施例提供的数据同步的设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、本文档来自技高网...

【技术保护点】
1.一种数据同步的方法，其特征在于，包括：/n获取数据同步指令；所述数据同步指令包括待同步的目标数据所属的关系数据库的数据库地址信息、数据库权限信息、所述目标数据在所述关系数据库中对应的表的表名信息、目标同步地址信息；/n基于所述数据库地址信息、所述数据库权限信息和所述表名信息，确定所述目标数据对应的字段信息和字段类型；/n基于所述字段信息、所述字段类型、所述目标同步地址信息和预设分布式数据库工具，在分布式数据库中建立目标表；所述分布式数据库为所述目标数据进行数据同步的目标数据库；所述目标表用于存储所述目标数据；/n基于所述数据同步指令确定所述目标数据对应的同步脚本；/n基于所述同步脚本将所述目标数据同步至所述分布式数据库中的目标表。/n

【技术特征摘要】
1.一种数据同步的方法，其特征在于，包括：
获取数据同步指令；所述数据同步指令包括待同步的目标数据所属的关系数据库的数据库地址信息、数据库权限信息、所述目标数据在所述关系数据库中对应的表的表名信息、目标同步地址信息；
基于所述数据库地址信息、所述数据库权限信息和所述表名信息，确定所述目标数据对应的字段信息和字段类型；
基于所述字段信息、所述字段类型、所述目标同步地址信息和预设分布式数据库工具，在分布式数据库中建立目标表；所述分布式数据库为所述目标数据进行数据同步的目标数据库；所述目标表用于存储所述目标数据；
基于所述数据同步指令确定所述目标数据对应的同步脚本；
基于所述同步脚本将所述目标数据同步至所述分布式数据库中的目标表。


2.如权利要求1所述的数据同步的方法，其特征在于，所述基于所述字段信息、所述字段类型和预设分布式数据库工具，在分布式数据库中建立目标表，包括：
基于所述字段信息、所述字段类型和预设分布式数据库工具，确定元数据；所述元数据包括所述目标表的表信息；
基于所述元数据在分布式数据库中建立目标表。


3.如权利要求1所述的数据同步的方法，其特征在于，所述基于所述数据同步指令确定所述目标数据对应的同步脚本，包括：
基于预设生成策略和所述数据同步指令，生成所述目标数据对应的ApacheSpark提交脚本。


4.如权利要求1所述的数据同步的方法，其特征在于，所述数据同步指令还包括所述关系数据库的数据库类型；
所述基于所述同步脚本将所述目标数据同步至所述分布式数据库中的目标表，包括：
根据所述数据库类型确定关系数据库的驱动信息；
基于所述同步脚本和所述驱动信息，确定可执行任务文件；
基于所述可执行任务文件进行任务调度，将所述目标数据同步至所述分布式数据库中的目标表。


5.如权利要求4所述的数据同步的方法，其特征在于，在所述基于所述可执行任务文件进行任务调度...

【专利技术属性】
技术研发人员：邓静茹，
申请(专利权)人：深圳市融壹买信息科技有限公司，
类型：发明
国别省市：广东;44