数据同步方法、装置及存储介质制造方法及图纸

本发明专利技术涉及数据处理技术，提出了一种数据同步方法、电子装置及存储介质。该方法包括：响应用户触发的对源数据库的第一数据表的同步请求，获取所述源数据库的配置文件中存储的所述第一数据表的同步路径与数据库信息；基于所述数据库信息分别登陆源数据库与目标数据库，对比所述第一数据表与所述目标数据库的第二数据表的表结构是否一致；若不一致，则按照预设命名规则修改目标数据库的所述第二数据表名，在所述目标数据库新建与所述第一数据表结构相同并与所述第二数据表的表名相同的第三数据表；读取所述第一数据表存储的数据，根据所述同步路径，将读取到的数据同步到所述第三数据表。利用本发明专利技术，提升了数据存入数据库的效率。

【技术实现步骤摘要】
数据同步方法、装置及存储介质
本专利技术涉及数据处理
，尤其涉及一种数据同步方法、装置及存储介质。
技术介绍
互联网的快速发展，使得应用的数据呈现飞速增长的趋势，企业需要将存储的这些数据，将这些数据由不同类型的业务数据库同步到大数据平台中，有利于以后更加方便地使用这些数据。在数据同步过程中，经常会遇到被同步的数据库的表结构发生变化的情况，这给数据同步工作造成困难。目前业内在数据同步过程中，遇到不同类型数据库的表结构发生变化时，往往需要提醒人工使用数据库自带的工具，将数据导出成文件，然后对文件进行处理再导入到另一个数据库。该方法需要不断的人工干预，不仅效率低，而且也容易出现差错。
技术实现思路
本专利技术提供一种数据同步方法、装置及存储介质，其主要目的是提升数据存入数据库的效率。为实现上述目的，本专利技术提供一种数据同步方法，该方法包括以下步骤：响应步骤：响应用户触发的对源数据库的第一数据表的同步请求，获取所述源数据库的配置文件中存储的所述第一数据表的同步路径与数据库信息，其中，所述数据库信息包括源数据库的账号与密码，以及目标数据库的账号与密码；对比步骤：基于所述数据库信息分别登陆源数据库与目标数据库，获取所述第一数据表及所述目标数据库的第二数据表的表结构，对比所述第一数据表、第二数据表的表结构是否一致，所述数据表的表结构包括数据表的字段名称与字段名称对应的数据类型；修改步骤：若所述第一数据表、第二数据表的表结构不一致，则按照预设命名规则修改所述第二数据表的表名，在所述目标数据库新建与所述第一数据表结构相同并与所述第二数据表的表名相同的第三数据表；及同步步骤：在预设时间内，读取所述第一数据表存储的数据，根据所述同步路径，将读取到的数据同步到所述第三数据表。优选地，将所述第一数据表的数据同步到所述第三数据表的同步方式为增量同步或全量同步。优选地，当将所述第一数据表的数据同步到所述第三数据表的方式为全量同步时，所述同步步骤包括：查询所述第一数据表的数据量，根据查询结果按照预设分批规则将所述第一数据表中的数据依次划分为多个批次，并将划分得到的数据批次号保存至预设日志表中；根据所述日志表中的数据批次号依次从所述第一数据表中读取数据。优选地，所述数据表的表结构变化包括：新增列、删除列、任意调整一个或多个列位置的组合。优选地，当数据同步完成时，分别统计所述第一数据表、第三数据表的数据量，若所述第一数据表的数据量与所述第三数据表的数据量相等，则显示数据同步成功的提示信息反馈给所述用户。此外，为实现上述目的，本专利技术还提供一种电子装置，该电子装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的数据同步程序，所述数据同步程序被所述处理器执行时实现如下步骤：响应步骤：响应用户触发的对源数据库的第一数据表的同步请求，获取所述源数据库的配置文件中存储的所述第一数据表的同步路径与数据库信息，其中，所述数据库信息包括源数据库的账号与密码，以及目标数据库的账号与密码；对比步骤：基于所述数据库信息分别登陆源数据库与目标数据库，获取所述第一数据表及所述目标数据库的第二数据表的表结构，对比所述第一数据表、第二数据表的表结构是否一致，所述数据表的表结构包括数据表的字段名称与字段名称对应的数据类型；修改步骤：若所述第一数据表、第二数据表的表结构不一致，则按照预设命名规则修改所述第二数据表的表名，在所述目标数据库新建与所述第一数据表结构相同并与所述第二数据表的表名相同的第三数据表；及同步步骤：在预设时间内，读取所述第一数据表存储的数据，根据所述同步路径，将读取到的数据同步到所述第三数据表。优选地，将所述第一数据表的数据同步到所述第三数据表的同步方式为增量同步或全量同步。优选地，当将所述第一数据表的数据同步到所述第三数据表的方式为全量同步时，所述同步步骤包括：查询所述第一数据表的数据量，根据查询结果按照预设分批规则将所述第一数据表中的数据依次划分为多个批次，并将划分得到的数据批次号保存至预设日志表中；根据所述日志表中的数据批次号依次从所述第一数据表中读取数据。优选地，当数据同步完成时，分别统计所述第一数据表的数据量和所述第三数据表的数据量，若所述第一数据表、第三数据表的数据量相等，则显示数据同步成功的提示信息反馈给所述用户。本专利技术提出的数据同步方法、服务器及计算机可读存储介质，响应用户触发的对源数据库的第一数据表的同步请求，获取所述源数据库的配置文件中存储的所述第一数据表的同步路径与数据库信息；基于所述数据库信息分别登陆源数据库与目标数据库，获取所述第一数据表及所述目标数据库的第二数据表的表结构，对比所述第一数据表、第二数据表的表结构是否一致；若不一致，则按照预设命名规则修改所述第二数据表的表名，在所述目标数据库新建与所述第一数据表结构相同并与所述第二数据表的表名相同的第三数据表；读取所述第一数据表存储的数据，根据所述同步路径，将读取到的数据同步到所述第三数据表，有效提升了数据存入数据库的效率。附图说明图1为本专利技术数据同步方法一实施例的流程图；图2为本专利技术电子装置一实施例的内部结构示意图；图3为图2中的数据同步程序一实施例的程序模块图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。参照图1所示，为本专利技术一实施例提供的数据同步方法的流程示意图。该方法可以由一个电子装置执行，该电子装置可以由软件和/或硬件实现。在本实施例中，该数据同步方法包括：步骤S10，响应用户触发的对源数据库的第一数据表的同步请求，获取所述源数据库的配置文件中存储的所述第一数据表的同步路径与数据库信息，其中，所述数据库信息包括源数据库的账号与密码，以及目标数据库的账号与密码。在本专利技术的一个实施例中，若接收到客户端发起的同步请求，需验证该用户是否有权限实施数据同步操作，若用户没有实施数据同步操作的权限，则提示用户无权操作的信息。在本实施例中，配置文件预先存储有第一数据表的同步路径与数据库信息。步骤S20，基于所述数据库信息分别登陆源数据库与目标数据库，获取所述第一数据表及所述目标数据库的第二数据表的表结构，对比所述第一数据表、第二数据表的表结构是否一致，所述数据表的表结构包括数据表的字段名称与字段名称对应的数据类型。步骤S30，若所述第一数据表、第二数据表的表结构不一致，则按照预设命名规则修改所述第二数据表的表名，在所述目标数据库新建与所述第一数据表结构相同并与所述第二数据表的表名相同的第三数据表。在本专利技术的一个实施例中，预设命名规则为：将目标数据库的第二数据表名修改为原表名+时间(年-月-日)+syn。例如，第一数据表为“用户点击统计”数据表，该“用户点击统计”数据表字段包括：序号、用户别名、点击时间、点击位置。目前，需要在“用户点击统计”数据表中加入“用户所在区域”这个字段，由于加入用户所在区域”字段导致源数据库的“用户点击统计”数据表的表结构发生变化，导致无法完成数据同步操作。当对比第一数据表与第二数据表的表结构发生改变时，按照预设命名规则将目标数据库的“用户点击统计”表的表名改成“用户点击统计+xx年xx月xx日+syn”。步骤S40，在预设时间内，读取所本文档来自技高网...

【技术保护点】
1.一种数据同步方法，应用于电子装置，其特征在于，所述方法包括：响应步骤：响应用户触发的对源数据库的第一数据表的同步请求，获取所述源数据库的配置文件中存储的所述第一数据表的同步路径与数据库信息，其中，所述数据库信息包括源数据库的账号与密码，以及目标数据库的账号与密码；对比步骤：基于所述数据库信息分别登陆源数据库与目标数据库，获取所述第一数据表及所述目标数据库的第二数据表的表结构，对比所述第一数据表、第二数据表的表结构是否一致，所述数据表的表结构包括数据表的字段名称与字段名称对应的数据类型；修改步骤：若所述第一数据表、第二数据表的表结构不一致，则按照预设命名规则修改所述第二数据表的表名，在所述目标数据库新建与所述第一数据表结构相同并与所述第二数据表的表名形同的第三数据表；及同步步骤：在预设时间内，读取所述第一数据表存储的数据，根据所述同步路径，将读取到的数据同步到所述第三数据表。

【技术特征摘要】
1.一种数据同步方法，应用于电子装置，其特征在于，所述方法包括：响应步骤：响应用户触发的对源数据库的第一数据表的同步请求，获取所述源数据库的配置文件中存储的所述第一数据表的同步路径与数据库信息，其中，所述数据库信息包括源数据库的账号与密码，以及目标数据库的账号与密码；对比步骤：基于所述数据库信息分别登陆源数据库与目标数据库，获取所述第一数据表及所述目标数据库的第二数据表的表结构，对比所述第一数据表、第二数据表的表结构是否一致，所述数据表的表结构包括数据表的字段名称与字段名称对应的数据类型；修改步骤：若所述第一数据表、第二数据表的表结构不一致，则按照预设命名规则修改所述第二数据表的表名，在所述目标数据库新建与所述第一数据表结构相同并与所述第二数据表的表名形同的第三数据表；及同步步骤：在预设时间内，读取所述第一数据表存储的数据，根据所述同步路径，将读取到的数据同步到所述第三数据表。2.如权利要求1所述的数据同步方法，其特征在于，将所述第一数据表的数据同步到所述第三数据表的同步方式为增量同步或全量同步。3.如权利要求2所述的数据同步方法，其特征在于，当将所述第一数据表的数据同步到所述第三数据表的方式为全量同步时，所述同步步骤包括：查询所述第一数据表的数据量，根据查询结果按照预设分批规则将所述第一数据表中的数据依次划分为多个批次，并将划分得到的数据批次号保存至预设日志表中；根据所述日志表中的数据批次号依次从所述第一数据表中读取数据。4.如权利要求1所述的数据同步方法，其特征在于，所述数据表的表结构变化包括：新增列、删除列、任意调整一个或多个列位置的组合。5.如权利要求1至4任意一项所述的数据同步方法，其特征在于，当数据同步完成时，分别统计所述第一数据表、第三数据表的数据量，若所述第一数据表的数据量与所述第三数据表的数据量相等，则显示数据同步成功的提示信息反馈给所述用户。6.一种电子装置，包括存储器和处理器，其特征在于，...

【专利技术属性】
技术研发人员：李江宁，刘惠彬，熊一龙，戴秀凤，
申请(专利权)人：招商局金融科技有限公司，
类型：发明
国别省市：广东,44