【技术实现步骤摘要】
本专利技术涉及数据库数据同步领域，为企业管理软件应用者提供了一个自动化备份工具，从而大大提高企业人员的办公效率，具体来说，涉及一种基于配置参数实现跨数据库类型同步数据的方法。
技术介绍
1、跨数据库类型同步数据是指将一个数据库管理系统的数据同步到另一个数据库管理系统中，这两个数据库管理系统可能使用不同的数据库类型和架构。这种同步可以是单向的，即只将一方的数据同步到另一方，也可以是双向的，即两边的数据互相同步更新。跨数据库类型同步数据需要考虑数据格式、数据类型、索引和查询语言等差异，并且需要使用专门的工具或者编写应用程序来实现。这种技术在跨平台应用程序和企业级应用程序中非常常见，因为它可以让不同的数据库之间实现数据共享和协作。
2、在企业管理软件应用的时候，数据备份是必不可少的内容，不少企业会存在不同子公司、不同部门之间业务数据在备份后需要修改的需求。常规的数据备份都是直接将数据库全量备份，无法实现差异调整；并且在备份时往往会占用服务器资源，影响系统使用，另外常规备份也不具有实时性。
3、例如中国专利201310719511.4公开了一种基于配置参数实现跨数据库类型同步数据的方法，其包括配置参数，读取数据库数据写入内存，读取内存数据同步数据库，用于不同数据类型的数据库数据同步。但是上述跨数据库类型同步数据的方法在具体应用时还存在以下不足：如果不同子公司、不同部门的业务数据在备份后需要修改，常规的全量备份方式无法实现差异调整。其次，备份时会占用服务器资源，影响系统的正常使用。此外，常规备份也无法实现实时备份的
4、针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
1、针对相关技术中的问题，本专利技术提出一种基于配置参数实现跨数据库类型同步数据的方法，以克服现有相关技术所存在的上述技术问题。
2、为此，本专利技术采用的具体技术方案如下：
3、一种基于配置参数实现跨数据库类型同步数据的方法，该方法包括以下步骤：
4、s1、确定若干数据库，并根据不同的数据库类型，选择对应的数据库连接驱动和参数配置，同时创建数据同步逻辑，且对系统基础表进行设计；
5、s2、基于消息队列且由备份库执行程序异步地对数据库进行备份；
6、s3、设定同步数据库预测任务，并基于同步预测算法完成数据库的自动备份推荐。
7、进一步的，所述创建数据同步逻辑包括以下步骤：
8、读取备份源数据库中的数据、转换数据类型及格式，并确定写入备份目的数据库中的数据；
9、获取备份目的数据库的特点和限制，并对备份源数据库和备份目的数据库的数据类型进行映射；
10、对不同数据库之间的语法规则进行转换，且将备份源数据库中的数据转换为备份目的数据库中的数据格式，并进行数据校验和校准；
11、在数据同步任务中设置错误处理和异常处理机制，以保证数据同步的可靠性和稳定性；
12、测试和优化数据同步任务，确保数据同步的正确性和效率。
13、进一步的，所述对系统基础表进行设计包括以下步骤：
14、设定备份源数据库具有唯一主键字段；
15、设定备份目的数据库具有要有唯一主键、最后修改时间及备份源数据库id字段。
16、进一步的，所述基于消息队列且由备份库执行程序异步地对数据库进行备份包括以下步骤：
17、若执行数据库结构化查询语句时，则将数据库结构化查询语句发送到消息队列中，并由备份库执行程序异步地从消息队列中接收到数据库结构化查询语句，同时在备份目的数据库上执行数据库结构化查询语句；
18、在执行数据库结构化查询语句之前，备份库执行程序先校验备份目的数据库中与该条数据库结构化查询语句对应的数据的最后修改时间；
19、若该最后修改时间与备份源数据库中的最后修改时间相同，则备份库执行程序将直接执行该条数据库结构化查询语句；
20、若该最后修改时间与备份源数据库中的最后修改时间相同有差别，则备份库执行程序执行其他操作；
21、其中，所述其他操作包括选择忽略该条数据库结构化查询语句及覆盖备份目的数据库中的数据。
22、进一步的，所述设定同步数据库预测任务，并基于同步预测算法完成数据库的自动备份推荐包括以下步骤：
23、设定同步数据库预测任务，并确定预测任务开始的时间；
24、通过同步预测算法完成数据库的自动备份推荐；
25、其中，所述设定同步数据库预测任务，并确定预测任务开始的时间时，时间点包括一次、每天及每周，若该预测任务开始的时间点取消，则该预测任务不再被执行，且过期后的预测任务不再被执行。
26、进一步的，所述通过同步预测算法完成数据库的自动备份推荐包括以下步骤：
27、获取备份目的数据库对备份源数据库的评分数据矩阵，同时备份源数据库的数量为n，备份目的数据库的数量为m；
28、通过聚类算法对所有备份源数据库中的数据进行聚类，得到若干数据块；
29、计算得到备份目的数据库对备份源数据库的同步任务的得分矩阵，并通过余弦相似性计算得到两个备份目的数据库对一个备份源数据库中同步任务的得分相似度，同时同步任务中包含若干数据块；
30、计算得到两个备份目的数据库对一个备份源数据库中同步任务的数据块的偏好度；
31、将得分相似度与偏好度相乘，得到同步任务的相似性值；
32、若相似性值大于等于预先设定的阈值，则两个备份目的数据库标定为互为推荐，且其中一个同步任务完成数据同步至一个备份目的数据库，则将同步任务的数据自动推荐至另一个备份目的数据库，并进行标记。
33、进一步的，所述计算得到备份目的数据库对备份源数据库的同步任务的得分矩阵包括以下步骤：
34、获取每个备份源数据库进行数据同步的同步任务以及备份目的数据库对每个同步任务的打分数据，并计算得到同步任务的打分矩阵，且每个备份源数据库的同步任务数量为k；
35、将同步任务的打分矩阵与评分数据矩阵相乘，得到备份目的数据库对备份源数据库中各个同步任务的得分矩阵：
36、
37、式中，m为备份目的数据库的数量；
38、k为备份源数据库的同步任务数量。
39、进一步的，所述计算得到两个备份目的数据库对一个备份源数据库中同步任务的数据块的偏好度包括以下步骤：
40、获取备份目的数据库对备份源数据库中某一数据块的访问次数以及该数据块的同步次数；
41、将同步次数除以访问次数，得到备份目的数据库对该数据块的兴趣值；
42、计算备份目的数据库之间对备份源数据库中某一数据块的偏好度：
43、
44、式中，lua为备份目的数据库u本文档来自技高网...
【技术保护点】
1.一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，所述创建数据同步逻辑包括以下步骤：
3.根据权利要求1所述的一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，所述对系统基础表进行设计包括以下步骤：
4.根据权利要求1所述的一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，所述基于消息队列且由备份库执行程序异步地对数据库进行备份包括以下步骤：
5.根据权利要求1所述的一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，所述设定同步数据库预测任务，并基于同步预测算法完成数据库的自动备份推荐包括以下步骤：
6.根据权利要求5所述的一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，所述通过同步预测算法完成数据库的自动备份推荐包括以下步骤：
7.根据权利要求6所述的一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，所述计算得到备份目的数据库对备份源数据
8.根据权利要求7所述的一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，所述计算得到两个备份目的数据库对一个备份源数据库中同步任务的数据块的偏好度包括以下步骤：
9.根据权利要求8所述的一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，所述通过聚类算法对所有备份源数据库中的数据进行聚类，得到若干数据块包括以下步骤：
10.根据权利要求9所述的一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，所述随机化打乱包括以下步骤：
...【技术特征摘要】
1.一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，所述创建数据同步逻辑包括以下步骤：
3.根据权利要求1所述的一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，所述对系统基础表进行设计包括以下步骤：
4.根据权利要求1所述的一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，所述基于消息队列且由备份库执行程序异步地对数据库进行备份包括以下步骤：
5.根据权利要求1所述的一种基于配置参数实现跨数据库类型同步数据的方法，其特征在于，所述设定同步数据库预测任务，并基于同步预测算法完成数据库的自动备份推荐包括以下步骤：
6.根据权利要求5所述的一种基于配置参数实现跨...
【专利技术属性】
技术研发人员：胡传伟，杨新宇，张强，于大伟，
申请(专利权)人：山东融科数据服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。