一种用于同步子数据库数据的实时双向同步系统技术方案

本发明专利技术公开了一种用于同步子数据库数据的实时双向同步系统，涉及涉及传输与承载技术领域。为了解决无法对备份数据进行数据传输效率的优化，导致在数据备份过程中备份时间较长，数据传输效率较低的问题；一种用于同步子数据库数据的实时双向同步系统，包括数据库中心、异地备份中心和扩展调度平台；通过精准评估目标数据在通信链路中进行数据传输的传输效率，进行优化处理，从而提高目标数据在通信链路进行传输的效率，实现对目标数据库的风险指标值进行准确可靠的计算，及时采取相应措施对目标数据库进行处理，保障了目标数据库中数据的安全，实现数据同步的同时具有存储和处理能力，处理新数据以及对其进行的任何类型的分析。析。析。

【技术实现步骤摘要】
一种用于同步子数据库数据的实时双向同步系统


[0001]本专利技术涉及涉及传输与承载
，特别涉及一种用于同步子数据库数据的实时双向同步系统。

技术介绍

[0002]随着现在各个业务系统的不断融合和深入分析，现在需要一种崭新的方式用于不同数据库子系统间的数据同步。关于数据库同步，已有相关专利，比如公开号为CN1 10222114B的中国专利公开了一种数据库中数据双向同步的方法及设备，所述方法包括：给双向数据同步服务分配标记，将分配标记后的双向数据同步服务，与相应的目标端数据库建立连接，并将所述标记设置在所述连接上；分析同步日志文件，获取日志操作中的事务，并提取所述事务中相应的所述标记，若所述标记中的值不与所述同步服务分配的标记值对应，则所述双向数据同步服务采用设置了所述标记的连接，将所述事务发送至目标端数据库进行同步。该专利可以在无需创建辅助表以及执行辅助表数据插入的情况下，实现DDL操作和DML操作的双向同步，避免同步操作陷入死循环。
[0003]然而该专利技术虽然解决了数据库双向同步的问题，但在实际使用过程中仍存在以下问题：
[0004]大数据是大型且复杂的数据，难以存储，处理，分析并使用，大数据的组成部分中有非结构化数据，其形式为网页，网络日志，电子邮件，备忘录，评论，用户组，聊天，传感器数据，图像文件，音频视频文件和营销材料，新闻等。在储存数据的同时无法对数据库中的数据内容进行处理与分析，无法将结构化数据与非结构化数据进行分类同步；无法对备份数据进行数据传输效率的优化，导致在数据备份过程中备份时间较长，数据传输效率较低，且现有的数据库结构不能够支持后期的功能业务扩张，技术选型以及架构比较紊乱，维护困难且成本较高。

技术实现思路

[0005]本专利技术的目的在于提供一种用于同步子数据库数据的实时双向同步系统，通过计算目标数据在通信链路中进行数据传输的吞吐量与目标数据在传输周期内的能耗从而有利于精准评估目标数据在通信链路中进行数据传输的传输效率，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：
[0007]一种用于同步子数据库数据的实时双向同步系统，包括数据库中心、异地备份中心和扩展调度平台，所述数据库中心设置有异域网络接口，基于无线网络与异地备份中心进行数据交互，扩展调度平台分别与异地备份中心和数据库中心进行数据交互；
[0008]所述数据库中心包括中心数据库和子数据库，用于将中心数据库的数据与子数据库的数据进行双向同步；
[0009]所述异地备份中心，用于处理与分析数据库中心的数据，并基于分析结果剔除冗
余数据，进行数据库中心的数据存储备份；
[0010]所述扩展调度平台，用于跟踪并记录子数据库与中心数据库数据变化，建立运行日志，并计算子数据库与中心数据库的风险指数，基于所述风险指数进行风险管理。
[0011]进一步的，所述中心数据库包括：
[0012]数据读取单元，用于对子数据库中的动态数据进行读取，确定所述动态数据的数据类型；
[0013]数据分类单元，用于基于所述数据类型将动态数据中的数据分类打包生成子数据集，并基于数据类型生成对应标签；
[0014]数据确认单元，用于基于标签将动态数据与历史数据一一比对，确认目标数据；
[0015]数据传输单元，用于创建目标子数据库与中心数据库的第一通信链路、源子数据库与中心数据库的第二通信链路；
[0016]所述数据传输单元，还用于确定第一通信链路和第二通信链路的通信标识，基于通信标识确定目标子数据库与源子数据库的通信链路；
[0017]数据写入单元，用于基于目标子数据库与源子数据库的通信链路将源子数据库中的目标数据写入目标子数据库；
[0018]数据校验单元，用于获取所述数据中的重要数据，并基于校验标准对重要数据进行校验，并将不符合检验结果的数据进行剔除；
[0019]备份连接单元，用于基于日志解析方式将中心数据库的变化数据传输至异地备份中心。
[0020]进一步的，所述数据写入单元中，基于目标子数据库与原子数据库的通信链路将原子数据库中的目标数据写入目标子数据库中，还包括，确定通信链路的传输性能，具体为：
[0021]第一计算模块，用于：
[0022]获取对目标数据在通信链路中进行传输的传输周期以及传输周期中每个时间段对应要传输目标数据的数据量；
[0023]基于传输周期以及以及传输周期中每个时间段对应要传输目标数据的数据量计算目标数据在通信链路中进行数据传输的吞吐量；
[0024][0025]其中，r表示目标数据在通信链路中进行数据传输的吞吐量；T表示传输周期，且T＝{t1，t2，...，t
i
}，且t1表示传输周期中第1个时间段；t2表示传输周期中第2个时间段；t
i
表示传输周期中第i个时间段；i表示传输周期中当前个时间段；R(t
i
)表示在传输周期中第i个时间段中要传输目标数据的数据量；
[0026]第二计算模块，用于根据如下公式计算目标数据在传输周期内的能耗；
[0027][0028]其中，P表示目标数据在传输周期内的能耗；α表示能耗系数，且取值范围为(0，1)；φ(t
i
)表示在传输周期中第i个时间段中对目标数据进行传输所消耗的能量；
[0029]评估模块，用于：
[0030]基于目标数据在通信链路中进行数据传输的吞吐量与目标数据在传输周内内的能耗，对目标数据在通信链路中进行数据传输的传输效率进行评估，获得目标传输效率；
[0031]将目标传输效率与效率阈值进行比较，判断目标数据在通信链路中进行数据传输是否合格；
[0032]当目标传输效率等于或大于效率阈值时，则判定目标数据在通信链路中进行数据传输合格；
[0033]否则，则判定目标数据在通信链路中进行数据传输不合格；
[0034]优化模块，用于当目标数据在通信链路中进行数据传输不合格时，基于目标传输效率与效率阈值的差值确定优化因子，并基于优化因子对通信链路进行优化。
[0035]进一步的，所述数据确认单元，包括：
[0036]数据对比模块，用于将接收到的分类后的数据进行结构化和非结构化的确认，基于数据的组成结构的数据储存规则，将接收到的数据与对应组成结构的数据进行比对，得到出现比对差异的数据，确认为目标数据；
[0037]标准化模块，用于基于数据格式确定标准化计算规则，并按照计算规则对数据所携带的子数据进行数据标准化；
[0038]其中，子数据包括IP数据和时间数据；标准化得到标准IP数据与标准时间数据；
[0039]校验模块，用于提取目标数据中的数据段，并对数据段中的字段进行语义关联分析，将与字段语义关联的数据进行匹配，确认数据段是否为异常数据，若是，从数据中提取字段对应的异常数据进行剔除；
[0040]所述校验模块，还用于获取I本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于同步子数据库数据的实时双向同步系统，其特征在于：包括数据库中心、异地备份中心和扩展调度平台，所述数据库中心设置有异域网络接口，基于无线网络与异地备份中心进行数据交互，扩展调度平台分别与异地备份中心和数据库中心进行数据交互；所述数据库中心包括中心数据库和子数据库，用于将中心数据库的数据与子数据库的数据进行双向同步；所述异地备份中心，用于处理与分析数据库中心的数据，并基于分析结果剔除冗余数据，进行数据库中心的数据存储备份；所述扩展调度平台，用于跟踪并记录子数据库与中心数据库数据变化，建立运行日志，并计算子数据库与中心数据库的风险指数，基于所述风险指数进行风险管理。2.如权利要求1所述的一种用于同步子数据库数据的实时双向同步系统，其特征在于：所述中心数据库包括：数据读取单元，用于对子数据库中的动态数据进行读取，确定所述动态数据的数据类型；数据分类单元，用于基于所述数据类型将动态数据中的数据分类打包生成子数据集，并基于数据类型生成对应标签；数据确认单元，用于基于标签将动态数据与历史数据一一比对，确认目标数据；数据传输单元，用于创建目标子数据库与中心数据库的第一通信链路、源子数据库与中心数据库的第二通信链路；所述数据传输单元，还用于确定第一通信链路和第二通信链路的通信标识，基于通信标识确定目标子数据库与源子数据库的通信链路；数据写入单元，用于基于目标子数据库与源子数据库的通信链路将源子数据库中的目标数据写入目标子数据库；数据校验单元，用于获取所述数据中的重要数据，并基于校验标准对重要数据进行校验，并将不符合检验结果的数据进行剔除；备份连接单元，用于基于日志解析方式将中心数据库的变化数据传输至异地备份中心。3.如权利要求2所述的一种用于同步子数据库数据的实时双向同步系统，其特征在于：所述数据写入单元中，基于目标子数据库与原子数据库的通信链路将原子数据库中的目标数据写入目标子数据库中，还包括，确定通信链路的传输性能，具体为：第一计算模块，用于：获取对目标数据在通信链路中进行传输的传输周期以及传输周期中每个时间段对应要传输目标数据的数据量；基于传输周期以及以及传输周期中每个时间段对应要传输目标数据的数据量计算目标数据在通信链路中进行数据传输的吞吐量；其中，r表示目标数据在通信链路中进行数据传输的吞吐量；T表示传输周期，且T＝{t1，t2，...，t
i
}，且t1表示传输周期中第1个时间段；t2表示传输周期中第2个时间段；t
i
表示传输周期中第i个时间段；i表示传输周期中当前个时间段；R(t
i
)表示在传输周期中第i个时间
段中要传输目标数据的数据量；第二计算模块，用于根据如下公式计算目标数据在传输周期内的能耗；其中，P表示目标数据在传输周期内的能耗；α表示能耗系数，且取值范围为(0，1)；φ(t
i
)表示在传输周期中第i个时间段中对目标数据进行传输所消耗的能量；评估模块，用于：基于目标数据在通信链路中进行数据传输的吞吐量与目标数据在传输周内内的能耗，对目标数据在通信链路中进行数据传输的传输效率进行评估，获得目标传输效率；将目标传输效率与效率阈值进行比较，判断目标数据在通信链路中进行数据传输是否合格；当目标传输效率等于或大于效率阈值时，则判定目标数据在通信链路中进行数据传输合格；否则，则判定目标数据在通信链路中进行数据传输不合格；优化模块，用于当目标数据在通信链路中进行数据传输不合格时，基于目标传输效率与效率阈值的差值确定优化因子，并基于优化因子对通信链路进行优化。4.如权利要求3所述的一种用于同步子数据库数据的实时双向同步系统，其特征在于：所述数据确认单元，包括：数据对比模块，用于将接收到的分类后的数据进行结构化和非结构化的确认，基于数据的组成结构的数据储存规则，将接收到的数据与对应组成结构的数据进行比对，得到出现比对差异的数据，确认为目标数据；标准化模块，用于基于数据格式确定标准化计算规则，并按照计算规则对数据所携带的子数据进行数据标准化；其中，子数据包括IP数据和时间数据；标准化得到标准IP数据与标准时间数据；校验模块，用于提取目标数据中的数据段，并对数据段中的字段进行语义关联分析，将与字段语义关联的数据进行匹配，确认数据段是否为异常数据，若是，从数据中提取字段对应的异常数据进行剔除；所述校验模块，还用于获取IP数据和时间数据，并基于标准IP数据与标准时间数据提取不匹配的IP和时间对应的数据段，确认为异常数据，并将异常数据中的IP数据和时间数据进行剔除。5.如权利要求4所述的一种用于同步子数据库数据的实时双向同步系统，其特征在于：所述子数据库，包括：同步项目创建模块，用于创建与子数据库关联的中心数据库，将关联的中心数据库IP地址与数据库名称进行储存，建立子数据库与中心数据库的数据交互通道，并基于数据交互通道实时向中心数据库获取数据；参数融合模块，用于确认中心数据库采集或接收到的数据，并将数据参数基于历史数据参数进行融合处理，获得符合子数据库使用的新参数，同时依据新参数生成储存模型；数据关联同步模块，用于基于储存模型将数据储存在各个储...

【专利技术属性】
技术研发人员：顾利斌，
申请(专利权)人：北京金信融通科技有限公司，
类型：发明
国别省市：