一种内外网数据同步方法、系统、电子设备及介质技术方案

本发明专利技术属于数据处理技术领域，其目的在于提供一种内外网数据同步方法、系统、电子设备及介质。本发明专利技术可实现对数据更新的快速识别，进而有效避免相同数据重复传输、造成不必要的数据同步的作用，同时可在判定监听数据与所述初始同步数据不匹配，即数据发生变化时，根据监听数据和初始同步数据，得到所述监听数据相对所述初始同步数据发生变动的更新数据，进而便于目标数据库根据所述更新数据对所述初始同步数据进行更新处理，利于提升数据同步的整体效率及数据同步的实时性。体效率及数据同步的实时性。体效率及数据同步的实时性。

【技术实现步骤摘要】
一种内外网数据同步方法、系统、电子设备及介质


[0001]本专利技术属于数据处理
，具体涉及一种内外网数据同步方法、系统、电子设备及介质。

技术介绍

[0002]目前，如公安信息内网及电子政务内网等内部政务网络（其安全等级要求较高，下文简称为内网）中，通常运行着各种国民安全相关的信息，其安全性至关重要，为保证内网中数据的安全性，内网与向外部发送公共信息的外部网络（其安全等级要求较低，下文简称为外网）之间通常实行物理隔离，如将内网与外网之间设置隔离网闸。
[0003]数据同步是指在通信系统的两个或多个设备之间同步数据，并自动更新设备之间的数据更改设置，以保证通信系统内数据的一致性和稳定性。在内外网隔离的情况下，为保持内外网数据的一致性，避免数据冲突、数据缺乏可信度等问题，需要将内网与外网之间的指定数据信息进行同步。
[0004]现有技术中，由于隔离网闸只支持数据库之间的操作，在进行内外网数据同步时，通常采用源数据库（内网数据库和外网数据库中待进行数据同步的数据库）向目标数据库（内网数据库和外网数据库中除源数据库外的数据库）直接写入的方式。具体地，需要源数据库先对指定路径下的待同步数据进行提取分析，然后将待同步数据传输至目标数据库中，以便目标数据库再次对待同步数据进行提取分析，待目标数据库确认待同步数据发生更新后，再根据待同步数据中的更新数据进行同步操作。
[0005]但是，在使用现有技术过程中，专利技术人发现现有技术中至少存在如下问题：现有技术中，当待同步数据较多或过大时，源数据库与目标数据库进行待同步数据的传输，以及对待同步数据进行分析的过程，会耗费大量时间及数据库资源，造成数据同步实时性较差，数据同步效率较低。

技术实现思路

[0006]本专利技术旨在至少在一定程度上解决上述技术问题，本专利技术提供了一种内外网数据同步方法、系统、电子设备及介质。
[0007]为了实现上述目的，本专利技术采用以下技术方案：第一方面，本专利技术提供了一种内外网数据同步方法，由隔离模块执行，所述隔离模块分别与内网对应的内网数据库和外网对应的外网数据库连接；所述方法包括：接收目标数据库发送的数据同步请求，并根据所述数据同步请求从源数据库中获取初始同步数据，然后将所述初始同步数据发送至所述目标数据库中；其中，所述源数据库为所述内网数据库和所述外网数据库中待进行数据同步的数据库，所述目标数据库为所述内网数据库和所述外网数据库中除源数据库外的数据库；对所述源数据库中位于所述初始同步数据所在路径下的业务数据进行监听，得到与所述初始同步数据对应的监听数据；
判断所述监听数据与所述初始同步数据是否匹配，如否，则进入下一步；根据所述监听数据和所述初始同步数据，得到所述监听数据相对所述初始同步数据发生变动的更新数据；将所述更新数据发送至所述目标数据库，以便所述目标数据库根据所述更新数据对所述初始同步数据进行更新处理；判断所述监听数据与所述初始同步数据是否匹配，包括：对所述监听数据和所述初始同步数据进行哈希变换，得到所述监听数据对应的第一hash值和所述初始同步数据对应的第二hash值；将所述第一hash值和所述第二hash值进行比较，如果所述第一hash值和所述第二hash值相同，则判定所述监听数据与所述初始同步数据匹配，否则判定所述监听数据与所述初始同步数据不匹配。
[0008]本专利技术可实现对数据更新的快速识别，进而有效避免相同数据重复传输、造成不必要的数据同步的作用，同时可在判定监听数据与所述初始同步数据不匹配，即数据发生变化时，根据监听数据和初始同步数据，得到所述监听数据相对所述初始同步数据发生变动的更新数据，进而便于目标数据库根据所述更新数据对所述初始同步数据进行更新处理。在此过程中，由于本专利技术在判断所述监听数据与所述初始同步数据是否匹配，即判断数据待同步数据是否发生变化的过程中，通过对所述监听数据和所述初始同步数据进行哈希变换，可将所述监听数据和所述初始同步数据转换为固定长度的哈希值，以便于对对所述监听数据和所述初始同步数据进行匹配度比较，进而可在监听数据相对初始同步数据未发生变化时，快速结束同步流程，由此利于提升数据同步的整体效率及数据同步的实时性。
[0009]在一个可能的设计中，对指定数据进行哈希变换，包括：通过预设的深度卷积神经网络对所述指定数据进行卷积操作，得到所述指定数据的第一特征向量；其中，所述指定数据为所述监听数据或所述初始同步数据，所述第一特征向量包括所述指定数据在多个特征维度上的特征值；根据所述指定数据在多个特征维度上的特征值，得到所述指定数据的第二特征向量；其中，所述第二特征向量包括第一特征向量中特征值大于目标阈值的特征维度以及该特征维度上的特征值；对所述第二特征向量进行降维处理，得到所述指定数据的目标hash值；其中，所述目标hash值为与所述监听数据对应的第一hash值或与所述初始同步数据对应的第二hash值。
[0010]在一个可能的设计中，根据所述监听数据和所述初始同步数据，得到所述监听数据相对所述初始同步数据发生变动的更新数据，包括：对所述监听数据进行数据切割处理，得到多个监听数据块；获取每个监听数据块在所述监听数据中的偏移量；将所述初始同步数据进行数据切割处理，得到多个初始同步数据块；根据每个监听数据块的偏移量，依次将每个监听数据块与多个初始同步数据块进行滚动匹配处理，得到所述监听数据块相对所述初始同步数据块的差异数据块，所有差异数据块构成所述监听数据相对所述初始同步数据发生变动的更新数据。
[0011]在一个可能的设计中，任一监听数据块与所有初始同步数据块不匹配时，该监听
数据块构成第一差异数据块，任一初始同步数据块与所有监听数据块不匹配时，该初始同步数据块构成第二差异数据块，所有第一差异数据块和所有第二差异数据块组合构成所述监听数据块相对所述初始同步数据块的差异数据块。
[0012]在一个可能的设计中，根据当前更新数据对所述初始同步数据进行更新处理，包括：获取当前更新数据中数据块的类型；当任一数据块为第一差异数据块时，表明该数据块为新增数据，根据该数据块在所述监听数据中的偏移量，将该数据块插入所述初始同步数据的相应位置；当任一数据块为第二差异数据块时，表明该数据块为删减数据，在所述初始同步数据中的相应位置删除该数据块。
[0013]在一个可能的设计中，得到所述监听数据块相对所述初始同步数据块的差异数据块后，所述方法还包括：计算每个差异数据块的校验值，并将其记为第一校验值；对应地，所述目标数据库根据所述更新数据对所述初始同步数据进行更新处理，包括：通过所述目标数据库重新计算所述更新数据的校验值，并将其记为第二校验值；通过所述目标数据库判断所述第一校验值和所述第二校验值是否相同，如是，则判定当前更新数据完整，根据当前更新数据对所述初始同步数据进行更新处理；如否，则判定当前更新数据异常，反馈同步异常信息及重新同步指令至所述隔离模块。
[0014]在一个可能的设计中，所述源数据库和所述目标数据库在同一时间最多只有一个与所述隔离模块存在数据连接关系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内外网数据同步方法，其特征在于：由隔离模块执行，所述隔离模块分别与内网对应的内网数据库和外网对应的外网数据库连接；所述方法包括：接收目标数据库发送的数据同步请求，并根据所述数据同步请求从源数据库中获取初始同步数据，然后将所述初始同步数据发送至所述目标数据库中；其中，所述源数据库为所述内网数据库和所述外网数据库中待进行数据同步的数据库，所述目标数据库为所述内网数据库和所述外网数据库中除源数据库外的数据库；对所述源数据库中位于所述初始同步数据所在路径下的业务数据进行监听，得到与所述初始同步数据对应的监听数据；判断所述监听数据与所述初始同步数据是否匹配，如否，则进入下一步；根据所述监听数据和所述初始同步数据，得到所述监听数据相对所述初始同步数据发生变动的更新数据；将所述更新数据发送至所述目标数据库，以便所述目标数据库根据所述更新数据对所述初始同步数据进行更新处理；判断所述监听数据与所述初始同步数据是否匹配，包括：对所述监听数据和所述初始同步数据进行哈希变换，得到所述监听数据对应的第一hash值和所述初始同步数据对应的第二hash值；将所述第一hash值和所述第二hash值进行比较，如果所述第一hash值和所述第二hash值相同，则判定所述监听数据与所述初始同步数据匹配，否则判定所述监听数据与所述初始同步数据不匹配。2.根据权利要求1所述的一种内外网数据同步方法，其特征在于：对指定数据进行哈希变换，包括：通过预设的深度卷积神经网络对所述指定数据进行卷积操作，得到所述指定数据的第一特征向量；其中，所述指定数据为所述监听数据或所述初始同步数据，所述第一特征向量包括所述指定数据在多个特征维度上的特征值；根据所述指定数据在多个特征维度上的特征值，得到所述指定数据的第二特征向量；其中，所述第二特征向量包括第一特征向量中特征值大于目标阈值的特征维度以及该特征维度上的特征值；对所述第二特征向量进行降维处理，得到所述指定数据的目标hash值；其中，所述目标hash值为与所述监听数据对应的第一hash值或与所述初始同步数据对应的第二hash值。3.根据权利要求1所述的一种内外网数据同步方法，其特征在于：根据所述监听数据和所述初始同步数据，得到所述监听数据相对所述初始同步数据发生变动的更新数据，包括：对所述监听数据进行数据切割处理，得到多个监听数据块；获取每个监听数据块在所述监听数据中的偏移量；将所述初始同步数据进行数据切割处理，得到多个初始同步数据块；根据每个监听数据块的偏移量，依次将每个监听数据块与多个初始同步数据块进行滚动匹配处理，得到所述监听数据块相对所述初始同步数据块的差异数据块，所有差异数据块构成所述监听数据相对所述初始同步数据发生变动的更新数据。4.根据权利要求3所述的一种内外网数据同步方法，其特征在于：任一监听数据块与所有初始同步数据块不匹配时，该监听数据块构成第一差异数据块，任一初始同步数据块与
所有监听数据块不匹配时，该初始同步数据块构成第二差异数据块，所有第一差异数据块和所有第二差异数据块组合构成所述监听数据块相对所述初始同步数据块的差异数据块。...

【专利技术属性】
技术研发人员：赵龙，高莉红，
申请(专利权)人：北京和升达信息安全技术有限公司，
类型：发明
国别省市：