一种一对多跨网数据同步方法及系统技术方案

本申请提供一种一对多跨网数据同步方法及系统，该方法应用于包括前置服务器和后置服务器的一对多跨网数据同步系统中，包括：前置服务器获取配置数据，根据配置数据确定源端数据库服务器，采集源端数据库服务器中的原始数据，对原始数据进行源端统一过滤，得到待处理数据，发送待处理数据后置服务器；后置服务器获取配置数据，根据配置数据确定待处理数据需要发往的目的端数据库服务器，接收待处理数据，根据配置数据对待处理数据进行目的端二次过滤，得到合规数据，将合规数据发送至目的端数据库服务器，以完成数据同步

【技术实现步骤摘要】
一种一对多跨网数据同步方法及系统


[0001]本申请涉及数据处理
，具体而言，涉及一种一对多跨网数据同步方法及系统
。

技术介绍

[0002]目前，在如今的信息化时代，各式各样的信息其实都是一种数据，而数据库可以把大量的数据进行有序的存储和管理，是信息化发展不可缺少的重要技术
。
但是现在数据库种类非常多，每种数据库还有不同的版本，一个企业不会一直用同一种类型
、
同一个版本的数据库，当企业需要数据备份迁移等工作时，就需要用到数据库同步的功能，将数据从老数据库中同步到多个新数据库或多个表中
。
现有的数据同步方法，通常按照过滤规则生成
sql
，使用
http
请求发送给内网服务器，然后内网服务器接收到请求解析
sql
得到过滤规则，查询元数据库，并检查用户权限，最后在内存中根据过滤规则对数据进行判断和转换，得到合规数据，再将合规数据发送回客户端
。
然而，在实践中发现，在数据同步一对多的场景下，使用
sql
查询和内存过滤无法满足需求，且当需要过滤的数据较多较大时，表结构一般也不会在大字段上建立索引，耗费内存，从而降低了数据同步效率
。

技术实现思路

[0003]本申请实施例的目的在于提供一种一对多跨网数据同步方法及系统，能够对数据进行过滤，提高过滤效率，减少数据库服务器资源占用，减少前置机服务器和后置机服务器内存占用
。
[0004]本申请第一方面提供了一种一对多跨网数据同步方法，所述一对多跨网数据同步方法应用于一对多跨网数据同步系统中，所述一对多跨网数据同步系统包括前置服务器和后置服务器，所述方法包括：
[0005]所述前置服务器获取配置数据，并根据所述配置数据确定源端数据库服务器；
[0006]所述前置服务器采集所述源端数据库服务器中的原始数据；
[0007]所述前置服务器对所述原始数据进行源端统一过滤，得到待处理数据；
[0008]所述前置服务器发送所述待处理数据所述后置服务器；
[0009]所述后置服务器获取所述配置数据，并根据所述配置数据确定所述待处理数据需要发往的目的端数据库服务器；
[0010]所述后置服务器接收所述待处理数据，并根据所述配置数据对所述待处理数据进行目的端二次过滤，得到合规数据；
[0011]所述后置服务器将所述合规数据发送至所述目的端数据库服务器，以完成数据同步
。
[0012]在上述实现过程中，该方法可以通过前置服务器获取配置数据，并根据配置数据确定源端数据库服务器；可见，该方法可以预先接收配置数据，并基于配置数据获取数据库类型和连接信息，以使源端数据库中的数据可以被准确获取
。
此后，该方法通过前置服务器
采集源端数据库服务器中的原始数据，并原始数据进行源端统一过滤，得到待处理数据；可见，该方法能够在前置服务器中进行源端统一过滤，以此来实现一次过滤过滤的目的，同时为后续的数据传输做好相应的准备，从而提高后置服务器获取数据的数据统一性和获取稳定性
。
该方法在前置服务器完成源端统一过滤之后，发送待处理数据后置服务器；可见，该方法在前置服务器中完成了源端数据库中数据的获取，以及数据的预处理，并通过此步骤将处理后的待处理数据发送给后置服务器，以使后置服务器可以进一步进行相应处理，并完成后续的数据分发
。
对于后置服务器而言，后置服务器预先配置数据，并根据配置数据确定待处理数据需要发往的目的端数据库服务器；可见，该方法中后置服务器在进行相应的数据接收与数据处理之前，预先接收了与前端服务器收到的一样的配置数据，并基于该配置数据中能够提取到数据分发的目的端数据库服务器以及二次过滤规则，基于此，后置服务器能够有针对性地对待处理数据进行复数次处理，从而为实现一对多跨网数据同步提供操作基础
。
在具有上述的操作基础的情况下，后置服务器接收待处理数据，并根据配置数据中的二次过滤规则对待处理数据进行目的端二次过滤，得到合规数据；并将合规数据发送至目的端数据库服务器，以完成数据同步；可见，该方法能够对待处理数据进行二次过滤，以使待处理数据成为数据同步所需要的样子，从而以此来完成数据同步过程，实现数据同步效果
。
[0013]进一步地，所述后置服务器接收所述待处理数据，并根据所述配置数据对所述待处理数据进行目的端二次过滤，得到合规数据，包括：
[0014]所述后置服务器接收所述待处理数据；
[0015]所述后置服务器根据所述配置数据中的过滤规则，使用
Lucene
的索引引擎和查询引擎获取数据主键集合；其中，所述数据主键集合包括黑名单主键集合和白名单主键集合；
[0016]所述后置服务器根据所述数据主键集合对所述待处理数据进行目的端二次过滤，得到合规数据
。
[0017]在上述实现过程中，该方法能够预先使用
Lucene
的索引引擎和查询引擎检索出黑名单及白名单数据的主键
id
，然后再根据获取到的主键集合
、
白名单主键集合来过滤数据，从而得到想要的合规数据
。
而通过该方法，能够有效降低用户数据库服务器性能的消耗，并降低前置机后置机服务器的内存占用，同时还能够提升过滤数据的效率
。
[0018]进一步地，所述后置服务器根据所述配置数据中的过滤规则，使用
Lucene
的索引引擎和查询引擎获取数据主键集合，包括：
[0019]所述后置服务器提取所述待处理数据中的表结构和源表数据；
[0020]所述后置服务器根据所述表结构确定过滤规则和索引字段；
[0021]所述后置服务器根据所述过滤规则和所述索引字段查询所述源表数据，得到待过滤字段数据；
[0022]所述后置服务器根据所述索引字段和所述待过滤字段数据创建
Lucene
索引类；
[0023]所述后置服务器遍历所述过滤规则中的过滤关键词；其中，所述过滤关键词包括黑名单关键词和白名单关键词；
[0024]所述后置服务器利用
Lucene
对每个所述过滤关键词进行检索，得到数据主键集合
。
[0025]在上述实现过程中，该方法能够更准确地
、
更高效地检索出黑名单及白名单数据
的主键
id
，从而以此来提高整体的处理效果
。
[0026]进一步地，所述后置服务器根据所述数据主键集合对所述待处理数据进行目的端二次过滤，得到合规数据，包括：
[0027]所述后置服务器确定所述源表数据中命中所述白名单主键集合的第一目标数据；
[0028]所述后置服务器将所述源表数据中的所述第一目标数据进行移除处理，得到待处理源表数据；
[0029]所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种一对多跨网数据同步方法，其特征在于，所述一对多跨网数据同步方法应用于一对多跨网数据同步系统中，所述一对多跨网数据同步系统包括前置服务器和后置服务器，所述方法包括：所述前置服务器获取配置数据，并根据所述配置数据确定源端数据库服务器；所述前置服务器采集所述源端数据库服务器中的原始数据；所述前置服务器对所述原始数据进行源端统一过滤，得到待处理数据；所述前置服务器发送所述待处理数据所述后置服务器；所述后置服务器获取所述配置数据，并根据所述配置数据确定所述待处理数据需要发往的目的端数据库服务器；所述后置服务器接收所述待处理数据，并根据所述配置数据对所述待处理数据进行目的端二次过滤，得到合规数据；所述后置服务器将所述合规数据发送至所述目的端数据库服务器，以完成数据同步
。2.
根据权利要求1所述的一对多跨网数据同步方法，其特征在于，所述后置服务器接收所述待处理数据，并根据所述配置数据对所述待处理数据进行目的端二次过滤，得到合规数据，包括：所述后置服务器接收所述待处理数据；所述后置服务器根据所述配置数据中的过滤规则，使用
Lucene
的索引引擎和查询引擎获取数据主键集合；其中，所述数据主键集合包括黑名单主键集合和白名单主键集合；所述后置服务器根据所述数据主键集合对所述待处理数据进行目的端二次过滤，得到合规数据
。3.
根据权利要求2所述的一对多跨网数据同步方法，其特征在于，所述后置服务器根据所述配置数据中的过滤规则，使用
Lucene
的索引引擎和查询引擎获取数据主键集合，包括：所述后置服务器提取所述待处理数据中的表结构和源表数据；所述后置服务器根据所述表结构确定过滤规则和索引字段；所述后置服务器根据所述过滤规则和所述索引字段查询所述源表数据，得到待过滤字段数据；所述后置服务器根据所述索引字段和所述待过滤字段数据创建
Lucene
索引类；所述后置服务器遍历所述过滤规则中的过滤关键词；其中，所述过滤关键词包括黑名单关键词和白名单关键词；所述后置服务器利用
Lucene
对每个所述过滤关键词进行检索，得到数据主键集合
。4.
根据权利要求3所述的一对多跨网数据同步方法，其特征在于，所述后置服务器根据所述数据主键集合对所述待处理数据进行目的端二次过滤，得到合规数据，包括：所述后置服务器确定所述源表数据中命中所述白名单主键集合的第一目标数据；所述后置服务器将所述源表数据中的所述第一目标数据进行移除处理，得到待处理源表数据；所述后置服务器确定所述待处理源表数据中命中所述黑名单主键集合的第二目标数据；所述后置服务器将所述待处理源表数据中的所述第二目标数据进行移除处理，得到合规数据
。
5.
根据权利要求4所述的一对多跨网...

【专利技术属性】
技术研发人员：许玲，陈斌，范瑞强，
申请(专利权)人：北京天融信网络安全技术有限公司北京天融信科技有限公司北京天融信软件有限公司，
类型：发明
国别省市：