数据处理方法及装置、存储介质、电子设备制造方法及图纸

本公开属于数据处理技术领域，涉及一种数据处理方法及装置、存储介质、电子设备。该方法包括：获取源数据库中的待同步数据，并对待同步数据进行语法转化处理得到结构化语句；对结构化语句进行解析处理得到二进制日志；对二进制日志进行语法转译处理得到可同步数据，以将可同步数据同步至与源数据库对应的目标数据库。本公开源数据库与目标数据库之间的语法被转化为结构化语句，一方面，规避了异构数据库对主键标识信息的苛刻要求，简化了语法转译的复杂度；另一方面，也降低了源数据库的压力，保证了可同步数据的完整性和准确度。证了可同步数据的完整性和准确度。证了可同步数据的完整性和准确度。

【技术实现步骤摘要】
数据处理方法及装置、存储介质、电子设备


[0001]本公开涉及数据处理
，尤其涉及一种数据处理方法与数据处理装置、计算机可读存储介质及电子设备。

技术介绍

[0002]数据中台面临的一个常见问题就是多源异构数据库汇聚的准实时性和松耦合问题。因此，各种数据库都提供了自己的实时/准实时工具，例如oracle的OGG、mysql的主从、postgresql的Streaming Replication等。
[0003]但是，异构数据库例如oracle、postgresql、mongoDB同步到mysql的解决方案，目前存在各种使用限制。例如，DataX不能增量同步，otter增量同步对源库和目标库支持有限，kafka JDBC connector与Debezium的数据库CDC plug
‑
in配合能解决大部分问题，但在源库的表没有Primary Key的情况下，delete和update的问题仍然解决不了。
[0004]鉴于此，本领域亟需开发一种新的数据处理方法及装置。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本公开的目的在于提供一种数据处理方法、数据处理装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服由于相关技术的限制而导致的异构数据库之间的数据同步问题。
[0007]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0008]根据本专利技术实施例的第一个方面，提供一种数据处理方法，所述方法包括：获取源数据库中的待同步数据，并对所述待同步数据进行语法转化处理得到结构化语句；
[0009]对所述结构化语句进行解析处理得到二进制日志；
[0010]对所述二进制日志进行语法转译处理得到可同步数据，以将所述可同步数据同步至与所述源数据库对应的目标数据库。
[0011]在本专利技术的一种示例性实施例中，所述对所述待同步数据进行语法转化处理得到结构化语句，包括：
[0012]对所述待同步数据进行主键识别处理确定所述待同步数据是否存在主键标识信息；
[0013]若所述待同步数据存在主键标识信息，对所述待同步数据进行语法转化处理得到结构化语句；
[0014]若所述待同步数据未存在主键标识信息，对所述待同步数据进行语法转化处理得到结构化语句，并对所述结构化语句进行语句校验处理得到语句校验结果。
[0015]在本专利技术的一种示例性实施例中，所述对所述待同步数据进行语法转化处理得到
结构化语句，包括：
[0016]对所述待同步数据进行数据消费处理得到解析数据流；
[0017]对所述解析数据流进行数据转化处理得到结构化语句。
[0018]在本专利技术的一种示例性实施例中，所述对所述结构化语句进行语句校验处理得到语句校验结果，包括：
[0019]对所述结构化语句进行语句定位处理得到可定位语句；
[0020]向与所述源数据库对应的目标数据库发送与所述可定位语句对应的查询语句，以对所述可定位语句进行语句校验处理得到语句校验结果。
[0021]在本专利技术的一种示例性实施例中，在所述对所述可定位语句进行语句校验处理得到语句校验结果之后，所述方法还包括：
[0022]存储所述结构化语句；
[0023]当所述语句校验结果为所述可定位语句校验错误时，利用存储的所述结构化语句对所述可定位语句进行查验确认处理，以更新所述结构化语句。
[0024]在本专利技术的一种示例性实施例中，所述对所述二进制日志进行语法转译处理，以将所述待同步数据同步至与所述源数据库对应的目标数据库，包括：
[0025]若所述待同步数据存在主键标识信息，对所述二进制日志进行语法转译处理，以将所述待同步数据同步至与所述源数据库对应的目标数据库；
[0026]若所述待同步数据未存在主键标识信息，根据所述语句校验结果构造二进制日志的查找条件，并按照所述查找条件对所述二进制日志进行语法转译处理，以将所述待同步数据同步至与所述源数据库对应的目标数据库。
[0027]在本专利技术的一种示例性实施例中，所述方法还包括：
[0028]当对所述二进制日志进行语法转译处理无法得到可同步数据时，获取与所述二进制日志对应的关联信息；
[0029]对所述二进制日志和所述关联信息进行例外处理，以对所述二进制日志进行语法转译处理得到可同步数据。
[0030]根据本专利技术实施例的第二个方面，提供一种数据处理装置，所述装置包括：语法转化模块，被配置为获取源数据库中的待同步数据，并对所述待同步数据进行语法转化处理得到结构化语句；
[0031]解析处理模块，被配置为对所述结构化语句进行解析处理得到二进制日志；
[0032]数据同步模块，被配置为对所述二进制日志进行语法转译处理得到可同步数据，以将所述可同步数据同步至与所述源数据库对应的目标数据库。
[0033]根据本专利技术实施例的第三个方面，提供一种电子设备，包括：处理器和存储器；其中，存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述任意示例性实施例中的数据处理方法。
[0034]根据本专利技术实施例的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意示例性实施例中的数据处理方法。
[0035]由上述技术方案可知，本公开示例性实施例中的数据处理方法、数据处理装置、计算机存储介质及电子设备至少具备以下优点和积极效果：
[0036]在本公开的示例性实施例提供的方法及装置中，源数据库与目标数据库之间的语法被转化为结构化语句，一方面，规避了异构数据库对主键标识信息的苛刻要求，简化了语法转译的复杂度；另一方面，也降低了源数据库的压力，保证了可同步数据的完整性和准确度。
[0037]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0038]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1示意性示出本公开示例性实施例中一种数据处理方法的流程示意图；
[0040]图2示意性示出本公开示例性实施例中语法转化处理的方法的流程示意图；
[0041]图3示意性示出本公开示例性实施例中语法转化处理的方法的流程示意图；
[0042]图4示意性示出本公开示例性实施例中语句校验处理的方法的流程示意图；
[0043]图5示意性示出本公开示例性实施例中异常处理的方法的流程示意图；...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取源数据库中的待同步数据，并对所述待同步数据进行语法转化处理得到结构化语句；对所述结构化语句进行解析处理得到二进制日志；对所述二进制日志进行语法转译处理得到可同步数据，以将所述可同步数据同步至与所述源数据库对应的目标数据库。2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述待同步数据进行语法转化处理得到结构化语句，包括：对所述待同步数据进行主键识别处理确定所述待同步数据是否存在主键标识信息；若所述待同步数据存在主键标识信息，对所述待同步数据进行语法转化处理得到结构化语句；若所述待同步数据未存在主键标识信息，对所述待同步数据进行语法转化处理得到结构化语句，并对所述结构化语句进行语句校验处理得到语句校验结果。3.根据权利要求2述的数据处理方法，其特征在于，所述对所述待同步数据进行语法转化处理得到结构化语句，包括：对所述待同步数据进行数据消费处理得到解析数据流；对所述解析数据流进行数据转化处理得到结构化语句。4.根据权利要求2所述的数据处理方法，其特征在于，所述对所述结构化语句进行语句校验处理得到语句校验结果，包括：对所述结构化语句进行语句定位处理得到可定位语句；向与所述源数据库对应的目标数据库发送与所述可定位语句对应的查询语句，以对所述可定位语句进行语句校验处理得到语句校验结果。5.根据权利要求4所述的数据处理方法，其特征在于，在所述对所述可定位语句进行语句校验处理得到语句校验结果之后，所述方法还包括：存储所述结构化语句；当所述语句校验结果为所述可定位语句校验错误时，利用存储的所述结构化语句对所述可定位语句进行查验确认处理，以更新所述结构化语句。6.根据权利要求5所述的数据处理方...

【专利技术属性】
技术研发人员：张玉忠，李长江，徐雄，袁立宇，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：