一种数据同步字段映射结果准确性检验方法及装置制造方法及图纸

本发明专利技术提出了一种数据同步字段映射结果准确性检验方法，包括：采集数据同步流程中的源端数据，将源端数据作为预期值存储在存储模块中；采集数据同步流程中的目标端数据，将目标端数据作为实际值存储在存储模块中，其中，目标端数据是源端数据经由同步处理后得到的；将对应的预期值与实际值进行比对，当预期值不等于实际值时，则作为异常结果上报。本发明专利技术实施例提供的方法，能够更加便捷，高效，快速的实现数据同步过程中不同数据源之间不同字段映射后的数据结果准确性检验。射后的数据结果准确性检验。射后的数据结果准确性检验。

【技术实现步骤摘要】
一种数据同步字段映射结果准确性检验方法及装置


[0001]本专利技术涉及数据同步的
，尤其涉及一种数据同步字段映射结果准确性检验方法及装置。

技术介绍

[0002]在将各种业务系统数据同步到数据仓库的过程中，需要借助数据同步技术，但是利用数据同步技术在各种异构数据源之间进行数据同步时，由于不同数据源之间不同字段类型进行相互映射的差异，导致在数据同步时，映射后的结果特别容易出现源端和目标端数据不一致的问题，在以往，只能通过人工比对的方式，去筛选和发现数据同步后的数据准确性问题，但是这种方式，生产效率极低，费时费力，并且很容易出现遗漏，而且也不能够及时的发现问题。

技术实现思路

[0003]本专利技术要解决的技术问题是：在现有技术中，仅能通过人工比对，筛选出数据同步过程中源端和目标端数据不一致的情况，该方法不能保证准确性以及效率，有鉴于此，本专利技术提供一种数据同步字段映射结果准确性检验方法及装置。
[0004]本专利技术采用的技术方案是，所述一种数据同步字段映射结果准确性检验方法，包括：
[0005]采集数据同步流程中的源端数据，将所述源端数据作为预期值存储在存储模块中；
[0006]采集数据同步流程中的目标端数据，将所述目标端数据作为实际值存储在存储模块中，其中，所述目标端数据是所述源端数据经由同步处理后得到的；
[0007]将对应的所述预期值与所述实际值进行比对，当所述预期值不等于所述实际值时，则作为异常结果上报。
[0008]在一个实施方式中，所述数据同步流程中，所述源端与所述目标端的映射关系被保存为第一key
‑
value形式，所述第一key
‑
value形式包括:
[0009]Key:任务id_源端库id_源端表名_源端字段序列；
[0010]Value：任务id_目标端库id_目标端表名_目标端字段序列。
[0011]在一个实施方式中，所述采集数据同步流程中的源端数据，将所述源端数据作为预期值存储在存储模块中，包括：
[0012]将所述预期值以第二key
‑
value形式存储在所述存储模块中，其中，所述第二key
‑
value形式包括：
[0013]Key:任务id_源端库id_源端表名_源端字段序列；
[0014]Value：所述预期值。
[0015]在一个实施方式中，所述采集数据同步流程中的目标端数据，将所述目标端数据作为实际值存储在存储模块中，包括：
[0016]将所述实际值以第三key
‑
value形式存储在所述存储模块中，其中，所述第三key
‑
value形式包括：
[0017]Key:任务id_目标端库id_目标端表名_目标端字段序列；
[0018]Value：所述实际值。
[0019]在一个实施方式中，所述源端数据是通过JDBC或者文件方式采集到的。
[0020]在一个实施方式中，所述同步模块包括datax模块。
[0021]在一个实施方式中，所述存储模块包括Elasticsearch分布式存储模块。
[0022]在一个实施方式中，所述将对应的所述预期值与所述实际值进行比对，包括：
[0023]采用异步比对的方式，将对应的所述预期值与所述实际值进行比对。
[0024]本专利技术的另一方面还提供了一种数据同步字段映射结果准确性检验装置，包括：
[0025]第一采集模块，被配置为采集数据同步流程中的源端数据，将所述源端数据作为预期值存储在存储模块中；
[0026]第二采集模块，被配置为采集数据同步流程中的目标端数据，将所述目标端数据作为实际值存储在存储模块中，其中，所述目标端数据是所述源端数据经由同步处理后得到的；
[0027]比对模块，被配置为将对应的所述预期值与所述实际值进行比对，当所述预期值不等于所述实际值时，则作为异常结果上报。
[0028]本专利技术的另一方面还提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的方法的步骤。
[0029]采用上述技术方案，本专利技术至少具有下列优点：
[0030]本专利技术实施例提供的方法，能够更加便捷，高效，快速的实现数据同步过程中不同数据源之间不同字段映射后的数据结果准确性检验。
附图说明
[0031]图1为根据本专利技术实施例的数据同步字段映射结果准确性检验方法流程图；
[0032]图2为根据本专利技术实施例的整体架构示意图；
[0033]图3为根据本专利技术实施例的数据同步字段映射结果准确性检验装置组成结构示意图；
[0034]图4为根据本专利技术实施例的电子设备示意图。
具体实施方式
[0035]为更进一步阐述本专利技术为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本专利技术进行详细说明如后。
[0036]本专利技术中说明书中对方法流程的描述及本专利技术说明书附图中流程图的步骤并非必须按步骤标号严格执行，方法步骤是可以改变执行顺序的。而且，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0037]本专利技术第一实施例，一种数据同步字段映射结果准确性检验方法，如图1所示，包括以下具体步骤：
[0038]步骤S1，采集数据同步流程中的源端数据，将源端数据作为预期值存储在存储模块中。
[0039]步骤S2，采集数据同步流程中的目标端数据，将目标端数据作为实际值存储在存储模块中，其中，目标端数据是源端数据经由同步处理后得到的。
[0040]步骤S3，将对应的预期值与实际值进行比对，当预期值不等于实际值时，则作为异常结果上报。
[0041]下面将分步详细介绍本实例所提供的方法。
[0042]步骤S1，采集数据同步流程中的源端数据，将源端数据作为预期值存储在存储模块中。
[0043]本实施例中，数据同步流程可以是指将各种业务系统数据同步到数据仓库的过程中，通常情况下，业务系统数据是由“源端”经数据同步处理后被存储到“目标端”的数据仓库中。
[0044]本实施例的数据同步流程中，源端与目标端的映射关系可以在设备的内存中以key
‑
value(关键字取值)形式保存，为了便于区别，可以称之为第一key
‑
value形式，该形式可以具体包括:
[0045]Key:任务id_源端库id_源端表名_源端字段序列；
[0046]Value：任务id_目标端库id_目标端表名_目标端字段序列。
[0047]也就是说，在数据同步的流程中，是可以获取上述第一key
‑
value形式中的数据的多个维度，也可以根据实际需要，对获取的数据的维度进行适当调整，但要保证数据同步前后的维度一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步字段映射结果准确性检验方法，其特征在于，包括：采集数据同步流程中的源端数据，将所述源端数据作为预期值存储在存储模块中；采集数据同步流程中的目标端数据，将所述目标端数据作为实际值存储在存储模块中，其中，所述目标端数据是所述源端数据经由同步处理后得到的；将对应的所述预期值与所述实际值进行比对，当所述预期值不等于所述实际值时，则作为异常结果上报。2.根据权利要求1所述的数据同步字段映射结果准确性检验方法，其特征在于，所述数据同步流程中，所述源端与所述目标端的映射关系被保存为第一key
‑
value形式，所述第一key
‑
value形式包括:Key:任务id_源端库id_源端表名_源端字段序列；Value：任务id_目标端库id_目标端表名_目标端字段序列。3.根据权利要求2所述的数据同步字段映射结果准确性检验方法，其特征在于，所述采集数据同步流程中的源端数据，将所述源端数据作为预期值存储在存储模块中，包括：将所述预期值以第二key
‑
value形式存储在所述存储模块中，其中，所述第二key
‑
value形式包括：Key:任务id_源端库id_源端表名_源端字段序列；Value：所述预期值。4.根据权利要求2所述的数据同步字段映射结果准确性检验方法，其特征在于，所述采集数据同步流程中的目标端数据，将所述目标端数据作为实际值存储在存储模块中，包括：将所述实际值以第三key
‑
value形式...

【专利技术属性】
技术研发人员：彭壮，戴博文，韩蠡，
申请(专利权)人：中国电子系统技术有限公司，
类型：发明
国别省市：