数据检测方法、装置、电子设备制造方法及图纸

本申请公开了一种数据检测方法、装置、电子设备，该方法为：获取待检测的目标数据；根据目标数据中的数据重要值，确定第一目标数据分段；对第一目标数据分段进行抽样，将抽样得到的目标数据与第一源数据分段中对应的源数据进行比较，以确定一致性；其中，数据重要值至少与数据变化相关；第一源数据分段属于源数据。第一源数据分段属于源数据。第一源数据分段属于源数据。

【技术实现步骤摘要】
数据检测方法、装置、电子设备


[0001]本申请涉及数据检测领域，尤其涉及一种数据检测方法、装置、电子设备。

技术介绍

[0002]在对业务系统进行升级、迁移等使用场景中，涉及到在不同计算环境之间进行数据同步，为了避免对业务造成不良影响，需确保源数据库中的数据完整同步到目的数据库中。
[0003]目前，为了确保源数据库和目的数据库中的数据一致，还需对数据表中的数据进行逐条检测，以避免遗漏数据，然而，现有的检测方式所花费的时间成本较高，严重影响业务的开展。

技术实现思路

[0004]本申请提供了一种数据检测方法、装置、电子设备，目的在于提高数据检测的执行效率。
[0005]为了实现上述目的，本申请提供了以下技术方案：
[0006]一种数据检测方法，包括：
[0007]获取待检测的目标数据；
[0008]根据所述目标数据中的数据重要值，确定第一目标数据分段；
[0009]对所述第一目标数据分段进行抽样，将抽样得到的目标数据与第一源数据分段中对应的源数据进行比较，以确定一致性；
[0010]其中，所述数据重要值至少与数据变化相关；所述第一源数据分段属于源数据。
[0011]可选的，还包括：
[0012]根据所述目标数据中的数据重要值，确定第二目标数据分段；
[0013]对所述第二目标数据分段中的目标数据与第二源数据分段中对应的源数据进行比较，以确定一致性。
[0014]可选的，根据所述目标数据中的数据重要值，确定第一目标数据分段，包括：
[0015]根据所述目标数据中的目标数据在至少一种时间窗口上的数据变化，确定至少一组数据变化值以及对应的时间差值；
[0016]根据所述数据变化值以及对应的时间差值，确定所述第一目标数据分段和所述第二目标数据分段；
[0017]其中，所述第二目标数据分段的数据重要值高于所述第一目标数据分段。
[0018]可选的，根据所述目标数据中的数据重要值，确定第一目标数据分段，包括：
[0019]根据所述目标数据中的目标数据在至少一种序列段的数据变化，确定至少一组数据变化值以及对应的序列段；
[0020]根据所述数据变化值以及对应的序列差量，确定所述第一目标数据分段和所述第二目标数据分段；
[0021]其中，所述第二目标数据分段的数据重要值高于所述第一目标数据分段。
[0022]可选的，还包括：
[0023]根据所述目标数据中的数据重要值，确定第三目标数据分段；
[0024]将所述第三目标数据分段中的总数据量与对应的第三源数据分段中的总数据量进行比较；
[0025]其中，所述第三源数据分段属于源数据。
[0026]可选的，还包括：
[0027]确定总检测时间；
[0028]确定检测所述第一目标数据分段、所述第二目标数据分段和所述第三目标数据分段所需的第一检测时间；
[0029]如果所述第一检测时间小于所述总检测时间，则将所述总检测时间除所述第一检测时间外的时间，用于对整个所述目标数据的抽样检测。
[0030]可选的，还包括：
[0031]根据数据属性对所述目标数据进行预处理；所述预处理至少包括在确定一致性前在所述目标数据中去除不再更新的数据。
[0032]可选的，获取待检测的目标数据，包括：
[0033]分段获取所述目标数据。
[0034]一种数据检测装置，包括：
[0035]数据获取单元，用于获取待检测的目标数据；
[0036]分段确定单元，用于根据所述目标数据中的数据重要值，确定第一目标数据分段；其中，所述数据重要值至少与数据变化相关。
[0037]抽样比较单元，用于对所述第一目标数据分段进行抽样，将抽样得到的目标数据与第一源数据分段中对应的源数据进行比较，以确定一致性；所述第一源数据分段属于源数据。
[0038]可选的，所述分段确定单元还用于：
[0039]根据所述目标数据中的数据重要值，确定第二目标数据分段；
[0040]所述抽样比较单元还用于：
[0041]对所述第二目标数据分段中的目标数据与第二源数据分段中对应的源数据进行比较，以确定一致性。
[0042]可选的，所述分段确定单元具体用于：
[0043]根据所述目标数据中的目标数据在至少一种时间窗口上的数据变化，确定至少一组数据变化值以及对应的时间差值；
[0044]根据所述数据变化值以及对应的时间差值，确定所述第一目标数据分段和所述第二目标数据分段；
[0045]其中，所述第二目标数据分段的数据重要值高于所述第一目标数据分段。
[0046]可选的，所述分段确定单元具体用于：
[0047]根据所述目标数据中的目标数据在至少一种序列段的数据变化，确定至少一组数据变化值以及对应的序列段；
[0048]根据所述数据变化值以及对应的序列差量，确定所述第一目标数据分段和所述第
二目标数据分段；
[0049]其中，所述第二目标数据分段的数据重要值高于所述第一目标数据分段。
[0050]可选的，所述分段确定单元还用于：
[0051]根据所述目标数据中的数据重要值，确定第三目标数据分段；
[0052]所述抽样比较单元还用于：
[0053]将所述第三目标数据分段中的总数据量与对应的第三源数据分段中的总数据量进行比较；
[0054]其中，所述第三源数据分段属于源数据。
[0055]可选的，所述抽样比较单元还用于：
[0056]确定总检测时间；
[0057]确定检测所述第一目标数据分段、所述第二目标数据分段和所述第三目标数据分段所需的第一检测时间；
[0058]如果所述第一检测时间小于所述总检测时间，则将所述总检测时间除所述第一检测时间外的时间，用于对整个所述目标数据的抽样检测。
[0059]可选的，数据获取单元还用于：
[0060]根据数据属性对所述目标数据进行预处理；所述预处理至少包括在确定一致性前在所述目标数据中去除不再更新的数据。
[0061]可选的，数据获取单元具体用于：
[0062]分段获取所述目标数据。
[0063]一种电子设备，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；
[0064]所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序被所述处理器运行时执行所述的数据检测方法。
附图说明
[0065]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0066]图1为本申请实施例提供的一种数据检测方法的流程示意图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据检测方法，包括：获取待检测的目标数据；根据所述目标数据中的数据重要值，确定第一目标数据分段；对所述第一目标数据分段进行抽样，将抽样得到的目标数据与第一源数据分段中对应的源数据进行比较，以确定一致性；其中，所述数据重要值至少与数据变化相关；所述第一源数据分段属于源数据。2.根据权利要求1所述的方法，还包括：根据所述目标数据中的数据重要值，确定第二目标数据分段；对所述第二目标数据分段中的目标数据与第二源数据分段中对应的源数据进行比较，以确定一致性。3.根据权利要求2所述的方法，根据所述目标数据中的数据重要值，确定第一目标数据分段，包括：根据所述目标数据中的目标数据在至少一种时间窗口上的数据变化，确定至少一组数据变化值以及对应的时间差值；根据所述数据变化值以及对应的时间差值，确定所述第一目标数据分段和所述第二目标数据分段；其中，所述第二目标数据分段的数据重要值高于所述第一目标数据分段。4.根据权利要求2所述的方法，根据所述目标数据中的数据重要值，确定第一目标数据分段，包括：根据所述目标数据中的目标数据在至少一种序列段的数据变化，确定至少一组数据变化值以及对应的序列段；根据所述数据变化值以及对应的序列差量，确定所述第一目标数据分段和所述第二目标数据分段；其中，所述第二目标数据分段的数据重要值高于所述第一目标数据分段。5.根据权利要求1所述的方法，还包括：根据所述目标数据中的数据重要值，确定第三目...

【专利技术属性】
技术研发人员：陆明，程黎霄，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：