数据校验方法、数据采集服务端及数据校验系统技术方案

本申请提供数据校验方法、数据采集服务端及数据校验系统，其中数据校验方法包括：数据采集服务端每隔设定时长从业务数据库中获取待校验属性信息，其中，待校验属性信息为业务数据库存储的未校验的上报属性信息，上报属性信息基于业务模块上报的批次数据确定；基于从缓存数据库中获取到的目标获取属性信息，对待校验属性信息进行校验，其中，目标获取属性信息为数据采集服务端获取目标批次数据时统计记录的属性信息，目标批次数据为待校验属性信息对应的批次数据；根据校验结果更新业务数据库中待校验属性信息的校验状态。如此，数据采集服务端可以及时感知到获取目标批次数据的过程中出现的异常，保证了数据的完整性、准确性和高可用性。性和高可用性。性和高可用性。

【技术实现步骤摘要】
数据校验方法、数据采集服务端及数据校验系统


[0001]本申请涉及计算机
，特别涉及一种数据校验方法。本申请同时涉及一种数据采集服务端，一种数据校验系统，一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]随着计算机技术和互联网技术的快速发展，为满足人们的工作生活所需，诞生了多种多样的线上业务，涉及到的领域、场景也越来越广泛，不同的线上业务会产生大量的业务数据，为了能够收集所有业务方的数据，用于大数据平台查找数据以及查看数据之间的关联信息，希望业务方能够将各自的数据上报到系统中，对各个业务方的数据进行统一管理。
[0003]现有技术中，是业务模块主动通过消息中间件的方式上报其数据，来达到收集各业务方的数据的作用，一旦业务方系统不稳定或者消息中间件不稳定可能会造成上报数据的丢失，系统无法及时感知到数据丢失的异常，只能等用户发现数据无法找到才能进行定位和补数，使得系统中的数据无法保证完整性、准确性和高可用性。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种数据校验方法。本申请同时涉及一种数据采集服务端，一种数据校验系统，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的系统无法及时感知到数据丢失的异常，数据无法保证完整、准确和高可用性的技术问题。
[0005]根据本申请实施例的第一方面，提供了一种数据校验方法，应用于数据采集服务端，方法包括：
[0006]每隔设定时长从业务数据库中获取待校验属性信息，其中，待校验属性信息为业务数据库存储的未校验的上报属性信息，上报属性信息基于业务模块上报的批次数据确定；
[0007]基于从缓存数据库中获取到的目标获取属性信息，对待校验属性信息进行校验，其中，目标获取属性信息为数据采集服务端获取目标批次数据时统计记录的属性信息，目标批次数据为待校验属性信息对应的批次数据；
[0008]根据校验结果更新业务数据库中待校验属性信息的校验状态。
[0009]根据本申请实施例的第二方面，提供了一种数据采集服务端，包括：
[0010]获取模块，被配置为每隔设定时长从业务数据库中获取待校验属性信息，其中，待校验属性信息为业务数据库存储的未校验的上报属性信息，上报属性信息基于业务模块上报的批次数据确定；
[0011]校验模块，被配置为基于从缓存数据库中获取到的目标获取属性信息，对待校验属性信息进行校验，其中，目标获取属性信息为数据采集服务端获取目标批次数据时统计记录的属性信息，目标批次数据为待校验属性信息对应的批次数据；
[0012]更新模块，被配置为根据校验结果更新业务数据库中待校验属性信息的校验状态。
[0013]根据本申请实施例的第三方面，提供了一种数据校验系统，包括至少一个业务模块、数据采集器和数据采集服务端；
[0014]数据采集器，被配置为基于业务模块上报的批次数据，确定批次数据对应的上报属性信息，将上报属性信息存储至业务数据库中；
[0015]数据采集服务端，被配置为每隔设定时长从业务数据库中获取待校验属性信息，其中，待校验属性信息是业务数据库存储的未校验的上报属性信息；基于从缓存数据库中获取到的目标获取属性信息，对待校验属性信息进行校验，其中，目标获取属性信息为数据采集服务端获取目标批次数据时统计记录的属性信息，目标批次数据为待校验属性信息对应的批次数据；根据校验结果更新业务数据库中待校验属性信息的校验状态。
[0016]根据本申请实施例的第四方面，提供了一种计算设备，包括：
[0017]存储器和处理器；
[0018]存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，以实现上述的数据校验方法的操作步骤。
[0019]根据本申请实施例的第五方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现实现上述的数据校验方法的操作步骤。
[0020]本申请实施例提供的数据校验方法，数据采集服务端每隔设定时长从业务数据库中获取待校验属性信息，其中，待校验属性信息为业务数据库存储的未校验的上报属性信息，上报属性信息基于业务模块上报的批次数据确定；基于从缓存数据库中获取到的目标获取属性信息，对待校验属性信息进行校验，其中，目标获取属性信息为数据采集服务端获取目标批次数据时统计记录的属性信息，目标批次数据为待校验属性信息对应的批次数据；根据校验结果更新业务数据库中待校验属性信息的校验状态。
[0021]这种情况下，基于业务模块上报的批次数据确定出的上报属性信息可以存储在业务数据库中，数据采集服务端获取目标批次数据时统计记录的属性信息可以存储在缓存数据库中，数据采集服务端可以每隔设定时长从业务数据库中获取待校验属性信息，然后基于从缓存数据库中获取到的对应的目标获取属性信息，对待校验属性信息进行校验，一旦发现待校验属性信息和对应的目标获取属性信息不一致，数据采集服务端可以及时主动感知，使得数据采集服务端可以及时感知到获取目标批次数据的过程中出现的异常，无需等用户发现，保证了数据的完整性、准确性和高可用性。
附图说明
[0022]图1是本申请一实施例提供的一种数据校验方法的流程图；
[0023]图2是本申请一实施例提供的一种应用于元数据的数据校验方法的处理流程图；
[0024]图3是本申请一实施例提供的一种数据校验过程的交互示意图；
[0025]图4是本申请一实施例提供的一种数据采集服务端的结构示意图；
[0026]图5是本申请一实施例提供的一种数据校验系统的结构示意图；
[0027]图6是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
[0028]在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
[0029]在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0030]应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0031]首先，对本申请一个或多个实施例涉及的名词术语进行解释。
[0032本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据校验方法，其特征在于，应用于数据采集服务端，所述方法包括：每隔设定时长从业务数据库中获取待校验属性信息，其中，所述待校验属性信息为所述业务数据库存储的未校验的上报属性信息，所述上报属性信息基于业务模块上报的批次数据确定；基于从缓存数据库中获取到的目标获取属性信息，对所述待校验属性信息进行校验，其中，所述目标获取属性信息为所述数据采集服务端获取目标批次数据时统计记录的属性信息，所述目标批次数据为所述待校验属性信息对应的批次数据；根据校验结果更新所述业务数据库中所述待校验属性信息的校验状态。2.根据权利要求1所述的数据校验方法，其特征在于，所述每隔设定时长从业务数据库中获取待校验属性信息之前，还包括：获取所述业务模块上报的批次数据，其中，所述批次数据为所述业务模块基于增量更新点和偏移量确定出的对应数量的增量数据；确定所述批次数据的获取属性信息，并将所述获取属性信息写入所述缓存数据库中。3.根据权利要求2所述的数据校验方法，其特征在于，所述确定所述批次数据的获取属性信息，包括：针对所述批次数据进行位图运算，获得对应的获取属性信息。4.根据权利要求3所述的数据校验方法，其特征在于，所述针对所述批次数据进行位图运算，获得对应的获取属性信息，包括：获取初始位图信息，其中，所述初始位图信息中各个元素为第一数值；针对所述批次数据中的每个数据，确定所述数据在所述初始位图信息中对应的目标位置；将所述目标位置处的元素由所述第一数值置为第二数值，获得所述批次数据对应的获取属性信息，并在所述获取属性信息中携带所述批次数据的批次标识。5.根据权利要求1
‑
4任一项所述的数据校验方法，其特征在于，所述待校验属性信息包括校验状态；所述从业务数据库中获取待校验属性信息，包括：遍历所述业务数据库中存储的各个上报属性信息；将所述各个上报属性信息中校验状态为未校验的上报属性信息作为所述待校验属性信息。6.根据权利要求1
‑
4任一项所述的数据校验方法，其特征在于，所述待校验属性信息中包括上报数据量，所述目标获取属性信息中包括获取数据量；所述基于从缓存数据库中获取到的目标获取属性信息，对所述待校验属性信息进行校验，包括：对比所述上报数据量和所述获取数据量；若所述上报数据量和所述获取数据量一致，则确定所述待校验属性信息校验通过；若所述上报数据量和所述获取数据量不一致，则确定所述待校验属性信息校验未通过。7.一种数据采集服务端，其特征在于，所述数据采集服务端包括：获取模块，被配置为每隔设定时长从业务数据库中获取待校验属性信息，其中，所述待校验属性信息为所述业务数据库存储的未校验的上报属性信息，所述上报属性信息基于业务模块上报的批次数据确定；
校验模块，被配置为基于从缓存数据库中获取到的目标获取属性信息，对所述待校验属性信息进行校验，其中，所述目标获取属性信息为所述数据采集服务端获取目标批次数据时统计记录的属性信息，所述目标批次数据为所述待校验属性信息对应的批次数据；更新模块，被配置为根据校验结果更新所述业务数据库中所述待校验属性信息的校验状态。8.一种数据校验系统，其特征在于，所述系统...

【专利技术属性】
技术研发人员：陈天宇，沈汪洋，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：