分布式业务数据校验系统、方法及装置制造方法及图纸

本申请实施例公开了一种分布式业务数据校验系统、方法及装置。本申请实施例提供的技术方案通过提供依次连接的数据准备模块、数据校验模块和差错处理模块，数据准备模块用于提供待校验的数据源，数据校验模块用于当满足校验周期后触发校验任务，以根据校验规则对待校验的数据源进行校验；并且所述校验规则通过动态修改规则脚本配置获得，当校验规则需要变更，只需要修改规则脚本配置即可，节省大量人力，可以灵活配置，降低开发成本。

【技术实现步骤摘要】
分布式业务数据校验系统、方法及装置
本申请实施例涉及数据处理
，尤其涉及一种分布式业务数据校验系统、分布式业务数据校验方法、分布式业务数据校验装置、设备及存储介质。
技术介绍
目前业界的业务系统普遍采用微服务架构进行设计，不同系统之间通过网络调用进行数据交互，是一种典型的分布式系统。而根据CAP理论，分布式系统无法在保证可用性(Availability)和分区容错性(Partition)之后，继续保证一致性(Consistency)。由于存在网络调用调用失败的可能，或者存在代码漏洞，系统之间必然存在着长或短的数据不一致状态。几个常见的场景是，用户A给用户B送礼，用户A已经支付成功，但是由于网络调用失败，用户B没有收到礼物；用户用积分购买了商品成功，但是积分系统更新积分失败或者错误。这就可能给用户造成了损失，影响用户体验，也可能造成营收资金受损。随着业务的发展，各种业务系统之间相互调用关系日益复杂，各个独立而又相关联的系统之间的数据一致性越来越重要。在很多情况下，系统故障或者网络调用失败导致数据出现不一致，往往造成用户体验下降，甚至导致公司或者用户资金的损失。目前业界以及公司内部业务已经有各种数据校验服务。但这些实现基本上是针对每个不同的业务需求，开发不同的数据校验服务，而业务需求多变、迭代迅速。现有的实现方案中，数据校验系统的工作流程大体上可以分为三个阶段：数据准备、数据校验、差错处理。数据准备阶段获取需要校验的数据，已有方案一般有用户主动上传文件、接口推送、接口拉取、直接查数据库等方式，这些方式各自都存在一些问题，用户主动上传文件的方式，一般只适合支付账单等规模较少，规则较简单的业务场景；而后面几种方式，都对业务系统有侵入，接口推送方式需要各个业务系统进行改造，在需要对账时主动推送对账数据；接口拉取、直接查数据库的方式，需要数据校验系统控制QPS(每秒查询率)，很容易造成业务系统压力过大，甚至打垮业务系统。数据校验阶段是数据校验系统的核心阶段。这个阶段主要工作是根据给定的规则，校验上阶段获取的数据是否符合预期，符合预期则为平账，不符合预期则进入差错处理阶段。在这个阶段，目前已有的方案大多采用硬编码的方式，将校验规则通过代码表达，并发布数据校验服务或者脚本。这种方式存在几个问题，一是不够灵活，每个需要做数据校验的业务都要自己编写自己的校验代码，并在业务规则变化时同时修改校验代码；二是没有一个平台统一管理这些数据校验服务，开发成本高。差错处理阶段，是在数据校验阶段发现数据差错后，进行后续处理。一般做法是自动修复数据、导出差异明细表、告警通知人工介入处理等方式。现有的这种方式每次有新的业务需求或者需求变化都需要开发或者修改代码，并发布上线。很明显这种方式的开发效率比较低，成本较高。
技术实现思路
本申请实施例提供一种分布式业务数据校验系统、方法、装置、设备及存储介质，以实现灵活配置校验规则、从而灵活校验数据，节省大量人力。在第一方面，本申请实施例提供了分布式业务数据校验系统，包括依次连接的数据准备模块、数据校验模块和差错处理模块；所述数据准备模块用于提供待校验的数据源，所述待校验的数据源包括若干数据；所述数据校验模块用于当满足校验周期后触发校验任务，以根据校验规则对待校验的数据源进行校验；其中，所述校验规则通过动态修改规则脚本配置获得；所述差错处理模块用于对数据校验模块中校验为有差错的待校验的数据源进行处理。在第二方面，本申请实施例提供了一种分布式业务数据校验方法，包括：提供待校验的数据源，所述待校验的数据源包括若干数据；当满足校验周期后触发校验任务，根据校验规则对待校验的数据源进行校验；其中，所述校验规则通过动态修改规则脚本配置获得；当待校验的数据源被校验为有差错时，对有差错的数据源进行处理。在第三方面，本申请实施例提供了一种分布式业务数据校验装置，包括：数据提供模块：用于提供待校验的数据源，所述待校验的数据源包括若干数据；数据校验模块：用于当满足校验周期后触发校验任务，根据校验规则对待校验的数据源进行校验；其中，所述校验规则通过动态修改规则脚本配置获得；差错处理模块：用于当待校验的数据源被校验为有差错时，对有差错的数据源进行处理。在第四方面，本申请实施例提供了一种计算机设备，包括：存储器以及一个或多个处理器；所述存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第二方面所述的分布式业务数据校验方法。在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第二方面所述的分布式业务数据校验方法。本申请实施例通过提供依次连接的数据准备模块、数据校验模块和差错处理模块，数据准备模块用于提供待校验的数据源，数据校验模块用于当满足校验周期后触发校验任务，以根据校验规则对待校验的数据源进行校验；并且所述校验规则通过动态修改规则脚本配置获得，当校验规则需要变更，只需要修改规则脚本配置即可，节省大量人力，可以灵活配置，降低开发成本。附图说明图1是本申请实施例提供的一种分布式业务数据校验系统的结构示意图；图2是本申请实施例提供的另一种分布式业务数据校验系统的结构示意图；图3是本申请实施例提供的另一种分布式业务数据校验系统的结构示意图；图4是本申请实施例提供的一种分布式业务数据校验方法的流程图；图5是本申请实施例提供的另一种分布式业务数据校验方法的流程图；图6是本申请实施例提供的另一种分布式业务数据校验方法的流程图；图7是本申请实施例提供的一种分布式业务数据校验装置的结构示意图；图8是本申请实施例提供的一种计算机设备的结构示意图；图9是本申请实施例提供的数据适配模块的数据适配配置格式；图10是本申请实施例提供的数据校验模块的校验规则配置格式。具体实施方式为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。本申请实施例提供了一种分布式业务数据校验系统、分布式业务数据校验方法、分布式业务数据校验装置、设备及存储介质。本申请实施例通过提供依次连接的数据准备模块、数据校验模块和差错处理模块，数据准备模块用于提供待校验的数据源，数据本文档来自技高网...

【技术保护点】
1.分布式业务数据校验系统，其特征在于，包括依次连接的数据准备模块、数据校验模块和差错处理模块；所述数据准备模块用于提供待校验的数据源，所述待校验的数据源包括若干数据；所述数据校验模块用于当满足校验周期后触发校验任务，以根据校验规则对待校验的数据源进行校验；其中，所述校验规则通过动态修改规则脚本配置获得；所述差错处理模块用于对数据校验模块中校验为有差错的待校验的数据源进行处理。/n

【技术特征摘要】
1.分布式业务数据校验系统，其特征在于，包括依次连接的数据准备模块、数据校验模块和差错处理模块；所述数据准备模块用于提供待校验的数据源，所述待校验的数据源包括若干数据；所述数据校验模块用于当满足校验周期后触发校验任务，以根据校验规则对待校验的数据源进行校验；其中，所述校验规则通过动态修改规则脚本配置获得；所述差错处理模块用于对数据校验模块中校验为有差错的待校验的数据源进行处理。


2.根据权利要求1所述的分布式业务数据校验系统，其特征在于，还包括数据适配模块，所述数据准备模块、数据适配模块、数据校验模块和差错处理模块依次连接；所述数据适配模块用于提供统一的预设格式，将待检验的数据源中的全部数据处理为预设格式的待校验数据；所述数据校验模块用于当满足校验周期后触发校验任务，以根据校验规则对待校验数据进行校验。


3.根据权利要求2所述的分布式业务数据校验系统，其特征在于，所述数据校验模块包括相互连接的第一校验子模块和第二校验子模块，所述第一校验子模块与数据适配模块连接，用于当满足校验周期后触发校验任务，以根据校验规则对待校验数据进行第一次校验；所述第二校验子模块与差错处理模块连接，用于对第一校验子模块中校验为有差错的待校验数据进行第二次校验，并对第二次校验中校验为有差错的待校验数据输出至差错处理模块。


4.根据权利要求1所述的分布式业务数据校验系统，其特征在于，所述数据准备模块中提供的待校验的数据源通过链接外部数据库的数据资源日志获得，所述数据库资源日志用于表示不同数据的每一个变更事件。


5.分布式业务数据校验方法，其特征在于，包括：
提供待校验的数据源，所述待校验的数据源包括若干数据；
当满足校验...

【专利技术属性】
技术研发人员：邓辉超，
申请(专利权)人：北京洛塔信息技术有限公司，
类型：发明
国别省市：北京;11