数据核对方法、装置、系统及电子设备制造方法及图纸

本申请公开了一种数据核对方法、装置、系统及电子设备，其方法包括：接收并解析核对任务，以获取核对任务的配置信息，核对任务是所述核对管理平台响应于核对任务建立指令，发布至云服务平台的；根据配置信息建立核对任务的核对流应用，核对流应用至少包括拉取组件、至少一个处理组件、汇聚组件；调用拉取组件，根据配置信息从至少一个目标数据源拉取第一数据；调用处理组件，从对应的业务系统拉取第二数据，并根据配置信息，对第一数据与所述第二数据进行核对；调用汇聚组件，对核对获得的结果进行汇总，得到数据核对结果。本申请实现了数据的跨系统核对；且可以支持在线配置，一键部署，实现了数据核查的灵活配置以及变更的快速迭代。迭代。迭代。

【技术实现步骤摘要】
数据核对方法、装置、系统及电子设备


[0001]本申请涉及数据处理领域，具体涉及一种数据核对方法、装置、系统及电子设备。

技术介绍

[0002]在软件产品发展过程中会产生很多的数据，数据在各系统之间流转很容易由于各种原因出现数据不一致的情况，有价值的数据不一致的话就会导致很多异常问题出现，因此在一些业务场景下，需要对来自不同业务系统中的数据进行核查，以发现异常数据。
[0003]跨系统的数据核查存在很多问题：如数据孤岛、烟囱困境问题，业务链路越来越长，数据在个系统之间是独立存储的，在这种复杂的链路中很容易出现分布式系统问题，网络错误，系统异常等，及时发现数据不一致的情况是非常困难的，因此链路之间很多数据不一致的问题都是在收到运营反馈之后才知道的，无法在发生变更或者故障时候及时发现；变更频繁、逻辑复杂，业务在不停的发生变更，对账规则和对账数据也在发生变化，每次数据核对都需要对熟悉业务的工作人员通过开发代码来进行核对规则的快速变更，这会消耗非常大的人力和时间成本。
[0004]现有技术中，针对数据核查或者获取采取传统的编程式方式，或者主要集中于单一系统内部核查，或者不具有普适性，难以满足大量跨系统的数据核查的需要。

技术实现思路

[0005]本申请实施例针对上述情况，提出了一种数据核对方法、装置、系统及电子设备，以克服或部分克服现有技术的不足之处。
[0006]第一方面，本申请实施例提供了一种数据核对方法，所述方法是通过数据核对系统实现的，所述核对系统系统包括通信连接的核对管理平台和云服务平台；
[0007]所述方法应用于所述云服务平台，所述方法包括：
[0008]接收并解析核对任务，以获取所述核对任务的配置信息，所述核对任务是所述核对管理平台响应于核对任务建立指令，发布至所述云服务平台的；
[0009]根据所述配置信息建立核对任务的核对流应用，所述核对流应用至少包括拉取组件、至少一个处理组件、汇聚组件；
[0010]调用所述拉取组件，根据所述配置信息从多个目标业务系统拉取第一数据；
[0011]调用所述处理组件，从对应的业务系统拉取第二数据，并根据所述配置信息，对所述第一数据与所述第二数据进行核对；
[0012]调用所述汇聚组件，对核对获得的结果进行汇总，得到数据核对结果。
[0013]第二方面，本申请实施例还提供了一种数据核对方法，所述方法是通过数据核对系统实现的，所述核对系统系统包括通信连接的核对管理平台和云服务平台；
[0014]所述方法应用于所述核对管理平台，所述方法包括：
[0015]提供配置界面，所述配置界面包括核对任务配置控件，所述对任务配置控件包括数据源配置子控件和核对规则配置子控件；
[0016]通过配置界面获取核对任务的配置信息；
[0017]根据所述配置信息生成核对任务，并将所述核对任务发布至所述云服务平台。
[0018]第三方面，本申请实施例还提供了一种数据核对装置，所述数据核对装置可实现如前所述任一的方法。
[0019]第四方面，本申请实施例还提供了一种数据核对系统，所述数据核对系统包括通信连接的核对管理平台和云服务平台，所述核对管理平台部署有数据核对装置，可实现如前所述的应用于所述核对管理平台的数据核查方法；所述云服务平台部署有数据核对装置，可实现如前所述的应用于所述云服务平台的数据核查方法。
[0020]第五方面，本申请实施例还提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一的方法。
[0021]第六方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述任一的方法。
[0022]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0023]本申请设计了核对系统系统，该核对系统系统包括通信连接的核对管理平台和云服务平台，将核对管理平台看作是云服务平台的一个客户端，核对人员可以在核对管理平台对核对任务进行配置，并将核对任务发布到云服务平台上，云服务平台在接到管理任务后，能够根据其配置信息建立核对应用，在核对应用中包含多个可事先配置的流应用，流应用根据配置信息，从多个系统中拉取第一数据和第二数据，并完成数据核对以及结果汇总工作。本申请可以将不同数据源的数据汇聚到一起进行比对处理，实现了数据的跨系统核对；且可以支持在线配置，一键部署，实现了数据核查的灵活配置以及变更的快速迭代；且业务与核对分离，数据核对完全不影响业务的访问。
附图说明
[0024]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0025]图1示出根据本申请的一个实施例的数据核对系统的结构示意图；
[0026]图2示出了根据本申请的一个实施例的数据核对方法的流程示意图；
[0027]图3示出了根据本申请的另一个实施例的数据核对方法的流程示意图；
[0028]图4示出了根据本申请的再一个实施例的数据核对方法的流程示意图；
[0029]图5示出了根据本申请的一个实施例的第一数据核对装置的结构示意图；
[0030]图6示出了根据本申请的一个实施例的第二数据核对装置的结构示意图；
[0031]图7为本申请实施例中一种电子设备的结构示意图。
具体实施方式
[0032]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做
出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0033]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0034]本申请的构思在于，针对于现有技术跨系统数据核对的痛点，设计了一个数据核对系统，该数据核对系统至少包括通信连接核对管理平台和云服务平台，将核对管理平台作为云服务平台，核对人员可以随时在管理平台提交核对任务，云服务平台能够根据核对任务从多个业务系统拉取对应数据，进行数据核对。
[0035]图1示出了根据本申请的一个实施例的数据核对系统的结构示意图，从图1可以看出，数据核对系统100包括核对管理平台110和云服务平台120，核对管理平台110和云服务平台120通信连接。其中，云服务平台120可以为现有技术中的任意一种云服务，如Kubernetes平台。
[0036]Kubernetes平台是一个可移植、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。Kubernetes拥有一个庞大且快速增长的生态系统，其服务、支持和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据核对方法，其特征在于，所述方法是通过数据核对系统实现的，所述核对系统系统包括通信连接的核对管理平台和云服务平台；所述方法应用于所述云服务平台，所述方法包括：接收并解析核对任务，以获取所述核对任务的配置信息，所述核对任务是所述核对管理平台响应于核对任务建立指令，发布至所述云服务平台的；根据所述配置信息建立核对任务的核对流应用，所述核对流应用至少包括拉取组件、至少一个处理组件、汇聚组件；调用所述拉取组件，根据所述配置信息从至少一个目标数据源拉取第一数据；调用所述处理组件，从对应的业务系统拉取第二数据，并根据所述配置信息，对所述第一数据与所述第二数据进行核对；调用所述汇聚组件，对核对获得的结果进行汇总，得到数据核对结果。2.根据权利要求1所述的方法，其特征在于，所述核对系统系统还包括：可视化观测平台，所述可视化观测平台连接所述云服务器平台；所述方法还包括：将所述数据核对结果发送至所述可视化观测平台，以使所述可视化观测平台展示所述数据核对结果；和/或，通过指定通信方式，将所述数据核对结果中的异常结果发送至指定终端。3.根据权利要求1所述的方法，其特征在于，所述根据所述配置信息建立核对任务的核对流应用，包括：提供资源调度接口，响应于所述核对任务对应的接口调用指令，在所述云服务平台，建立所述核对任务的核对流应用。4.根据权利要求1所述的方法，其特征在于，所述配置信息包括至少一个目标数据源和核对规则；所述调用所述拉取组件，根据所述配置信息从至少一个目标数据源拉取第一数据，包括：建立与所述目标数据源的通信连接；基于所述通信连接，从所述目标数据源拉取第一数据；所述对所述第一数据与所述第二数据进行核对，包括：将所述第一数据与所述第二数据，按照所述核对规则进行运算，确认所述第一数据和/或所述第二数据是否存在异。...

【专利技术属性】
技术研发人员：宋鲁生，江金莲，
申请(专利权)人：平安付科技服务有限公司，
类型：发明
国别省市：