一种数据全过程核对系统技术方案

本发明专利技术公开了一种数据全过程核对系统，属于数据比对领域，要解决的技术问题为如何脱离人工参与实现跨数据库产品之间的业务数据一致性对比。系统包括：缓存库；预警库；策略编辑器，提供交互界面，用于通过交互界面编辑数据核对策略；策略库，用于存储数据核对策略；调度器，用于从策略库中抽取数据核对策略，并推送数据核对策略；策略引擎，用于将接收的数据核对策略翻译为可执行的SQL语句、并在各个数据库产品上执行生成执行结果，将执行结果统一存储至缓存库，并用于对缓存库中的数据进行对比生成对比结果，并将对比结果存储至预警库；预警引擎，用于从预警库中读取预警信息并发出预警。

A checking system for the whole process of data

【技术实现步骤摘要】
一种数据全过程核对系统
本专利技术涉及数据比对领域，具体地说是一种数据全过程核对系统。
技术介绍
目前的电商交易系统中，数据层的架构多数较为复杂，都为多个数据库产品的混合使用，通过ETL过程实现多个数据库之间的数据同步。每个数据库产品之间数据是否一致，成为一个普遍面对的课题。多个数据库产品之间的数据对比过程，目前大部分都是采用人工根据，或者是监控平台的一部分，没有策略可维护，耗费人力成本。现有的数据核对方法为：查找需核对数据对应的原始数据；接收数据核对指令；根据所述数据核对指令获取需核对数据对应的电子数据；判断所述需核对数据对应的电子数据是否存在与所述需核对数据对应的原始数据不同的数据；在所述需核对数据对应的电子数据存在与所述需核对数据对应的原始数据不同的数据大于预设的数据量阈值时，显示所述需核对数据对应的标准数据，以便用户核对。上述方法没有针对全过程数据库产品做出明确描述，不提供对多个数据库产品进行核对的思路，没有明确的策略系统包括策略编辑器和策略引擎。基于上述分析，如何脱离人工参与实现跨数据库产品之间的业务数据一致性对比，是需要解决的技术问题。
技术实现思路
本专利技术的技术任务是针对以上不足，提供一种数据全过程核对系统，来解决如何脱离人工参与实现跨数据库产品之间的业务数据一致性对比的问题。本专利技术提供一种数据全过程核对系统，包括：缓存库；预警库；策略编辑器，所述策略编辑器提供交互界面，用于通过交互界面编辑数据核对策略；策略库，所述策略库用于存储数据核对策略；调度器，所述调度器用于从策略库中抽取数据核对策略，并推送数据核对策略；策略引擎，所述策略引擎用于将接收的数据核对策略翻译为可执行的SQL语句、并在各个数据库产品上执行生成执行结果，将执行结果统一存储至缓存库，并用于对缓存库中的数据进行对比生成对比结果，并将对比结果存储至预警库；预警引擎，所述预警引擎用于从预警库中读取预警信息并发出预警。作为优选，数据核对策略以业务点命名。作为优选，数据核对策略的内容包括单但不限于：调度时间，所述调度时间主要用于描述开始执行任务的时间；调度节点，所述调度节点用于编辑调度时的前置条件，前置条件为调度时其它调度任务的完成情况；数据采集点选择，所述数据采集点选择用于提供各个数据库产品的元数据树，支持用户选择对同一个业务点在不同数据库产品上选择不同的数据表进行对比，且支持用户选择在不同数据库产品上选择相同的数据表进行对比；核对方式，所述核对方式包括数据条数核对和数据内容核对。作为优选，核对方式提供自定义方式，自定义方式允许输入SQL，策略引擎根据在各个数据库产品上的SQL运算结果进行对比。作为优选，策略引擎装载于容器中，并按照集群方式部署且允许动态伸缩。作为优选，所述策略引擎运行时按照默认资源数量运行，当运行时间过长或者过短时，策略引擎将执行结果会反馈至调度器；所述调度器用于根据执行结果进行资源资源评估并优化下一步策略引擎的资源使用情况。作为优选，调度器用于从策略引擎收集执行结果，并将执行结果反馈至策略库；策略编辑器用于从策略库读取执行结果，并通过交互界面显示执行结果以实现任务跟踪展示。作为优选，策略编辑器、调度器以及预警引擎均个两个，且均采用HA架构部署。本专利技术的一种数据全过程核对系统具有以下优点：1、将数据全过程核对独立出来并着重策略维护和运行，实现了数据全过程核对的从无到有的突破，全过程数据核对不再依赖人工或者其他监控系统，运行也更加稳定；2、策略引擎运行时是可以弹性伸缩，策略引擎于调度器配合可自动修正资源利用情况。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。下面结合附图对本专利技术进一步说明。附图1为实施例1一种数据全过程核对系统架构框图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定，在不冲突的情况下，本专利技术实施例以及实施例中的技术特征可以相互结合。本专利技术实施例提供一种数据全过程核对系统，用于解决如何脱离人工参与实现跨数据库产品之间的业务数据一致性对比的技术问题。实施例：本专利技术的一种数据全过程核对系统，包括缓存库、预警库、策略编辑器、策略库、调度器、策略引擎和预警引擎，策略编辑器、策略库、调度器、策略引擎依次数据连接，策略引擎分别与缓存库和预警库数据连接，预警库与预警引擎数据连接。策略编辑器提供交互界面，用于通过交互界面编辑数据核对策略，交互界面提供页面面向数据运营团队。数据核对策略以业务点命名，内容包括：调度时间、调度节点、数据采集点选择、数据约以及、核对方式等内容。调度时间和调度节点用于调度数据核对任务时使用，调度时间主要用于描述开始执行任务的时间；调度节点用于编辑调度时的前置条件，前置条件是指调度时其他调度任务的完成情况；数据采集点选择用于提供各个数据库产品的元数据树，用户可以对同一个业务点在不同数据库产品上选择不同的数据表进行对比，也可以在不同数据库产品上选择相同的数据表进行对比；核对方式包括数据条数核对和数据内容核对，数据内容核对包括单一字段的加和、平均、数量等，且核对方式提供自定义方式，自定义方式允许输入SQL，搜索引擎会根据在各个数据库产品上的SQL运算结果进行对比。调度器用于从策略库中抽取数据核对策略，并根据调度时间将数据核对策略推送至策略引擎，由策略引擎具体执行策略内容。策略引擎用于将接收的数据核对策略翻译为可执行的SQL语句、并在各个数据库产品上执行生成执行结果，将执行结果统一存储至缓存库，并用于对缓存库中的数据进行对比生成对比结果，并将对比结果存储至预警库。策略引擎运行时按照默认资源数量运行，当运行时间过长或者过短时，策略引擎将执行结果会反馈至调度器。调度器用于从策略引擎获取执行结果，根据执行结果进行资源资源评估并优化下一步策略引擎的资源使用情况。调度器用于从策略引擎收集执行结果，并将执行结果反馈至策略库；策略编辑器用于从策略库读取执行结果，并通过交互界面显示执行结果以实现任务跟踪展示。策略引擎运行在容器中，每一次运行需要调度器指定运行资源数量，第一次运行指定默认资源数量，以后的每一次运行都会根据上次运行时间和资源占用情况，修正本次资源数量。本实施例中策略编辑器、调度器以及预警引擎均个两个，且均采用HA架构部署。提高了该系统的可用性。本专利技术的一种数据全过程核对系统，使用时策略引擎与分布式数据访问层数据连接，并通过分布式数据访问层与交易域数据库数据连接，并通过分布式数据访问层本文档来自技高网...

【技术保护点】
1.一种数据全过程核对系统，其特征在于包括：/n缓存库；/n预警库；/n策略编辑器，所述策略编辑器提供交互界面，用于通过交互界面编辑数据核对策略；/n策略库，所述策略库用于存储数据核对策略；/n调度器，所述调度器用于从策略库中抽取数据核对策略，并推送数据核对策略；/n策略引擎，所述策略引擎用于将接收的数据核对策略翻译为可执行的SQL语句、并在各个数据库产品上执行生成执行结果，将执行结果统一存储至缓存库，并用于对缓存库中的数据进行对比生成对比结果，并将对比结果存储至预警库；/n预警引擎，所述预警引擎用于从预警库中读取预警信息并发出预警。/n

【技术特征摘要】
1.一种数据全过程核对系统，其特征在于包括：
缓存库；
预警库；
策略编辑器，所述策略编辑器提供交互界面，用于通过交互界面编辑数据核对策略；
策略库，所述策略库用于存储数据核对策略；
调度器，所述调度器用于从策略库中抽取数据核对策略，并推送数据核对策略；
策略引擎，所述策略引擎用于将接收的数据核对策略翻译为可执行的SQL语句、并在各个数据库产品上执行生成执行结果，将执行结果统一存储至缓存库，并用于对缓存库中的数据进行对比生成对比结果，并将对比结果存储至预警库；
预警引擎，所述预警引擎用于从预警库中读取预警信息并发出预警。


2.根据权利要求1所述的一种数据全过程核对系统，其特征在于数据核对策略以业务点命名。


3.根据权利要求2所述的一种数据全过程核对系统，其特征在于数据核对策略的内容包括但不限于：
调度时间，所述调度时间主要用于描述开始执行任务的时间；
调度节点，所述调度节点用于编辑调度时的前置条件，前置条件为调度时其它调度任务的完成情况；
数据采集点选择，所述数据采集点选择用于提供各个数据库产品的元数据树，支持用户选择对同一个业务点在不同数据库产品上选择不同的数据表进行对比，且支持用...

【专利技术属性】
技术研发人员：张田，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：山东;37