一种数据全过程核对系统技术方案

本发明专利技术公开了一种数据全过程核对系统，属于数据比对领域，要解决的技术问题为如何脱离人工参与实现跨数据库产品之间的业务数据一致性对比。系统包括：缓存库；预警库；策略编辑器，提供交互界面，用于通过交互界面编辑数据核对策略；策略库，用于存储数据核对策略；调度器，用于从策略库中抽取数据核对策略，并推送数据核对策略；策略引擎，用于将接收的数据核对策略翻译为可执行的SQL语句、并在各个数据库产品上执行生成执行结果，将执行结果统一存储至缓存库，并用于对缓存库中的数据进行对比生成对比结果，并将对比结果存储至预警库；预警引擎，用于从预警库中读取预警信息并发出预警。

A checking system for the whole process of data

【技术实现步骤摘要】
一种数据全过程核对系统
本专利技术涉及数据比对领域，具体地说是一种数据全过程核对系统。
技术介绍
目前的电商交易系统中，数据层的架构多数较为复杂，都为多个数据库产品的混合使用，通过ETL过程实现多个数据库之间的数据同步。每个数据库产品之间数据是否一致，成为一个普遍面对的课题。多个数据库产品之间的数据对比过程，目前大部分都是采用人工根据，或者是监控平台的一部分，没有策略可维护，耗费人力成本。现有的数据核对方法为：查找需核对数据对应的原始数据；接收数据核对指令；根据所述数据核对指令获取需核对数据对应的电子数据；判断所述需核对数据对应的电子数据是否存在与所述需核对数据对应的原始数据不同的数据；在所述需核对数据对应的电子数据存在与所述需核对数据对应的原始数据不同的数据大于预设的数据量阈值时，显示所述需核对数据对应的标准数据，以便用户核对。上述方法没有针对全过程数据库产品做出明确描述，不提供对多个数据库产品进行核对的思路，没有明确的策略系统包括策略编辑器和策略引擎。基于上述分析，如何脱离人工参与实现跨数据库产品之间的业务数据一致性对比，是本文档来自技高网...

【技术保护点】
1.一种数据全过程核对系统，其特征在于包括：/n缓存库；/n预警库；/n策略编辑器，所述策略编辑器提供交互界面，用于通过交互界面编辑数据核对策略；/n策略库，所述策略库用于存储数据核对策略；/n调度器，所述调度器用于从策略库中抽取数据核对策略，并推送数据核对策略；/n策略引擎，所述策略引擎用于将接收的数据核对策略翻译为可执行的SQL语句、并在各个数据库产品上执行生成执行结果，将执行结果统一存储至缓存库，并用于对缓存库中的数据进行对比生成对比结果，并将对比结果存储至预警库；/n预警引擎，所述预警引擎用于从预警库中读取预警信息并发出预警。/n

【技术特征摘要】
1.一种数据全过程核对系统，其特征在于包括：
缓存库；
预警库；
策略编辑器，所述策略编辑器提供交互界面，用于通过交互界面编辑数据核对策略；
策略库，所述策略库用于存储数据核对策略；
调度器，所述调度器用于从策略库中抽取数据核对策略，并推送数据核对策略；
策略引擎，所述策略引擎用于将接收的数据核对策略翻译为可执行的SQL语句、并在各个数据库产品上执行生成执行结果，将执行结果统一存储至缓存库，并用于对缓存库中的数据进行对比生成对比结果，并将对比结果存储至预警库；
预警引擎，所述预警引擎用于从预警库中读取预警信息并发出预警。


2.根据权利要求1所述的一种数据全过程核对系统，其特征在于数据核对策略以业务点命名。


3.根据权利要求2所述的一种数据全过程核对系统，其特征在于数据核对策略的内容包括但不限于：
调度时间，所述调度时间主要用于描述开始执行任务的时间；
调度节点，所述调度节点用于编辑调度时的前置条件，前置条件为调度时其它调度任务的完成情况；
数据采集点选择，所述数据采集点选择用于提供各个数据库产品的元数据树，支持用户选择对同一个业务点在不同数据库产品上选择不同的数据表进行对比，且支持用...

【专利技术属性】
技术研发人员：张田，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：山东;37