一种验证数据的方法技术

本申请公开了一种验证数据的方法

【技术实现步骤摘要】
一种验证数据的方法、装置、设备及介质


[0001]本申请涉及大数据领域，特别是指一种验证数据的方法
、
装置
、
设备及介质
。

技术介绍

[0002]数据仓储系统可以用于存储大量业务数据，而数据字典则是用于描述数据的信息集合，可以对数据的数据项
、
数据结构
、
数据流
、
数据存储
、
处理逻辑等进行定义和描述
。
[0003]在现有技术中，通过人工对数据仓储系统对应的数据字典进行整理，从而对数据仓储系统中的数据进行维护
。
然而上述现有技术存在效率较低的问题
。

技术实现思路

[0004]有鉴于此，本申请提供了一种验证数据的方法及装置，从而达到提高数据的验证效率的目的
。
[0005]本申请提供的一种验证数据的方法是这样实现的：
[0006]接收并分析数据，得到数据的数据类型；
[0007]将数据类型对应的数据模式与数据仓储系统的数据字典进行合并，得到合并后的数据字典；
[0008]根据合并后的数据字典，验证数据仓储系统中的历史数据
。
[0009]可选地，数据类型对应的数据模式包括：
[0010]数据类型对应的规则，以及数据类型对应的关联关系
。
[0011]可选地，根据合并后的数据字典，反向验证数据仓储系统中的历史数据，包括：
[0012]基于合并后的数据字典中包含的规则以及关联关系，将历史数据中不符合规则以及关联关系的字段进行筛除
。
[0013]可选地，将数据类型对应的数据模式与数据仓储系统的数据字典进行合并，得到合并后的数据字典之后，还包括：
[0014]生成合并后的数据字典的全端展示图
。
[0015]可选地，生成合并后的数据字典的全端展示图之后，还包括：
[0016]对全端展示图中数据类型对应的数据模式添加标识
。
[0017]本申请还提供了一种验证数据的装置，应用于数据仓储系统，包括：分析模块
、
合并模块以及验证模块；
[0018]分析模块，用于接收并分析数据，得到数据的数据类型；
[0019]合并模块，用于将数据类型对应的数据模式与数据仓储系统的数据字典进行合并，得到合并后的数据字典；
[0020]验证模块，用于根据合并后的数据字典，验证数据仓储系统中的历史数据
。
[0021]可选地，验证模块，具体用于基于合并后的数据字典中包含的规则以及关联关系，将历史数据中不符合规则以及关联关系的字段进行筛除
。
[0022]可选地，装置还包括：生成模块；
[0023]生成模块，用于生成合并后的数据字典的全端展示图
。
[0024]本申请还提供了一种计算机设备，包括：处理器，处理器与存储器耦合，存储器中存储有至少一条计算机程序指令，至少一条计算机程序指令由处理器加载并执行，以使计算机设备实现上述验证数据的方法
。
[0025]本申请还提供了一种计算机存储介质，用于存储计算机程序，计算机程序被执行时，用于实现上述验证数据的方法
。
[0026]因此，本申请的有益效果是：可以在数据仓储系统接收新数据时，自动对新数据的数据类型以及数据模式进行识别，并将新数据的数据模式与数据仓储系统的数据字典进行合并，从而可以对数据仓储系统的数据字典进行自动更新；同时，还可以根据更新后的数据字典，自动验证数据仓储系统中的历史数据，从而使得数据仓储系统中的数据均符合数据字典中的定义
。
因此，本申请提高了对数据仓储系统中的数据的验证效率，且数据仓储系统中的数据字典可以更好地反应数据的现状
。
附图说明
[0027]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，还可以根据提供的附图获得其他的附图
。
[0028]图1为本申请第一实施例的流程图；
[0029]图2为本申请第二实施例的流程图；
[0030]图3为本申请的一种装置示意图；
[0031]图4为本申请的一种计算机设备示意图
。
具体实施方式
[0032]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围
。
[0033]本申请提供的一种验证数据的方法
、
装置
、
设备及介质可用于大数据领域或金融领域
。
上述仅为示例，并不对本申请提供的一种验证数据的方法
、
装置
、
设备及介质的应用领域进行限定
。
[0034]具体地，上述一种验证数据的方法和装置可以应用于数据仓储系统，从而对数据仓储系统中的数据进行验证
。
[0035]在本申请实施例中，验证数据的设备可以包括但不限于计算机设备
。
[0036]计算机设备可以包括：处理器，处理器与存储器耦合，存储器中存储有至少一条计算机程序指令，至少一条计算机程序指令由处理器加载并执行，以使计算机设备实现验证数据的方法
。
计算机设备在后续实施例中简称为计算机
。
[0037]请参阅图1，本申请的第一实施例具体步骤如下：
[0038]S101
：计算机接收并分析数据，得到数据的数据类型
。
[0039]由于数据仓储系统常常会接收新数据，且新数据对应的数据字典可能与数据仓储
系统对应的数据字典存在不同，因此需要对新数据进行分析，从而得到新数据对应的数据字典，并与数据仓储系统对应的字典进行合并，以便对数据仓储系统中的数据进行管理
。
[0040]数据仓储系统所接收的新数据可以来源于不同数据库，且不同数据库可以用于存储不同类型的数据，因此，数据仓储系统所接收的新数据可以是不同类型
。
此时，数据的数据类型可以是账号，可以是客户号，可以是地址，也可以是手机号
。
具体地，数据的数据类型可以根据实际需求进行设置，并不局限于上述所举类型
。
[0041]S102
：计算机将数据类型对应的数据模式与数据仓储系统的数据字典进行合并，得到合并后的数据字典
。
[0042]数据对应的数据模式即为数据对应的数据字典
。
具体地，数据类型对应的数据模式可以包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种验证数据的方法，其特征在于，应用于数据仓储系统，所述方法包括：接收并分析数据，得到所述数据的数据类型；将所述数据类型对应的数据模式与所述数据仓储系统的数据字典进行合并，得到合并后的数据字典；根据所述合并后的数据字典，验证所述数据仓储系统中的历史数据
。2.
根据权利要求1所述的方法，其特征在于，所述数据类型对应的数据模式包括：所述数据类型对应的规则，以及所述数据类型对应的关联关系
。3.
根据权利要求1所述的方法，其特征在于，所述根据所述合并后的数据字典，反向验证所述数据仓储系统中的历史数据，包括：基于所述合并后的数据字典中包含的规则以及关联关系，将所述历史数据中不符合所述规则以及所述关联关系的字段进行筛除
。4.
根据权利要求1所述的方法，其特征在于，所述将所述数据类型对应的数据模式与所述数据仓储系统的数据字典进行合并，得到合并后的数据字典之后，还包括：生成所述合并后的数据字典的全端展示图
。5.
根据权利要求4所述的方法，其特征在于，所述生成所述合并后的数据字典的全端展示图之后，还包括：对所述全端展示图中所述数据类型对应的数据模式添加标识
。6.
一种验证数据的装置，其特征...

【专利技术属性】
技术研发人员：张冰，马文治，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：