【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种基于数据模型的数据核验方法、装置、设备及存储介质。
技术介绍
1、在信息管理与信息系统领域中，数据资产是重要的核心价值所在；随着信息技术的不断发展和信息系统间的深入融合和集成共享，数据资产的质量问题显得尤为重要；影响数据资产质量的主要因素包括数据的真实性、完整性、准确性、数据成本等。
2、目前在进行数据资产的质量核验时需要根据用户的数据质量需求，定制数据质量核验方案，进行需求的定制化平台开发，以达到对业务数据质量核验目的；并且数据质量核验规则与待核验信息系统相关联，每一个系统中的数据都有着个性化的定义，需要针对每个系统来制定独立的核验规则；因此存在数据核验时工作量大，实施周期长，数据核验方案的可拓展性差等问题，浪费了大量的人力物力成本。
技术实现思路
1、本专利技术提供了一种基于数据模型的数据核验方法、装置、设备及存储介质，通过预先建立的数据模型来匹配不同类型数据的核验规则，可以适用于多种不同类型系统的数据核验，提高了数据核验的效率，并降低了人力物力成本。
2、第一方面，本专利技术的实施例提供了一种基于数据模型的数据核验方法，该数据核验方法包括：
3、根据标准数据信息和元数据信息建立数据模型；
4、根据预设方法和数据模型生成数据核验规则；
5、根据核验规则对数据进行核验。
6、可选地，根据标准数据信息和元数据信息的关系建立数据模型，包括：
7、确定标准数据信息和元
8、对元数据信息进行落标，匹配或设置对应的代码值。
9、可选地，根据预设方法和数据模型生成数据核验规则，包括：
10、判断待核验数据的代码值的数量；
11、若代码值的数量大于数量阈值，则根据数据库类型自动生成动态建表语句进行分表存储，得到多个子表；
12、遍历多个子表，根据子表存储数据的代码值匹配所述数据模型；
13、根据匹配结果确定待核验数据中的字段类型；
14、根据字段类型匹配预设的数据核验规则模板，生成待核验数据的核验规则。
15、可选地，根据预设方法和数据模型生成数据核验规则，还包括：
16、若代码值的数量小于等于数量阈值，则直接创建待核验数据的代码值表；
17、根据代码值表匹配数据模型确定待核验数据中的字段类型；
18、根据字段类型匹配预设的数据核验规则模板，生成待核验数据的核验规则。
19、可选地，根据预设方法和数据模型生成数据核验规则，还包括：
20、若待核验数据不存在代码值，则根据逻辑数据类型对待核验数据进行分类；
21、根据逻辑数据类型和对应的存储数据库类型之间的数据映射关系，确定每个类别待核验数据的字段类型；
22、根据字段类型匹配预设的数据核验规则模板，生成待核验数据的核验规则。
23、可选地，根据核验规则对数据进行核验，包括：
24、若是对新建系统的数据进行核验，则直接匹配核验规则进行数据核验；
25、若是对存量系统的数据进行核验，则重新建立存量系统的数据代码值和数据模型中代码值之间的映射关系；
26、基于新的映射关系匹配核验规则进行数据核验。
27、可选地，该数据核验方法还包括：
28、将数据核验规则模板存入微服务中，直接在微服务中进行字段类型和数据核验规则模板的匹配生成待核验数据的核验规则；
29、将核验规则输入到数据核验系统中进行待核验数据的核验。
30、第二方面，本专利技术的实施例提供了一种基于数据模型的数据核验装置，该数据核验装置包括：
31、建立模块，用于根据标准数据信息和元数据信息建立数据模型；
32、生成模块，用于根据预设方法和数据模型生成数据核验规则；
33、核验模块，用于根据核验规则对数据进行核验。
34、第三方面，本专利技术的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面中任一实现方式所述的方法。
35、第四方面，本专利技术的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一实现方式所述的方法。
36、本专利技术提供了一种基于数据模型的数据核验方法、装置、设备及存储介质，该方法如下：根据标准数据信息和元数据信息建立数据模型；根据预设方法和所述数据模型生成数据核验规则；根据所述核验规则对数据进行核验。本专利技术中的数据核验方法通过预先建立的数据模型来匹配不同类型数据的核验规则，可以适用于多种不同类型系统的数据核验，提高了数据核验的效率，并降低了人力物力成本。
37、应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本专利技术的实施例的关键或重要特征，亦非用于限制本专利技术的范围。本专利技术的其它特征将通过以下的描述变得容易理解。
【技术保护点】
1.一种基于数据模型的数据核验方法，其特征在于，该数据核验方法包括：
2.根据权利要求1所述的基于数据模型的数据核验方法，其特征在于，所述根据标准数据信息和元数据信息的关系建立数据模型，包括：
3.根据权利要求1所述的基于数据模型的数据核验方法，其特征在于，所述根据预设方法和所述数据模型生成数据核验规则，包括：
4.根据权利要求3所述的基于数据模型的数据核验方法，其特征在于，所述根据预设方法和所述数据模型生成数据核验规则，还包括：
5.根据权利要求3所述的基于数据模型的数据核验方法，其特征在于，所述根据预设方法和所述数据模型生成数据核验规则，还包括：
6.根据权利要求1所述的基于数据模型的数据核验方法，其特征在于，所述根据所述核验规则对数据进行核验，包括：
7.根据权利要求3-5任一项所述的基于数据模型的数据核验方法，其特征在于，还包括：
8.一种基于数据模型的数据核验装置，其特征在于，该数据核验装置包括：
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
...【技术特征摘要】
1.一种基于数据模型的数据核验方法，其特征在于，该数据核验方法包括：
2.根据权利要求1所述的基于数据模型的数据核验方法，其特征在于，所述根据标准数据信息和元数据信息的关系建立数据模型，包括：
3.根据权利要求1所述的基于数据模型的数据核验方法，其特征在于，所述根据预设方法和所述数据模型生成数据核验规则，包括：
4.根据权利要求3所述的基于数据模型的数据核验方法，其特征在于，所述根据预设方法和所述数据模型生成数据核验规则，还包括：
5.根据权利要求3所述的基于数据模型的数据核验方法，其特征在于，所述根据预设方法和所述数据模型生成数据核验规则，还包括...
【专利技术属性】
技术研发人员：刘晨，马超，郑保卫，李勇，敖劲松，
申请(专利权)人：恩核北京信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。