校验处理的方法、装置、电子设备和存储介质制造方法及图纸

技术编号:18398896 阅读:19 留言:0更新日期:2018-07-08 19:31
本发明专利技术实施例提供一种校验处理的方法、装置、电子设备和存储介质。所述方法包括获取待校验的数据仓库的模型,每一模型包括多个字段信息,所述字段信息包括字段定义和字段类型;根据预先存储的数据字典,对所述字段信息进行校验,所述数据字典包括多个标准用语,每一标准用语包括标准定义和标准类型;若所述字段定义与标准定义匹配且所述字段类型与标准类型不匹配,则将所述字段类型修改为与标准类型一致。所述方法根据标准用语对数据仓库的模型进行校验,在字段定义与标准定义匹配且字段类型与标准类型不匹配时,有针对性的将字段类型修改为与标准类型一致,从而得到标准的一致化的模型。

【技术实现步骤摘要】
校验处理的方法、装置、电子设备和存储介质
本专利技术实施例涉及数据库
,特别是一种校验处理的方法、装置、电子设备和存储介质。
技术介绍
为了更好的做出决策,需创建数据仓库,由数据仓库为决策制定提供数据支持。数据仓库包括大量的数据,其中的数据是对原有分散的多个数据库的数据进行抽取、清理,并在此基础上经过系统加工、汇总和整理得到的。由于数据仓库的数据具有多个数据源(数据库),且对于一个相同的字段,各个数据源的命名有可能是不同的,若整理到一个数据仓库中,一个相同的字段存在多种不一致的命名,导致数据仓库的质量不高,后续在存入数据和读取数据时,导致使用混乱。现有技术中主要采用人工校验的方式,使各个数据的命名规范、一致。由于每个人的经验、能力不同,会出现遗漏,判别错误的情况发生,导致无法实现数据仓库中数据命名一致。
技术实现思路
针对现有技术的缺陷,本专利技术实施例提供一种校验处理的方法、装置、电子设备和存储介质。一方面,本专利技术实施例提供一种校验处理的方法,所述方法包括:获取待校验的数据仓库的模型,每一模型包括多个字段信息,所述字段信息包括字段定义和字段类型;根据预先存储的数据字典,对所述字段信息进行校验,所述数据字典包括多个标准用语,每一标准用语包括标准定义和标准类型;若所述字段定义与标准定义匹配且所述字段类型与标准类型不匹配,则将所述字段类型修改为与标准类型一致。另一方面,本专利技术实施例提供一种校验处理的装置,所述装置包括:获取模块,用于获取待校验的数据仓库的模型,每一模型包括多个字段信息,所述字段信息包括字段定义和字段类型;校验模块,用于根据预先存储的数据字典,对所述字段信息进行校验,所述数据字典包括多个标准用语,每一标准用语包括标准定义和标准类型;修改模块,用于若所述字段定义与标准定义匹配且所述字段类型与标准类型不匹配,则将所述字段类型修改为与标准类型一致。另一方面,本专利技术实施例还提供一种电子设备,包括存储器、处理器、总线以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以上方法的步骤。另一方面,本专利技术实施例还提供一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上方法的步骤。由上述技术方案可知,本专利技术实施例提供的校验处理的方法、装置、电子设备和存储介质,所述方法根据标准用语对数据仓库的模型进行校验,在字段定义与标准定义匹配且字段类型与标准类型不匹配时,有针对性的将字段类型修改为与标准类型一致,从而得到标准的一致化的模型。附图说明图1为本专利技术实施例提供的一种校验处理的方法的流程示意图;图2为本专利技术又一实施例提供的校验处理的装置的整体结构示意图;图3为本专利技术又一实施例提供的校验处理的方法的流程示意图;图4为本专利技术又一实施例提供的初始化阶段操作流程图;图5为本专利技术又一实施例提供的校验操作的部分实例图;图6为本专利技术又一实施例提供的校验操作的部分实例图;图7为本专利技术又一实施例提供的校验操作的流程示意图;图8为本专利技术又一实施例提供的一种校验处理的装置的结构示意图;图9为本专利技术又一实施例提供的一种电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本专利技术实施例一部分实施例,而不是全部的实施例。图1示出了本专利技术实施例提供的一种校验处理的方法的流程示意图。如图1所示,本专利技术实施例提供的方法具体包括以下步骤:步骤11、获取待校验的数据仓库的模型,每一模型包括多个字段信息,所述字段信息包括字段定义和字段类型;可选地,一个数据仓库的构建可分为两步:首先,设计数据仓库的模型,其次将数据写入对应的模型(数据表)。在模型设计完成后,应用本专利技术实施例提供的方法,对该模型进行校验。可选地,将至少一个设计完成的模型上传至校验处理的装置,一个模型可理解为一张数据表,数据表包括多行数据,每一行数据包括对应的字段信息。可选地,所述字段信息包括字段定义和字段类型,字段定义是对字段的意义的描述,可包括字段名和字段描述。字段类型是对字段的类型的描述,例如字段为double或int,其中,double是双精度浮点数,也就是字段可以是有小数点的数,int表示整型,也就是字段是整数。步骤12、根据预先存储的数据字典,对所述字段信息进行校验,所述数据字典包括多个标准用语,每一标准用语包括标准定义和标准类型;可选地,预先创建数据字典,数据字典包括多个标准用语,每一标准用语是得到一致认可的,可以作为统一标准的规范用语。可选地,标准用语是从行业专业用语词典,历史的数据仓库的数据,wiki(维基百科),各种专业书籍,资料中收集得到的。可选地,标准用语包括标准定义和标准类型,所述标准定义是对一个字段的标准描述,标准类型是表示该字段可以使用的一个类型。例如标准定义为金额,预先创建的金额的标准类型double,确定标准类型是double后,金额则不使用int作为标准类型。可选地,针对模型的字段定义,查询数据字典的标准用语中是否存在与模型的字段定义匹配的标准定义。如果字段定义与标准用语的标准定义匹配成功,则针对模型的字段类型,查询标准用语中与模型的字段定义匹配的标准定义所对应的标准类型。如果字段定义与标准用语的标准定义匹配不成功,则输出校验结果为失败。步骤13、若所述字段定义与标准定义匹配且所述字段类型与标准类型不匹配,则将所述字段类型修改为与标准类型一致。如果模型的字段定义与标准定义一致,且字段类型与标准类型不一致,则对模型进行备注,备注的内容为:字段类型与标准类型不一致,输出校验结果,校验结果包括所述备注。本专利技术实施例进行校验的过程中添加备注以提供修改建议,以供后续根据校验结果,执行修改,将字段类型修改为与标准类型一致。如果模型的字段定义与标准定义一致,且字段类型与标准类型一致,则说明该模型已符合规范,该字段信息的校验结果为成功。可以理解的是,若每一个数据仓库在建模的时候,都执行本专利技术实施例的方法,根据数据字典进行校验,得到一致的、标准的数据表,那么后续在填充数据的时候,则可以直接填充至标准的数据表中。本实施例提供的校验处理的方法,根据标准用语对数据仓库的模型进行校验,在字段定义与标准定义匹配且字段类型与标准类型不匹配时,有针对性的将字段类型修改为与标准类型一致,从而得到标准的一致化的模型。在上述实施例的基础上,本专利技术又一实施例提供的校验处理的方法,所述字段定义包括字段名和字段描述,所述标准定义包括标准名和标准描述,相应地,根据预先存储的数据字典,对字段信息进行校验的步骤具体为:若所述字段名与标准名匹配,则校验所述字段描述是否与标准描述一致,并校验字段类型是否与标准类型一致;或者;若所述字段描述与标准描述匹配,则校验所述字段名是否与标准名一致,并校验字段类型是否与标准类型一致。可选地,一个模型的内容包括如表1所示:表1字段名字段描述字段类型Paidup_perf_amount实收业绩Double………………可选地,若所述字段名与标准名匹配成功,则针对该字段信息的其他字段(字段描述和字段类型)进行校验,是否与匹配成功的标准名所对应的标准描述和标准类型一致。若一致,则表示该字段信息与标准用语完全一致,校本文档来自技高网...

【技术保护点】
1.一种校验处理的方法,其特征在于,所述方法包括:获取待校验的数据仓库的模型,每一模型包括多个字段信息,所述字段信息包括字段定义和字段类型;根据预先存储的数据字典,对所述字段信息进行校验,所述数据字典包括多个标准用语,每一标准用语包括标准定义和标准类型;若所述字段定义与标准定义匹配且所述字段类型与标准类型不匹配,则将所述字段类型修改为与标准类型一致。

【技术特征摘要】
1.一种校验处理的方法,其特征在于,所述方法包括:获取待校验的数据仓库的模型,每一模型包括多个字段信息,所述字段信息包括字段定义和字段类型;根据预先存储的数据字典,对所述字段信息进行校验,所述数据字典包括多个标准用语,每一标准用语包括标准定义和标准类型;若所述字段定义与标准定义匹配且所述字段类型与标准类型不匹配,则将所述字段类型修改为与标准类型一致。2.根据权利要求1所述的方法,其特征在于:所述字段定义包括字段名和字段描述,所述标准定义包括标准名和标准描述,相应地,根据预先存储的数据字典,对字段信息进行校验的步骤具体为:若所述字段名与标准名匹配,则校验所述字段描述是否与标准描述一致,并校验字段类型是否与标准类型一致;或者;若所述字段描述与标准描述匹配,则校验所述字段名是否与标准名一致,并校验字段类型是否与标准类型一致。3.根据权利要求1所述的方法,其特征在于:若字段定义与标准定义匹配且字段类型与标准类型不匹配,则将字段类型修改为与标准类型一致的步骤之后,所述方法包括:如果字段定义与标准定义不匹配,则对每一字段信息进行数据预处理,得到多个词素;获取预先存储的规则管理库,所述规则管理库包括多个替换规则,每一替换规则包括修饰词和分类词;如果词素与修饰词匹配,则判断是否存在所述词素的分类词;如果不存在,则将所述词素替换为所述词素和对应的分类词。4.根据权利要求3所述的方法,其特征在于:如果字段定义与标准定义不匹配,则对每一字段信息进行数据预处理,得到多个词素的步骤具体为:对每一字段信息进行解析,生成对应的json字符串;针对每一json字符串,进行分词处理,得到多个词素。5.根据权利要求3所述的方法,其特征在于:所述词素包括中文词素和/或英文词素,相应地,若词素与修饰词匹配,则判断是否存在所述词素的分类词的步骤之后,所述方法包括:如果词素与修饰词不匹配,则获取预先存储的业务字典,所述业务字典包括多个业务用语,每一业务用语包括中文用语...

【专利技术属性】
技术研发人员:崔金辉
申请(专利权)人:链家网北京科技有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1