标准数据元的匹配方法、装置、存储介质及电子装置制造方法及图纸

技术编号:34265389 阅读:59 留言:0更新日期:2022-07-24 14:47
本发明专利技术实施例提供了一种标准数据元的匹配方法、装置、存储介质及电子装置,其中,该方法包括:获取待标准化表的第一属性信息,以及标准数据元集合中每个标准数据元的第二属性信息;根据所述第一属性信息和所述第二属性信息,在所述标准数据元集合中确定与所述待标准化表相匹配的标准数据元。通过本发明专利技术,解决了相关技术中数据标准化的准确度较低的问题,进而达到了提高数据标准化的准确度的效果。而达到了提高数据标准化的准确度的效果。而达到了提高数据标准化的准确度的效果。

Matching method, device, storage medium and electronic device of standard data element

【技术实现步骤摘要】
标准数据元的匹配方法、装置、存储介质及电子装置


[0001]本专利技术实施例深度学习领域,具体而言,涉及一种标准数据元的匹配方法、装置、存储介质及电子装置。

技术介绍

[0002]进入到大数据时代,数据爆发式增长,虽然这些数据中包含无限价值,但是挖掘这些数据的价值也确实耗时费力。其中一项关键阻塞就是数据不标准,理解上存在的歧义。因此挖掘价值前一个重要步骤是数据治理,在各行各业制定标准的前提下,将原始的非标准数据转换成标准数据。针对数据标准化过程中,需要给字段匹配标准数据元,现有的数据元匹配都是通过对字段采用分词处理,数据元匹配准确度不高,导致数据标准化的准确度较低的问题。
[0003]针对相关技术中数据标准化的准确度较低的问题,目前尚未提出有效的解决方案。

技术实现思路

[0004]本专利技术实施例提供了一种标准数据元的匹配方法、装置、存储介质及电子装置,以至少解决相关技术中数据标准化的准确度较低的问题。
[0005]根据本专利技术的一个实施例,提供了一种标准数据元的匹配方法,包括:获取待标准化表的第一属性信息,以及标准数据元集合中每个标准数据元的第二属性信息,其中,所述第一属性信息包括所述待标准化表的数据格式、所述待标准化表的元信息,所述第二属性信息包括所述标准数据元对应的数据格式、所述标准数据元的标准元数据;根据所述第一属性信息和所述第二属性信息,在所述标准数据元集合中确定与所述待标准化表相匹配的标准数据元。
[0006]在一个示例性实施例中,根据所述第一属性信息和所述第二属性信息,在所述标准数据元集合中确定与所述待标准化表相匹配的标准数据元,包括:将所述待标准化表的数据格式与所述标准数据元集合中每个标准数据元对应的数据格式进行匹配,得到第一匹配值集合;将所述第一匹配值集合中大于第一预设值的匹配值对应的标准数据元,确定为与所述待标准化表相匹配的标准数据元。
[0007]在一个示例性实施例中,上述方法还包括:在所述第一匹配值集合中包括多个大于第一预设值的匹配值的情况下,将最大的匹配值对应的标准数据元,确定为与所述待标准化表相匹配的标准数据元。
[0008]在一个示例性实施例中,上述方法还包括:在所述第一匹配值集合中的匹配值均小于所述第一预设值的情况下,将所述待标准化表的元信息与所述标准数据元集合中每个标准数据元的标准元数据进行匹配,得到第二匹配值集合;将所述第二匹配值集合中大于预设值的匹配值对应的标准数据元,确定为与所述待标准化表相匹配的标准数据元。
[0009]在一个示例性实施例中,根据所述第一属性信息和所述第二属性信息,在所述标
准数据元集合中确定与所述待标准化表相匹配的标准数据元,还包括:将所述待标准化表的元信息与所述标准数据元集合中每个标准数据元的标准元数据进行匹配,得到第二匹配值集合;将所述第二匹配值集合中大于第二预设值的匹配值对应的标准数据元,确定为与所述待标准化表相匹配的标准数据元。
[0010]在一个示例性实施例中,将所述待标准化表的元信息与所述标准数据元集合中每个标准数据元的标准元数据进行匹配,包括:在所述待标准化表包括多个元信息,且每个所述标准数据元包括多个标准元数据的情况下,将所述多个元信息中的每个元信息与所述多个标准元数据中对应的标准元数据进行匹配。
[0011]在一个示例性实施例中,将所述多个元信息中的每个元信息与所述多个标准元数据中对应的标准元数据进行匹配,包括:对所述多个元信息中的每个元信息执行以下操作,得到多个当前匹配值子集,在执行以下操作时所述每个元信息为当前元信息:将所述当前元信息分别与每个所述标准数据元的多个标准元数据中对应的标准元数据进行匹配,得到所述当前元信息对应的当前匹配值子集,其中,所述第二匹配值集合包括所述当前匹配值子集,所述当前匹配值子集包括所述当前元信息与所述标准数据元集合中每个标准数据元对应的标准元数据之间的匹配值。
[0012]在一个示例性实施例中,将所述第二匹配值集合中大于第二预设值的匹配值对应的标准数据元,确定为与所述待标准化表相匹配的标准数据元,包括:确定所述多个当前匹配值子集中分别与每个所述标准数据元对应的多个匹配值,并将所述多个匹配值的和确定为每个所述标准数据元与所述元信息之间的匹配值;将与所述元信息的匹配值大于第二预设值的标准数据元,确定为与所述待标准化表相匹配的标准数据元。
[0013]根据本专利技术的另一个实施例,还提供了一种标准数据元的匹配装置,包括:获取模块,用于获取待标准化表的第一属性信息,以及标准数据元集合中每个标准数据元的第二属性信息,其中,所述第一属性信息包括所述待标准化表的数据格式、所述待标准化表的元信息,所述第二属性信息包括所述标准数据元对应的数据格式、所述标准数据元的标准元数据;
[0014]确定模块,用于根据所述第一属性信息和所述第二属性信息,在所述标准数据元集合中确定与所述待标准化表相匹配的标准数据元。
[0015]根据本专利技术的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0016]根据本专利技术的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
[0017]通过本专利技术,基于待标准化表的第一属性信息和标准数据元的第二属性信息可以为待标准化表中的字段匹配标准数据元,因此,不需要通过对字段分词处理就可以匹配。解决了相关技术中数据标准化的准确度较低的问题,进而达到了提高数据标准化的准确度的效果。
附图说明
[0018]图1是本专利技术实施例的标准数据元的匹配方法的移动终端硬件结构框图;
[0019]图2是根据本专利技术实施例的标准数据元的匹配方法的流程图;
[0020]图3是根据本专利技术实施例的一种数据格式校验流程示意图;
[0021]图4是根据本专利技术实施例的优选的标准数据元的匹配方法的流程图;
[0022]图5为根据本专利技术实施例中的一种表示词类别的召回的示意图;
[0023]图6是根据本专利技术实施例中的一种元信息召回阶段的示意图;
[0024]图7是根据本专利技术实施例的标准数据元的匹配装置的结构框图。
具体实施方式
[0025]下文中将参考附图并结合实施例来详细说明本专利技术的实施例。
[0026]需要说明的是,本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
[0027]数据元:又称数据类型,通过定义标识、表示以及允许值等一系列属性描述的数据单元,在特定的语义环境中被认为是不可再分的最小数据单元。数据元一般来说由三部分组成:(a)对象类:思想、概念或真实世界中的事物的集合,它们具有清晰的边界和含义,其特征和行为遵循同样的规则;(b)特性:对象类中的所有成员共同具有的一个有别本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种标准数据元的匹配方法,其特征在于,包括:获取待标准化表的第一属性信息,以及标准数据元集合中每个标准数据元的第二属性信息,其中,所述第一属性信息包括所述待标准化表的数据格式、所述待标准化表的元信息,所述第二属性信息包括所述标准数据元对应的数据格式、所述标准数据元的标准元数据;根据所述第一属性信息和所述第二属性信息,在所述标准数据元集合中确定与所述待标准化表相匹配的标准数据元。2.根据权利要求1所述的方法,其特征在于,根据所述第一属性信息和所述第二属性信息,在所述标准数据元集合中确定与所述待标准化表相匹配的标准数据元,包括:将所述待标准化表的数据格式与所述标准数据元集合中每个标准数据元对应的数据格式进行匹配,得到第一匹配值集合;将所述第一匹配值集合中大于第一预设值的匹配值对应的标准数据元,确定为与所述待标准化表相匹配的标准数据元。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:在所述第一匹配值集合中包括多个大于第一预设值的匹配值的情况下,将最大的匹配值对应的标准数据元,确定为与所述待标准化表相匹配的标准数据元。4.根据权利要求2所述的方法,其特征在于,所述方法还包括:在所述第一匹配值集合中的匹配值均小于所述第一预设值的情况下,将所述待标准化表的元信息与所述标准数据元集合中每个标准数据元的标准元数据进行匹配,得到第二匹配值集合;将所述第二匹配值集合中大于预设值的匹配值对应的标准数据元,确定为与所述待标准化表相匹配的标准数据元。5.根据权利要求1所述的方法,其特征在于,所述根据所述第一属性信息和所述第二属性信息,在所述标准数据元集合中确定与所述待标准化表相匹配的标准数据元,包括:将所述待标准化表的元信息与所述标准数据元集合中每个标准数据元的标准元数据进行匹配,得到第二匹配值集合;将所述第二匹配值集合中大于第二预设值的匹配值对应的标准数据元,确定为与所述待标准化表相匹配的标准数据元。6.根据权利要求4或5所述的方法,其特征在于,所述将所述待标准化表的元信息与所述标准数据元集合中每个标准数据元的标准元数据进行匹配,包括:在所述待标准化表包括多个元信息,且每个所述标准数据...

【专利技术属性】
技术研发人员:朱明浩周明伟陈立力王龙操涛涛倪志恒
申请(专利权)人:浙江大华技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1