数据表与实体的匹配方法及相关设备组成比例

技术编号:25835499 阅读:29 留言:0更新日期:2020-10-02 14:16
本发明专利技术实施例公开了一种数据表与实体的匹配方法及相关设备,其中该方法包括:获取待匹配的数据表与实体各自的词向量矩阵;根据所述数据表与实体各自的词向量矩阵计算所述数据表与实体的相似度;根据所述相似度确定所述数据表与实体的匹配结果。如此,能够自动获取数据表与实体的匹配结果,大大提升了匹配效率。

【技术实现步骤摘要】
数据表与实体的匹配方法及相关设备
本专利技术实施例涉及数据处理技术,尤指一种数据表与实体的匹配方法及相关设备。
技术介绍
目前,数据库在数据存储中扮演了至关重要的角色,但由于各个数据库之间的自治性,使不同数据表在描述同一实体(如人、地址、组织等)时使用了不同的数据库模式。比如,在关系型数据库存储人的信息时,人员证件信息对应的属性名称可能是“证件号码”,或者是“身份证号”,这种不同数据库模式之间异构性,使将数据表对应特定实体的自动化变得困难。例如,在公安领域,政府部门有多个部门的数据库系统,每个部门的系统创建时间、创建人员不同,导致数据库系统中的表在描述一类信息时用到了不同的描述词语或这类信息的不同方面,此时不同部门之间的数据表之间存在一定的差异性,有时候为了破案需要综合多个部门之间的数据信息,但由于前面提到的数据差异,目前只能靠人工去判断不同部门的两个数据表是否是描述同一实体信息的,导致非常耗时耗力。
技术实现思路
有鉴于此,本专利技术实施例提供了一种数据表与实体的匹配方法,包括:获取待匹配的数据表与实体各自的词向量矩阵;根据所述数据表与实体各自的词向量矩阵计算所述数据表与实体的相似度;根据所述相似度确定所述数据表与实体的匹配结果。本专利技术实施例还提供了一种数据表与实体的匹配装置,包括:获取单元,设置为获取待匹配的数据表与实体各自的词向量矩阵;计算单元,设置为根据所述数据表与实体各自的词向量矩阵计算所述数据表与实体的相似度;匹配单元,设置为根据所述相似度确定所述数据表与实体的匹配结果。本专利技术实施例还提供了一种电子装置,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述数据表与实体的匹配方法。本专利技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有信息处理程序,所述信息处理程序被处理器执行时实现上述数据表与实体的匹配方法。本专利技术实施例提供的技术方案,能够自动获取数据表与实体的匹配结果,大大提升了匹配效率。本申请的其它特征和优点将在随后的说明书中阐述。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。附图说明附图用来提供对本申请技术方案的理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本申请的技术方案,并不构成对本申请技术方案的限制。图1为本专利技术一实施例提供的一种数据表与实体的匹配方法的流程示意图;图2为本专利技术另一实施例提供的一种数据表与实体的匹配方法的流程示意图;图3为本专利技术另一实施例提供的一种数据表与实体的匹配方法的流程示意图;图4为本专利技术一实施例中数据表与实体的属性示意图;图5为本专利技术另一实施例提供的一种数据表与实体的匹配方法的流程示意图;图6为本专利技术一实施例提供的一种数据表与实体的匹配装置的结构示意图。具体实施方式本申请描述了多个实施例,但是该描述是示例性的,而不是限制性的,并且对于本领域的普通技术人员来说显而易见的是,在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合,并在具体实施方式中进行了讨论,但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外,任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用,或可以替代任何其它实施例中的任何其他特征或元件。本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合,以形成由权利要求限定的独特的专利技术方案。任何实施例的任何特征或元件也可以与来自其它专利技术方案的特征或元件组合,以形成另一个由权利要求限定的独特的专利技术方案。因此,应当理解,在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此,除了根据所附权利要求及其等同替换所做的限制以外,实施例不受其它限制。此外,可以在所附权利要求的保护范围内进行各种修改和改变。此外,在描述具有代表性的实施例时,说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而,在该方法或过程不依赖于本文所述步骤的特定顺序的程度上,该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的,其它的步骤顺序也是可能的。因此,说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外,针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤,本领域技术人员可以容易地理解,这些顺序可以变化,并且仍然保持在本申请实施例的精神和范围内。图1为本专利技术一实施例提供的一种数据表与实体的匹配方法的流程示意图,如图1所示,该方法包括:步骤101,获取待匹配的数据表与实体各自的词向量矩阵;步骤102,根据所述数据表与实体各自的词向量矩阵计算所述数据表与实体的相似度;步骤103,根据所述相似度确定所述数据表与实体的匹配结果。在一示例中,所述获取待匹配的数据表与实体各自的词向量矩阵,包括:对该待匹配数据表与实体各自的属性进行预处理得到该待匹配数据表与实体各自的词语序列;根据该待匹配数据表与实体各自的词语序列利用词嵌入模型获取该待匹配数据表与实体各自的词向量矩阵;将该待匹配数据表和实体各自的词向量矩阵分别进行聚合获得该待匹配数据表与实体各自的词向量矩阵。在一示例中,所述词嵌入模型包括以下至少之一:word2vec模型、GloVe模型、fastText模型、其他词嵌入模型;所述聚合使用取平均或者加权平均聚合函数。在一示例中,所述根据所述数据表与实体各自的词向量矩阵计算所述数据表与实体的相似度,包括:根据所述数据表与实体各自的词向量矩阵,采用预设的相似度算法,计算所述数据表与实体的相似度。在一示例中,所述根据所述相似度确定所述数据表与所述实体的匹配结果,包括:将所述相似度与预设阈值进行比较;当所述相似度大于预设阈值时,匹配结果表示该数据表与实体匹配;当所述相似度不大于预设阈值时,匹配结果表示该数据表与实体不匹配。在一示例中,所述根据所述数据表与实体各自的词向量矩阵计算所述数据表与实体的相似度,包括:基于训练好的神经网络相似度计算模型,将所述数据表与实体各自的词向量矩阵作为输入,输出所述数据表与实体的相似度向量;所述神经网络相似度计算模型是预先采用相似度算法利用第一训练样本对第一神经网络进行训练得到的,以数据表与实体各自的词向量矩阵作为输入,以该数据表与实体的相似度向量作为输出;所述第一训练样本为多个已标注相似度向量的数据表和实体各自的词向量矩阵。在一示例中,所述根据所述相似度确定所述数据表与所述实体的匹配结果,包括:基于训练好的神经网络分类模型,将所述相似度向量作为输入,输出所述数据表和实体的匹配结果;所述神经网络分本文档来自技高网...

【技术保护点】
1.一种数据表与实体的匹配方法,包括:/n获取待匹配的数据表与实体各自的词向量矩阵;/n根据所述数据表与实体各自的词向量矩阵计算所述数据表与实体的相似度;/n根据所述相似度确定所述数据表与实体的匹配结果。/n

【技术特征摘要】
1.一种数据表与实体的匹配方法,包括:
获取待匹配的数据表与实体各自的词向量矩阵;
根据所述数据表与实体各自的词向量矩阵计算所述数据表与实体的相似度;
根据所述相似度确定所述数据表与实体的匹配结果。


2.根据权利要求1所述的方法,其特征在于,所述获取待匹配的数据表与实体各自的词向量矩阵,包括:
对该待匹配数据表与实体各自的属性进行预处理得到该待匹配数据表与实体各自的词语序列;
根据该待匹配数据表与实体各自的词语序列利用词嵌入模型获取该待匹配数据表与实体各自的词向量矩阵;
将该待匹配数据表和实体各自的词向量矩阵分别进行聚合获得该待匹配数据表与实体各自的词向量矩阵。


3.根据权利要求2所述的方法,其特征在于,
所述词嵌入模型包括以下至少之一:word2vec模型、GloVe模型、fastText模型、其他词嵌入模型;
所述聚合使用取平均或者加权平均聚合函数。


4.根据权利要求1所述的方法,其特征在于,所述根据所述数据表与实体各自的词向量矩阵计算所述数据表与实体的相似度,包括:
根据所述数据表与实体各自的词向量矩阵,采用预设的相似度算法,计算所述数据表与实体的相似度。


5.根据权利要求1所述的方法,其特征在于,所述根据所述相似度确定所述数据表与所述实体的匹配结果,包括:
将所述相似度与预设阈值进行比较;
当所述相似度大于预设阈值时,匹配结果表示该数据表与实体匹配;
当所述相似度不大于预设阈值时,匹配结果表示该数据表与实体不匹配。


6.根据权利要求1所述的方法,其特征在于,所述根据所述数据表与实体各自的词向量矩阵计算所述数据表与实体的相...

【专利技术属性】
技术研发人员:介飞黄艳香吴信东
申请(专利权)人:北京明略软件系统有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1