一种基于Bert的实体链接方法技术

本发明专利技术涉及信息检索的技术领域，特别是涉及一种基于Bert的实体链接方法；包括以下步骤：S1、知识库包括很多实体，每个实体的信息包括一个唯一的实体id、别名以及实体相关的属性和属性值；S2、数据分析和处理；S3、实体识别；S4、实体消歧：实体消歧的实现是基于二分类，训练时选取连接到的实体作为正例，在候选实体里选取两个负例。选取两个负例。选取两个负例。

【技术实现步骤摘要】
一种基于Bert的实体链接方法


[0001]本专利技术涉及信息检索的
，特别是涉及一种基于Bert的实 体链接方法。

技术介绍

[0002]实体链接是将文本中提到的实体与其知识库中相应的实体链接 起来的任务，是解决实体间存在的歧义性问题。其潜在的应用包括信 息提取、信息检索和知识库填充，但由于名称的变化和实体的模糊性， 此任务具有挑战性。实体的歧义性体现在两个方面，第一，实体可能 存在多词同义的情况(需链接)，即一个实体可以用多个实体指称来表 示，比如麻省理工学院和MIT都是指美国麻省同一个实体。同时，实 体也有一词多义的现象(需消歧)，即同一个实体指称可以表示多个实 体，例如苹果可以是水果也可以是Apple公司。实体链接算法需要通 过实体指称及其上下文的文本信息，借助目标知识图谱，将其链接到 知识图谱中正确的映射实体上。
[0003]面向中文短的实体链接，是NLP领域的基础任务之一，即对于给 定的一个中文短文本(如搜索Query、微博、用户对话内容、文章标 题等)识别出其中的实体，并与给定知识库中的对应实体进行关联。 ERL整个过程包括实体识别和实体链指两个子任务。这一问题存在 几大难点：(1)文本口语化导致实体歧义消解困难；(2)短文本上下 文语境不丰富，须对上下文语境进行精准理解；(3)和英文相比，中 文由于语言自身的特点，在短文本的链指问题上更有挑战。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供一种基于Bert的实体链接方 法。
[0005]本专利技术的一种基于Bert的实体链接方法，包括以下步骤：
[0006]S1、知识库包括很多实体，每个实体的信息包括一个唯一的实体 id、别名以及实体相关的属性和属性值；
[0007]S2、数据分析和处理；
[0008]S3、实体识别；
[0009]S4、实体消歧：实体消歧的实现是基于二分类，训练时选取连接 到的实体作为正例，在候选实体里选取两个负例。
[0010]本专利技术的一种基于Bert的实体链接方法，所述步骤S2具体步骤 如下：
[0011]S201、数据清洗，处理特殊符号、标点；
[0012]S202、统计短文本长度，统一做归一化；
[0013]S203、构造若干字典，包括entity
‑
id(key：实体名字value： kb_id列表),id
‑
entity(key:kb_idvalue:实体名 称),id
‑
text(key：kb_idvalue:实体描述文本)。
[0014]本专利技术的一种基于Bert的实体链接方法，所述步骤S3包括如下 步骤：
[0015]S301、实体正向最大匹配：采用字典树结构以及正向最大匹配实 体思路，去匹配文本中实体，首先需要的数据为S203中的entity_id 字典，将里面的key也就是实体名字插
入到字典树中；
[0016]S302、模型：短文本经过BERT层，得到BERT的输出向量，将 BERT的输出经过CRF层，获得短文本中的候选实体，将短文本中的 候选实体与知识库中的候选实体相比较，如果前者的完全被后者覆 盖，则选取后者中的长度最大实体。
[0017]本专利技术的一种基于Bert的实体链接方法，所述步骤S4包括如下 步骤：
[0018]实体名字嵌入：将每个实体文本描述输入到BERT模型，在[CLS] 位置处得到每个实体的输出向量；
[0019]实体消歧：将短文本以及待消歧实体的描述文本连在一起，输入 到BERT模型，取CLS位置向量输出，以及候选实体对应开始和结束 位置对应的特征向量，三个向量连接，经过全连接层，最后sigmoid 激活得到候选实体的概率得分，对所有候选实体的概率得分进行排 序，选择概率最高的为正确实体。
[0020]与现有技术相比本专利技术的有益效果为：实体链接整个过程包括实 体识别和实体消歧两个子任务；针对实体识别子任务，本专利技术利用了 知识库中的文本的信息来增强实体识别的性能，首先通过名称字典匹 配技术，得到得到短文本中的候选实体，在此基础上提出了BERT
‑
CRF 实体识别的模型；针对实体消歧的任务，本专利技术首先通过挖掘知识库 中实体的描述文本经过BERT编码得到实体名字的向量嵌入，然后将 其与短文本拼接起来，结合候选实体的信息，通过基于BERT的二分 类模型对候选实体进行预测，然后对预测的概率进行排序，进而完成 消歧任务。
附图说明
[0021]图1是本专利技术的实体识别过程图；
[0022]图2是本专利技术的实体消岐过程图。
具体实施方式
[0023]下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细 描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。
[0024]如图1至图2所示，本专利技术的一种基于Bert的实体链接方法， 包括以下步骤：
[0025]S1、知识库包括很多实体，每个实体的信息包括一个唯一的实体 id、别名以及实体相关的属性和属性值；知识库的特点是，“实体
”ꢀ
不一定是指特别的专有名词，还包括常见的名词、动词、形容词等， 比如“胜利”、“美丽”等，此外，同名实体很多；
[0026]S2、数据分析和处理；
[0027]S3、实体识别；
[0028]S4、实体消歧：实体消歧的实现是基于二分类，训练时选取连接 到的实体作为正例，在候选实体里选取两个负例。
[0029]本专利技术的一种基于Bert的实体链接方法，所述步骤S2具体步骤 如下：
[0030]S201、数据清洗，处理特殊符号、标点；
[0031]S202、统计短文本长度，统一做归一化；
[0032]S203、构造若干字典，包括entity
‑
id(key：实体名字value： kb_id列表),id
‑
entity(key:kb_idvalue:实体名称),id
‑
text(key： kb_idvalue:实体描述文本)。
[0033]本专利技术的一种基于Bert的实体链接方法，所述步骤S3包括如下 步骤，如图1所示：
[0034]S301、实体正向最大匹配：采用字典树结构以及正向最大匹配实 体思路，去匹配文本中实体，首先需要的数据为S203中的entity_id 字典，将里面的key也就是实体名字插入到字典树中，实体库中存在 很多单字实体，这类实体匹配会造成太多匹配结果，对于单字实体不 在插入；
[0035]S302、模型：短文本经过BERT层，得到BERT的输出向量，将 BERT的输出经过CRF层，获得短文本中的候选实体，将短文本中的 候选实体与知识库中的候选实体相比较，如果前者的完全被后者覆 盖，则选取后者中的长度最大实体。
[0036]本专利技术的一种基于Bert的实体链接方法，所述步骤S4包括如下 步骤：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Bert的实体链接方法，其特征在于，包括以下步骤：S1、知识库包括很多实体，每个实体的信息包括一个唯一的实体id、别名以及实体相关的属性和属性值；S2、数据分析和处理；S3、实体识别；S4、实体消歧：实体消歧的实现是基于二分类，训练时选取连接到的实体作为正例，在候选实体里选取两个负例。2.如权利要求1所述的一种基于Bert的实体链接方法，其特征在于，所述步骤S2具体步骤如下：S201、数据清洗，处理特殊符号、标点；S202、统计短文本长度，统一做归一化；S203、构造若干字典，包括entity
‑
id(key：实体名字value：kb_id列表),id
‑
entity(key:kb_id value:实体名称),id
‑
text(key：kb_id value:实体描述文本)。3.如权利要求2所述的一种基于Bert的实体链接方法，其特征在于，所述步骤S3包括如下步骤：S...

【专利技术属性】
技术研发人员：胡博钦，谢水庚，张晶亮，郝志强，樊涛，
申请(专利权)人：北京航天云路有限公司，
类型：发明
国别省市：