【技术实现步骤摘要】
一种基于知识库和深度学习的实体名称提取方法
本专利技术涉及自然语言处理领域，尤其涉及一种基于知识库和深度学习的实体名称提取方法。
技术介绍
通常在新闻中提及某个实体时，描述文字与实体的标准名称会有一定相似性，某些时候使用标准名称的缩写，因此多数时候可以采用特定的相似度度量(如编辑距离等)去计算提及文字和实体名称之间的相似性，这是相对比较简单的情况。但某些情况下描述文字可能和多个不同实体对应，这就存在一个消除歧义的问题，经常需要用到上下文的语义，再结合备选实体本身的流行度进行可能性判断。最复杂的情况是文字提及和实体名称没有任何文字上的相似性，如我们经常在新闻中看到的“滴滴”，实际指代的企业主体名称为“北京小桔科技有限公司”，这需要有更多的上下文知识让二者关联起来。现有的技术方案主要包括：方案一：在正文中仅使用实体全名进行精确匹配，只有实体名称的完整出现才作为新闻中的提及标注。该技术方案存在不足是当实体名称足够长时，完整匹配基本可以保证100％的准确率，但由于大多数情况下新闻中都不会出现完整的全名，这种方法的召回率极低。...
【技术保护点】
1.一种基于知识库和深度学习的实体名称提取方法，其特征在于，所述方法包括：/n步骤1：对于待匹配实体E，在至少一个外部现有知识库中或通过网络爬虫的方式获得至少一个对所述待匹配实体E进行描述的文本；/n步骤2：从描述文本中标注出在所述外部现有知识库中已经识别为实体的名词构成实体列表，将所述描述文本、所述实体列表以及所述描述文本和所述实体列表的组合分别作为一种表示方式，所述表示方式作为训练词和实体嵌入的文本集；/n步骤3：对所述文本集中非实体名词的其他自由文本，采用切词工具划分成单个词后，使用词嵌入工具进行训练，得到各个词和实体的嵌入式表达；/n步骤4：建立深度学习网络，将从网...
【技术特征摘要】
1.一种基于知识库和深度学习的实体名称提取方法，其特征在于，所述方法包括：
步骤1：对于待匹配实体E，在至少一个外部现有知识库中或通过网络爬虫的方式获得至少一个对所述待匹配实体E进行描述的文本；
步骤2：从描述文本中标注出在所述外部现有知识库中已经识别为实体的名词构成实体列表，将所述描述文本、所述实体列表以及所述描述文本和所述实体列表的组合分别作为一种表示方式，所述表示方式作为训练词和实体嵌入的文本集；
步骤3：对所述文本集中非实体名词的其他自由文本，采用切词工具划分成单个词后，使用词嵌入工具进行训练，得到各个词和实体的嵌入式表达；
步骤4：建立深度学习网络，将从网络上获取的待匹配新闻文本和所述外部现有知识库的文本表达，再加上待匹配实体E的嵌入式表达作为其输入，输出所述待匹配新闻文本中某个位置的词m对应待匹配实体E的概率；
步骤5：采集训练数据，包括带标注的公开数据集和采用人工标注的新闻文本集，取至少300个(m，E1)对，包括至少100个匹配的正样本，至少100个是实体提及但不匹配的负样本，至少100个不是实体提及的负样本；
步骤6：将采集的训练数据输入到建立好的深度学习网络中进行训练，将其损失函数定义为交叉熵，使用随机梯度下降或Adam优化方法进行深度学习网络的训练，并设定神经网络训练的网络参数，得到训练好的深度学习模型；
步骤7：对于从网络上获取的未标注文本集，首先对所述未标注文本集采用切词工具进行切分后得到词w，并获得词w的嵌入表达，将所述词w与每个待匹配实体E的嵌入表达计算余弦相似度：
其中和分别为词w和待匹配实体E的嵌入向量表达，分子为两个同维度向量的内积，计算词w与每个实体E的相似度后，取至少6个相似度最高的(m，E)对作为匹配候选项，若最大相似度低于匹配阈值，则判定w不匹配任何实体，未标注文本集中的每一个词w都进行一轮匹配；
步骤8：将词w的上下文数据和步骤7得到的匹配候选项及其描述文本输入到步骤6训练好的深度学习网络中，计算得到概率值最大且超过匹配阈值的实体作为所述描述文本对应的实体。...
【专利技术属性】
技术研发人员：冯翱，陈郑淏，吴锡，
申请(专利权)人：成都信息工程大学，成都智睿通拓科技有限公司，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。