实体知识自动抽取方法和计算机装置、计算机可读介质制造方法及图纸

本发明专利技术提供一种实体知识自动抽取方法和计算机装置、计算机可读介质。所述实体知识自动抽取方法包括：将输入文本H0输入至由N层组成的BERT模型的前K层进行处理,以在第K层输出上下文表征向量H

【技术实现步骤摘要】
实体知识自动抽取方法和计算机装置、计算机可读介质


[0001]本专利技术涉及文本处理领域，尤其涉及一种实体知识自动抽取方法和计算机装置、计算机可读介质。

技术介绍

[0002]作为自然语言处理中的一个重要任务，信息抽取是从原始非结构化的自然语言文本中提取有意义的实体、属性、关系、事件等事实类结构化信息的文本处理技术。在公文写作中，其实体知识有着重要的作用，可以辅助公文写作，如内容审核。目前的实体知识自动抽取方法仍有准确率低，难以优化等缺点。因此，有必要提出一种改进的实体知识自动抽取方法。

技术实现思路

[0003]本专利技术的目的在于提供一种实体知识自动抽取方法和计算机装置、计算机可读介质，其可以提高BERT模型对实体知识的特征抽取能力。
[0004]根据本专利技术的另一个方面，本专利技术提供一种实体知识自动抽取方法，其包括：将输入文本H0输入至由N层组成的BERT模型的前K层进行处理，以在第K层输出上下文表征向量H
K
；将第K层输出的上下文表征向量H
K
因第一任务首次输入到所述BER本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实体知识自动抽取方法，其特征在于，其包括：将输入文本H0输入至由N层组成的BERT模型的前K层进行处理，以在第K层输出上下文表征向量H
K
；将第K层输出的上下文表征向量H
K
因第一任务首次输入到所述BERT模型的剩余N
‑
K层进行处理以在第N层输出上下文表征向量此时剩余N
‑
K层的每层基于第一掩码矩阵对输入进行处理，基于第N层输出的上下文表征向量进行第一层实体识别得到输入文本H0中的第一层实体；和将第K层输出的上下文表征向量H
K
因第二任务再次输入到所述BERT模型的剩余N
‑
K层进行处理以在第N层输出上下文表征向量此时剩余N
‑
K层的每层基于第二掩码矩阵对输入进行处理，基于第N层输出的上下文表征向量进行第二层实体识别得到输入文本H0中的第二层实体，其中第二掩码矩阵的元素在属于第一层实体位置时为1，其余为0。2.如权利要求1所述的实体知识自动抽取方法，其特征在于，第一掩码矩阵的元素在句子长度n内为1，超出句子长度为0，所述BERT模型的N层是依次串联的，N大于K，K大于等于2，N和K为正整数，前K层的每层基于全局掩码矩阵对输入进行处理，全局掩码矩阵的元素在句子长度内为1，超出句子长度为0。3.如权利要求2所述的实体知识自动抽取方法，其特征在于，在前K层中，根据第m
‑
1层输出的上下文表征向量H
m
‑1计算第m层输出的上下文表征向量H
m
，H
′
m
＝LN(H
m
‑1+MultiHead
h
(H
m
‑1，MASK
all
))H
m
＝LN(H
′
m
+FFN(H
′
m
))其中MASK
all
为全局掩码矩阵，i，j为全局掩码矩阵中元素的位置，n为句子长度，在剩余N
‑
K层中，根据给定第m
‑
1层输出的上下文表征向量计算第m层输出的上下文表征向量文表征向量文表征向量文表征向量文表征向量其中task为第一任务或第二任务，第一任务被记为N1，第二任务被记为N2，在剩余N
‑
K层中为第一任务和第二任务分别进行运算，MASK
N1
为第一掩码矩阵，MASK
N2
为第二掩码矩阵，P
entities
...

【专利技术属性】
技术研发人员：夏振涛，谈辉，李艳，朱立烨，石雁，
申请(专利权)人：永中软件股份有限公司，
类型：发明
国别省市：