【技术实现步骤摘要】
用无向图嵌入知识图谱的文本信息抽取方法
本专利技术涉及的是一种信息处理领域的技术，具体是一种用无向图嵌入知识图谱的文本信息抽取方法。
技术介绍
信息是信息时代的主题，为了加强信息的获取效率，服务票据识别、产品信息自动录入等业务，信息抽取技术近年来逐渐受到越来越多的关注，而深度学习的发展以及知识图谱的构建与使用为信息抽取领域的发展提供了极大的助力。目前的深度学习信息抽取模型大多都是在大规模通用数据上训练得到的，在针对需要很强知识背景的领域，如，进行信息抽取时，采用通用数据训练的深度学习信息抽取模型往往不能起到很好的效果，针对此问题通常采用的方案有两个，一种方案是采用该特定领域的数据来进行训练，得到对应的预训练语言模型来专门服务该领域的信息抽取工作，该方案的缺点是领域内训练样本不足时不能起到很好的训练效果，且每次需要扩展领域内的文本时需要将其作为训练数据重新进行训练，可扩展性不强，资源利用效率不高；第二种方案是利用知识图谱，在预训练语言模型的选择上可以选择通用的预训练语言模型，节省了大量的计算资源，每次只需要在处理输入时将知识图...
【技术保护点】
1.一种用无向图嵌入知识图谱的文本信息抽取方法，其特征在于，基于待抽取字符串构建包含关联句子信息节点和知识信息节点的无向图，分别根据无向图及其节点编号生成位置编码、根据无向图及其邻接矩阵生成关联控制矩阵，将关联控制矩阵引入注意力机制中，即关联控制矩阵中显示关联的节点能够正常计算注意力、显示无关联的节点对当前节点的注意力值无限趋近于0，即表示二者不相关，将节点序列中各个节点的词嵌入向量和根据位置编码和图中关联关系得到的相对位置编码输入基于注意力机制的信息抽取模型，将模型输出接入CRF层进行分类输出，得到信息抽取结果；/n所述的无向图，以待抽取字符串平铺为序列作为无向图的主干，...
【技术特征摘要】
1.一种用无向图嵌入知识图谱的文本信息抽取方法，其特征在于，基于待抽取字符串构建包含关联句子信息节点和知识信息节点的无向图，分别根据无向图及其节点编号生成位置编码、根据无向图及其邻接矩阵生成关联控制矩阵，将关联控制矩阵引入注意力机制中，即关联控制矩阵中显示关联的节点能够正常计算注意力、显示无关联的节点对当前节点的注意力值无限趋近于0，即表示二者不相关，将节点序列中各个节点的词嵌入向量和根据位置编码和图中关联关系得到的相对位置编码输入基于注意力机制的信息抽取模型，将模型输出接入CRF层进行分类输出，得到信息抽取结果；
所述的无向图，以待抽取字符串平铺为序列作为无向图的主干，通过不断插入知识图谱中的知识信息完善无向图中的关联信息，具体步骤包括：待抽取字符串以序列的形式输入信息抽取模型，待抽取字符串中的节点记为句子信息节点，而不断插入的知识图谱中的知识信息对应的节点记为知识信息节点，通过区分句子信息节点和知识信息节点使得句子信息节点始终受到关注，而知识信息节点只被特定范围内字符串节点所关注，最终得到一个由两类节点构成的嵌入了知识信息的无向图以及一个表示各节点之间连接关系的邻接矩阵；
所述的关联控制矩阵，根据无向图中距离为1的邻接矩阵M计算得到距离为2的可达矩阵N，通过知识图谱三元组的性质限定句子信息节点所能关联到的知识信息节点到该句子信息节点的距离最多只能为2，因此可以通过邻接矩阵M和可达矩阵N相加得到任意一个句子信息节点所能关联到的知识信息节点，再加上句子信息节点之间两两相关联，M+N即可得到句子的关联控制矩阵。
2.根据权利要求1所述的用无向图嵌入知识图谱的文本信息抽取方法，其特征是，所述的信息抽取模型，为Transformer-XL模型的变体，该信息抽取具体为：记邻接矩阵为M，距离为2的可达矩阵为N＝M×M，则关联矩阵中对应位置的值得到关联矩阵G；注意力计算：联矩阵影响注意力范围为相对位置编码使用正余弦函数表示绝对位置，通过两者乘积得到相对位置编码:其中Z：表示绝对位置编码的编码长度，该模型...
【专利技术属性】
技术研发人员：程长舸，黄征，周异，陈凯，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。