结合知识图谱实体信息的语义识别方法、装置及相关设备制造方法及图纸

本发明专利技术实施例公开了一种结合知识图谱实体信息的语义识别方法、装置及相关设备。该方法包括计算训练语料中每个训练实体的图隐状态向量，以及每个单词的邻接语义向量、词嵌入向量和位置向量，将图隐状态向量、邻接语义向量、词嵌入向量和位置向量组合得到每个单词的输入向量；通过Transformer模型的编码器对输入向量进行预测，得到输入向量所属语义的预测概率；根据预测概率与输入向量所属真实语义之间的概率，对编码器的模型参数进行优化，得到语义识别模型；最后通过语义识别模型进行语义识别。该方法使语义识别模型获取的实体特征更全面，从而提高语义识别模型进行语义识别的准确度。确度。确度。

【技术实现步骤摘要】
结合知识图谱实体信息的语义识别方法、装置及相关设备


[0001]本专利技术实施例涉及语义识别
，尤其涉及一种结合知识图谱实体信息的语义识别方法、装置及相关设备。

技术介绍

[0002]预训练(pre
‑
trained)语言识别模型近年来在文本分类、智能问答、机器阅读、文本摘要等众多自然语言处理领域都取得了很好的效果。预训练模型基于海量文本数据训练，从统计学上讲，海量文本数据内部本身隐含了极为丰富的特征，因此结合拟合能力强大的神经网络模型，就能够学习到语言内部蕴含的广泛语义关联。
[0003]目前将知识图谱融入到预训练语言识别模型已经成为进一步提升语义识别效果的重要手段。但目前很多方法只是简单地生成知识图谱的表征向量，然后与词向量、位置向量相加，作为预训练模型的输入向量。这样的方法对知识图谱所蕴含语义提取的粒度不够细，对空间位置等因素考虑也不够深入，造成语义识别结果的准确度不高。

技术实现思路

[0004]本专利技术实施例提供了一种结合知识图谱实体信息的语义识别方法、装置及相关设备，旨在解决现有技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合知识图谱实体信息的语义识别方法，其特征在于，包括：获取训练语料，按预置矩阵构建规则构建第一文档矩阵，利用实体命名技术识别所述第一文档矩阵中的实体，并根据实体筛选规则从所述实体中筛选出训练实体；计算所述第一文档矩阵中每个训练实体之间的权重，并根据所述权重构建图神经网络；基于所述图神经网络，计算每个训练实体的图隐状态向量；基于所述第一文档矩阵，计算所述训练语料中每个单词的邻接语义向量；获取所述训练语料中每个单词的词嵌入向量和位置向量，并对所述图隐状态向量、邻接语义向量、词嵌入向量以及位置向量进行组合，得到所述训练语料的输入向量；基于所述输入向量，通过Transformer模型的编码器对所述输入向量进行预测，得到所述输入向量所属语义的预测概率；根据预置的损失函数计算所述预测概率与所述输入向量所属真实语义之间的概率损失，并根据所述概率损失对所述编码器的模型参数进行优化，得到语义识别模型；获取目标识别语料对应的目标输入向量，通过所述语义识别模型进行语义识别，得到语义识别结果。2.根据权利要求1所述的语义识别方法，其特征在于，所述根据实体筛选规则从所述实体中筛选出训练实体，包括：对所述训练语料的所有实体进行聚类处理，得到不同类别的实体簇；以每一所述实体簇内的所有实体构建实体邻接矩阵，并根据所述实体邻接矩阵确定每个实体相对每个实体邻接矩阵的贡献值；根据所述贡献值对所有实体进行降序排列，并按预设实体数目进行划分，得到训练实体队列；按预设遮掩规则对所述训练实体队列的实体进行随机遮掩，将所述训练实体队列中未被遮掩的实体作为所述训练实体。3.根据权利要求1所述的语义识别方法，其特征在于，所述计算所述第一文档矩阵中每个实体之间的权重，包括：根据预设的空间位置规则，计算所述第一文档矩阵中每个实体之间的空间位置距离；根据预设的语义位置规则，计算所述第一文档矩阵中每个实体之间的语义相对位置距离；计算所述空间位置距离和语义相对位置距离的乘积，得到两个实体之间的权重。4.根据权利要求3所述的语义识别方法，其特征在于，所述空间位置规则为：若两个实体在同一段落，则空间位置距离为两个实体之间的词数；若两个实体不在同一段落，则空间位置距离为两个实体之间的词数与预置距离系数的乘积。5.根据权利要求1所述的语义识别方法，其特征在于，所述基于所述第一文档矩阵，计算所述训练语料中每个单词的邻接语义向量，包括：对所述第一文档矩阵进行扩展，得到第二文档矩阵；根据预设邻接语义规则确定所述第二文档矩阵中每个单词的邻接词序列；所述邻接语义规则为邻接词规则；
基于所述邻接词序列，采用预置的LSTM模型计算每个单词的前向邻接语义向量和后向邻接语义向量，并将所述前向邻接语义向量和后向邻接语义向量进行拼接，得到所述邻接语义向量，其...

【专利技术属性】
技术研发人员：王伟，
申请(专利权)人：润联软件系统深圳有限公司，
类型：发明
国别省市：