基于对比学习的运维知识图谱自然语言检索方法及装置制造方法及图纸

本申请提供了一种基于对比学习的运维知识图谱自然语言检索方法、装置、设备及存储介质，包括：利用对比学习的方式对原始预训练模型进行对比预训练，保留原始预训练学到的通用知识，并增加了贴合目标任务的对比学习的新特征，基于对比预训练模型完成检索语句的向量表示，从由知识图谱产生的候选语句中进行召回，得到检索答案。本申请的方法极大减少人工标注的时间成本、物力成本，并且精简检索过程，减少监督学习模型的使用，利用对比预训练模型满足全流程的模型需求，提高检索效率的同时降低了算力消耗。算力消耗。算力消耗。

【技术实现步骤摘要】
基于对比学习的运维知识图谱自然语言检索方法及装置


[0001]本公开涉及运维知识图谱自然语言检索领域，尤其涉及一种基于对比学习的运维知识图谱自然语言检索方法、装置、设备及存储介质。

技术介绍

[0002]当前知识图谱自然语言检索方法在整个过程当中涉及到命名实体识别模型、问句分类模型、路径筛选模型都为监督学习方法，需要在模型训练前根据任务目标进行语料的标注，人力消耗极大，另外构建实体链接词典的代价也会随着知识图谱规模的扩增极速膨胀。并且，如图1所示的现有方法中除去输入输出阶段还有六大阶段，每个阶段对误差控制又有极高的要求，但是其中涉及命名实体识别模型、问句分类模型、路径筛选模型多个监督学习模型，存在不可避免的误差累积，最终影响检索结果的准确性。另外现有方法多阶段的模型都对检索效率产生影响，具有较高的算力要求且响应时间存在瓶颈。
[0003]当前知识图谱自然语言检索方法在过程中的多个阶段涉及的监督学习模型，当知识图谱引入新实体、属性或者图结构更新以后，监督学习模型的效果不能得到保证，需要针对新的数据进行标注与训练，过程复杂且耗时。

技术实现思路

[0004]鉴于上述问题，本公开提供了一种基于对比学习的运维知识图谱自然语言检索方法、装置、设备、及存储介质。
[0005]根据本公开的第一个方面，提供了一种基于对比学习的运维知识图谱自然语言检索方法，包括：获取业务场景中使用的多条待检索语句，构建语义体系结构；以所述语义体系结构作为规则，在运维知识图谱上自动生成候选问答对，所述候选问答对包括多条候选检索语句以及对应的答案；利用对比学习的方式，将所述候选问答对输入预先构建的原始预训练模型进行对比预训练，更新得到对比预训练模型；将所述候选问答对中的多条候选检索语句输入所述对比预训练模型得到多条候选输出向量，将所述多条候选输出向量保存至相似向量检索库；将所述待检索语句输入所述对比预训练模型得到目标输出向量，在所述相似向量检索库中找出与所述目标输出向量的相似度最高的至少一条候选输出向量；根据所述至少一条候选输出向量，查出所述待检索语句对应的答案。
[0006]根据本公开的实施例，所述获取业务场景中使用的多条待检索语句，构建语义体系结构，包括：分析常用运维检索语言，归纳业务场景中使用的多条待检索语句的语义推理结构；根据所述语义推理结构，构建所述语义体系结构。
[0007]根据本公开的实施例，所述语义推理结构利用所述多条待检索语句中出现的实体数量和关系跳数这两个维度来组合得出；所述语义推理结构与所述待检索语句的语义相同。
[0008]根据本公开的实施例，所述候选检索语句以及对应的答案之间生成相同的号码来标识记录对应关系。
[0009]根据本公开的实施例，所述利用对比学习的方式，将所述候选问答对输入预先构建的原始预训练模型进行对比预训练，更新得到对比预训练模型，包括：获取所述候选问答对以及多条所述候选检索语句的骨干数据，所述骨干数据包括所述候选检索语句的实体和关系；选择一条所述骨干数据以及所述骨干数据对应的所述候选问答对中的自然语言问句，并随机选择使用或者不使用数据增强的方法进行预处理，得到预处理数据；选择N
‑
2条所述候选问答对中的自然语言问句与所述预处理数据构成原始训练数据，所述原始训练数据数量为N；将N条所述原始训练数据输入所述原始预训练模型中，通过所述原始预训练模型内的编码器进行编码后进入平均池化层，得到N个句向量；对所述N个句向量使用损失函数进行调整，更新得到对比预训练模型。
[0010]根据本公开的实施例，所述损失函数为NT
‑
Xent损失函数，所述NT
‑
Xent损失函数表达式为：
[0011][0012]其中，sim(z
i
，，z
j
)函数为余弦相似度函数，r表示通过所述平均池化层后得到的所述句向量，τ为超参数，取值范围为0.08
‑
0.12。
[0013]根据本公开的实施例，所述将所述候选问答对中的多条候选检索语句输入所述对比预训练模型得到多条候选输出向量，将所述多条候选输出向量保存至相似向量检索库，包括：依次将所述候选检索语句输入对比预训练模型，所述候选检索语句的所有字符通过所述对比预训练模型的平均池化层，得到候选输出向量；所述候选输出向量，保存至向量相似检索库中，同时记录所述表征向量的所述号码标识。
[0014]根据本公开的实施例，所述向量相似检索库的检索方式为倒排乘积量化的方式。
[0015]根据本公开的实施例，将所述待检索语句输入所述对比预训练模型得到目标输出向量，在所述相似向量检索库中找出与所述目标输出向量的相似度最高的至少一条候选输出向量，包括：将所述待检索语句输入对比预训练模型，所述待检索语句的所有字符通过所述对比预训练模型的平均池化层，得到目标输出向量；将所述目标输入向量输入向量相似检索库中，在所述相似向量检索库中找出与所述目标输出向量的相似度最高的至少一条候选输出向量。
[0016]本公开的第二方面提供了一种基于对比学习的运维知识图谱自然语言检索装置，包括：问答对生成模块，以所述语义体系结构作为规则，在运维知识图谱上自动生成候选问答对，所述候选问答对包括多条候选检索语句以及对应的答案；对比预训练模块，用于利用对比学习的方式，将所述候选问答对输入预先构建的原始预训练模型进行对比预训练，更新得到对比预训练模型；数据库配置模块，用于将所述候选问答对中的多条候选检索语句输入所述对比预训练模型得到多条候选输出向量，将所述多条候选输出向量保存至相似向量检索库；向量对比模块，用于将所述待检索语句输入所述对比预训练模型得到目标输出向量，在所述相似向量检索库中找出与所述目标输出向量的相似度最高的至少一条候选输出向量；答案检索模块，用于根据所述至少一条候选输出向量，查出所述待检索语句对应的答案。
[0017]本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述方法。
[0018]本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。
[0019]本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法。
[0020]根据本公开提供的基于对比学习的运维知识图谱自然语言检索方法、装置、设备、介质和程序产品，通过使用业务场景检索语言语义推理结构特点，归纳出以知识图谱中实体节点和关系来描述的语言规则，并利用对比学习的方式对原始预训练模型进行对比预训练，保留原始预训练学到的通用知识，并增加了贴合目标任务的对比学习的新特征，基于对比预训练模型完成检索语句的向量表示，从由知识图谱产生的候选语句中进行召回，得到检索答案。由于是以业务场景归纳得出的语言规则作为检索语言骨干自动化构造出贴近业务场景的自然语言，因本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的运维知识图谱自然语言检索方法，包括：获取业务场景中使用的多条待检索语句，构建语义体系结构；以所述语义体系结构作为规则，在运维知识图谱上自动生成候选问答对，所述候选问答对包括多条候选检索语句以及对应的答案；利用对比学习的方式，将所述候选问答对输入预先构建的原始预训练模型进行对比预训练，更新得到对比预训练模型；将所述候选问答对中的多条候选检索语句输入所述对比预训练模型得到多条候选输出向量，将所述多条候选输出向量保存至相似向量检索库；将所述待检索语句输入所述对比预训练模型得到目标输出向量，在所述相似向量检索库中找出与所述目标输出向量的相似度最高的至少一条候选输出向量；根据所述至少一条候选输出向量，查出所述待检索语句对应的答案。2.根据权利要求1所述的方法，其特征在于，所述获取业务场景中使用的多条待检索语句，构建语义体系结构，包括：分析常用运维检索语言，归纳业务场景中使用的多条待检索语句的语义推理结构；根据所述语义推理结构，构建所述语义体系结构。3.根据权利要求2所述的方法，其特征在于：所述语义推理结构利用所述多条待检索语句中出现的实体数量和关系跳数这两个维度来组合得出；所述语义推理结构与所述待检索语句的语义相同。4.根据权利要求1所述的方法，其特征在于，所述候选检索语句以及对应的答案之间生成相同的号码来标识记录对应关系。5.根据权利要求1所述的方法，其特征在于，所述利用对比学习的方式，将所述候选问答对输入预先构建的原始预训练模型进行对比预训练，更新得到对比预训练模型，包括：获取所述候选问答对以及多条所述候选检索语句的骨干数据，所述骨干数据包括所述候选检索语句的实体和关系；选择一条所述骨干数据以及所述骨干数据对应的所述候选问答对中的自然语言问句，并随机选择使用或者不使用数据增强的方法进行预处理，得到预处理数据；选择N
‑
2条所述候选问答对中的自然语言问句与所述预处理数据构成原始训练数据，所述原始训练数据数量为N；将N条所述原始训练数据输入所述原始预训练模型中，通过所述原始预训练模型内的编码器进行编码后进入平均池化层，得到N个句向量；对所述N个句向量使用损失函数进行调整，更新得到对比预训练模型。6.根据权利要求5所述的方法，其特征在于，所述损失函数为NT
‑
Xent损失函数，所述NT
‑
Xent损失函数表达式为：其中，sim(z
i
，z
j
)函数为余弦相似度函数，r表示通过所述平均池化层后得到的所述句<...

【专利技术属性】
技术研发人员：刘东阳，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：