一种垂直领域知识图谱构建方法及系统技术方案

本发明专利技术提供一种垂直领域知识图谱构建方法及系统，该方法包括：将产品文档输入到训练好的知识抽取模型中，训练好的知识抽取模型包括表格标注模型和文本知识抽取模型；通过表格标注模型对产品文档中的半结构化数据进行表格标注处理，得到产品文档的三元组，表格标注模型是通过序列标注后的半结构化样本数据，对神经网络进行训练得到的；通过文本知识抽取模型对产品文档中的非结构化数据进行知识抽取处理，得到产品文档的三元组，文本知识抽取模型是通过纯文本标注后的非结构化样本数据，对改进的语言模型进行训练得到的；根据三元组，构建产品文档的知识图谱。本发明专利技术提高了垂直领域知识图谱构建方法的专业性、准确性和高效性。

A method and system for constructing vertical domain knowledge map

【技术实现步骤摘要】
一种垂直领域知识图谱构建方法及系统
本专利技术涉及计算机技术
，尤其涉及一种垂直领域知识图谱构建方法及系统。
技术介绍
随着人工智能的发展，智能的信息服务持续升级，在各种智能信息服务领域均能看到知识图谱的应用，如智能问答、个性化推送和信息检索等。知识图谱帮助计算机学习人的语言交流方式，使计算机像人类一样“思考”，使得各种信息服务反馈给用户更加智能的答案。可以说知识图谱是传统行业和人工智能进行融合的方向，也是人工智能从研究走向落地应用的过程中必不可少的环节。垂直领域知识图谱是针对某个行业，根据该领域的数据来构建的知识图谱，相比于通用知识图谱，更强调知识的深度。虽然在通用领域，学术界和工业界都已经有大规模的标注数据可供知识图谱构建模型进行训练，并且实体和关系抽取技术已经取得了长足进步。但在垂直领域的场景下，存在着标注语料数据量不足，人工标注耗费人工成本和精力等难题，并且随着业务的变更，实体和关系的类型会不断地更新，已有的标注数据无法应用在新的实体和关系类型上，这些难题使得在垂直领域构建知识图谱变得非常困难。因此，为了解决垂直领域知识图本文档来自技高网...

【技术保护点】
1.一种垂直领域知识图谱构建方法，其特征在于，包括：/n将产品文档输入到训练好的知识抽取模型中，所述训练好的知识抽取模型包括表格标注模型和文本知识抽取模型；/n若所述产品文档存在半结构化数据，则通过所述表格标注模型对所述产品文档中的半结构化数据进行表格标注处理，得到所述产品文档的三元组，所述表格标注模型是通过序列标注后的半结构化样本数据，对神经网络进行训练得到的；/n若所述产品文档存在非结构化数据，则通过所述文本知识抽取模型对所述产品文档中的非结构化数据进行知识抽取处理，得到所述产品文档的三元组，所述文本知识抽取模型是通过纯文本标注后的非结构化样本数据，对改进的语言模型进行训练得到的；/n根据...

【技术特征摘要】
1.一种垂直领域知识图谱构建方法，其特征在于，包括：
将产品文档输入到训练好的知识抽取模型中，所述训练好的知识抽取模型包括表格标注模型和文本知识抽取模型；
若所述产品文档存在半结构化数据，则通过所述表格标注模型对所述产品文档中的半结构化数据进行表格标注处理，得到所述产品文档的三元组，所述表格标注模型是通过序列标注后的半结构化样本数据，对神经网络进行训练得到的；
若所述产品文档存在非结构化数据，则通过所述文本知识抽取模型对所述产品文档中的非结构化数据进行知识抽取处理，得到所述产品文档的三元组，所述文本知识抽取模型是通过纯文本标注后的非结构化样本数据，对改进的语言模型进行训练得到的；
根据所述三元组，构建所述产品文档的知识图谱。


2.根据权利要求1所述的垂直领域知识图谱构建方法，其特征在于，所述训练好的知识抽取模型通过以下步骤训练得到：
获取样本产品文档，所述样本产品文档包括半结构化样本数据和非结构化样本数据；
对所述半结构化样本数据进行序列标注，并基于文本增强技术和实例交叉增强技术，对序列标注后的半结构化样本数据进行增强处理，构建得到第一训练数据集；
对所述非结构化样本数据进行纯文本标注，并基于文本增强技术和实例交叉增强技术，对纯文本标注后的非结构化样本数据进行增强处理，获取第二训练数据集；
将所述第一训练数据集输入到神经网络中进行训练，得到表格标注模型；
将所述第二训练数据集输入到改进的语言模型中进行训练，得到文本知识抽取模型，所述改进的语言模型是基于概率图模型和BERT模型构建得到的；
根据所述表格标注模型和所述文本知识抽取模型，获取训练好的知识抽取模型。


3.根据权利要求1所述的垂直领域知识图谱构建方法，其特征在于，所述将所述第一训练数据集输入到神经网络中进行训练，得到表格标注模型，包括：
根据所述第一训练数据集中半结构化样本数据的表头信息，生成多个子模式层；
基于所述多个子模式层，通过所述第一训练数据集，对所述神经网络进行训练，得到所述表格标注模型。


4.根据权利要求1所述的垂直领域知识图谱构建方法，其特征在于，所述若所述产品文档存在半结构化数据，则通过所述表格标注模型对所述产品文档中的半结构化数据进行表格标注处理，得到所述产品文档的三元组，包括：
通过所述表格标注模型，对半结构化数据中的表格主题和表头序列进行标注处理，得到标注的表格数据；
根据所述标注的表格数据，生成对应的子模式层；
对所述标注的表格数据进行节点和边的匹配，生成表格列属性；
根据所述表格列属性和所述子模式层，获取三元组。


5.根据权利要求2所述的垂直领域知识图谱构建方法，其特征在于，在所述对所述半结构化样本数据进行序列标注，并基于文本增强技术和实例交叉增强技术，对序列标注后的半结构化样本数据进行增强处理...

【专利技术属性】
技术研发人员：程渤，赵帅，杨小敏，陈俊亮，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11