文档知识体系自动构建方法技术

本公开提供了一种文档知识体系自动构建方法

【技术实现步骤摘要】
文档知识体系自动构建方法、装置、电子设备及存储介质


[0001]本公开涉及数据处理
，具体涉及知识图谱
、
知识体系
、
实体识别
、
深度学习等人工智能
，尤其涉及一种文档知识体系自动构建方法
、
装置
、
电子设备
、
计算机可读存储介质及计算机程序产品
。

技术介绍

[0002]诸如能源类企业
、
化工类企业以及大型实体制造业类企业，由于企业生产需要通过各种加工设备对大量原材料按预设的处理工序进行加工处理，在整个过程中企业内部会记录大量的故障运维记录
、
故障库
、
检修记录等历史材料中，蕴含了大量知识，这些无结构化文档通常以国家标准
、
技术规范
、
行业报告等形式存储，蕴含大量知识，但如何将这些知识进行抽取
、
成体系的组织并进行应用是一个业界难题
。

技术实现思路

[0003]本公开实施例提出了一种文档知识体系自动构建方法
、
装置
、
电子设备
、
计算机可读存储介质及计算机程序产品
。
[0004]第一方面，本公开实施例提出了一种文档知识体系自动构建方法，包括：确定构成目标文档的各文本内容和各文本内容之间的结构关系；通过多任务统一训练技术和基于行业人工标注的样本增强技术，识别文档内容中包含的实体
、
行业标签和属性信息，并将不同类型的识别结果分类至相应类型的内容节点；将各内容节点按结构关系构建关联关系，得到与目标文档对应的行业知识体系
。
[0005]第二方面，本公开实施例提出了一种文档知识体系自动构建装置，包括：内容及结构关系确定单元，被配置成确定构成目标文档的各文本内容和各文本内容之间的结构关系；识别及节点分类单元，被配置成通过多任务统一训练技术和基于行业人工标注的样本增强技术，识别文档内容中包含的实体
、
行业标签和属性信息，并将不同类型的识别结果分类至相应类型的内容节点；行业知识体系构建单元，被配置成将各内容节点按结构关系构建关联关系，得到与目标文档对应的行业知识体系
。
[0006]第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面描述的文档知识体系自动构建方法
。
[0007]第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面描述的文档知识体系自动构建方法
。
[0008]第五方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面描述的文档知识体系自动构建方法的步骤
。
[0009]本公开提供的文档知识体系自动构建方案，在对目标文档进行初步的内容解析和
结构解析的基础上，通过采用多任务统一训练技术和基于人工标注样本的样本增强技术，对文本内容中包含的各类行业知识进行准确识别和分类，最终结合结构关系得以自动构建出行业知识体系
。
借助样本增强技术得以仅需借助少量微调或标注操作即可进行行业领域知识体系的构建，而无需像常规方案一样必须借助行业专家或需要大量行业知识辅助，借助多任务统一训练技术则可以极大的提升模型训练效率，进而得以高效
、
准确
、
低介入的对给定行业文档自动完成行业知识体系的构建
。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围
。
本公开的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0011]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征
、
目的和优点将会变得更明显：
[0012]图1是本公开可以应用于其中的示例性系统架构；
[0013]图2为本公开实施例提供的一种文档知识体系自动构建方法的流程图；
[0014]图3为本公开实施例提供的一种确定文本内容和结构关系的方法的流程图；
[0015]图4为本公开实施例提供的一种识别实体
、
行业标签和属性信息的方法的流程图；
[0016]图5为本公开实施例提供的一种构建得到行业知识体系的方法的流程图；
[0017]图6为本公开实施例提供的一种文档知识体系自动构建装置的结构框图；
[0018]图7为本公开实施例提供的一种适用于执行文档知识体系自动构建方法的电子设备的结构示意图
。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的
。
因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神
。
同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述
。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合
。
[0020]本公开的技术方案中，所涉及的用户个人信息的收集
、
存储
、
使用
、
加工
、
传输
、
提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗
。
[0021]图1示出了可以应用本公开的文档知识体系自动构建方法
、
装置
、
电子设备及计算机可读存储介质的实施例的示例性系统架构
100。
[0022]如图1所示，系统架构
100
可以包括终端设备
101、102、103
，网络
104
和服务器
105。
网络
104
用以在终端设备
101、102、103
和服务器
105
之间提供通信链路的介质
。
网络
104
可以包括各种连接类型，例如有线
、
无线通信链路或者光纤电缆等等
。
[0023]用户可以使用终端设备
101、102、103
通过网络
104
与服务器
105
交互，以接收或发送消息等
。
终端设备
101、102、103
和服务器
105
上可以安装有各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种文档知识体系自动构建方法，包括：确定构成目标文档的各文本内容和各所述文本内容之间的结构关系；通过多任务统一训练技术和基于行业人工标注的样本增强技术，识别所述文档内容中包含的实体
、
行业标签和属性信息，并将不同类型的识别结果分类至相应类型的内容节点；将各所述内容节点按所述结构关系构建关联关系，得到与所述目标文档对应的行业知识体系
。2.
根据权利要求1所述的方法，其中，所述确定构成目标文档的各文本内容和各所述文本内容之间的结构关系，包括：从所述目标文档中提取出各文本块；对各所述文本块进行文本识别，得到对应的文本内容；根据各所述文本块在所述目标文档中的布局情况，确定相应文本内容之间的结构关系
。3.
根据权利要求1所述的方法，其中，所述通过多任务统一训练技术和基于行业人工标注的样本增强技术，识别所述文档内容中包含的实体
、
行业标签和属性信息，包括：利用针对不同行业的人工标注样本，对使用通用搜索数据构造的通用标签样本训练得到的通用文档处理模型进行微调训练，得到行业文档处理模型；其中，所述人工标注样本的数量小于所述通用标签样本的数量；通过包括实体识别任务
、
实体关系抽取任务
、
表格抽取任务以及标签抽取任务在内的多个预设任务，以多任务统一训练方式对所述行业文档处理模型进行训练，得到目标行业文档处理模型；利用所述目标行业文档处理模型处理所述文档内容，得到所述实体
、
所述行业标签和所述属性信息
。4.
根据权利要求3所述的方法，还包括：利用所述人工标注样本对所述通用标签样本进行数据增强处理，得到增强后样本；对应的，所述利用针对不同行业的人工标注样本，对使用通用搜索数据构造的通用标签样本训练得到的通用文档处理模型进行微调训练，包括：利用所述增强后样本和样本蒸馏技术，对所述通用文档处理模型进行微调训练
。5.
根据权利要求1所述的方法，其中，所述将各所述内容节点按所述结构关系构建关联关系，得到与所述目标文档对应的行业知识体系，包括：将各所述内容节点中包含的内容进行基于篇章结构的关系挖掘
、
基于单句语法特征的关系挖掘和基于深度关系的分类处理，得到并列关系
、
第一包含关系和第一上下位关系；将各所述内容节点中包含的内容进行实体成分分析和基于语义的候选对拉取处理，并基于成分分析结果和语义匹配结果得到第二包含关系和第二上下位关系；汇总所述第一包含关系和所述第二包含关系
、
所述第一上下位关系和所述第二上下位关系，得到综合包含关系和综合上下位关系；将各所述内容节点按所述并列关系
、
所述综合包含关系和所述综合上下位关系进行体系构建，得到与所述目标文档对应的行业知识体系
。6.
根据权利要求1所述的方法，还包括：响应于存在与目标文档所属行业对应的预设要求，确定与所述预设要求对应的用于约
束构建期望知识体系的目标提示词；对应的，所述通过多任务统一训练技术和基于行业人工标注的样本增强技术，识别所述文档内容中包含的实体
、
行业标签和属性信息，包括：在以所述目标提示词作为提示词自适应技术的自适应方向的前提下，通过多任务统一训练技术和所述样本增强技术，识别所述文档内容中包含的实体
、
行业标签和属性信息
。7.
根据权利要求1所述的方法，其中，确定构成目标文档的各文本内容，包括：分别从对应同一行业的不同信息渠道中分别获取记录有行业知识的目标文档；对分别从各所述目标文档中提取出的文本内容进行预处理，得到经预处理后的文本内容；其中，所述预处理包括：错误去除处理
、
去重处理
、
差异融合处理
、
补全处理中的至少一项
。8.
根据权利要求1‑7任一项所述的方法，还包括：将构建得到的行业知识体系进行预设的服务化支持处理；其中，所述服务化支持处理对应支持的服务包括：检索服务
、
可视化服务
、
关联知识推荐服务中的至少一项
。9.
根据权利要求8所述的方法，还包括：响应于接收到针对目标行业的知识查询请求，根据所述知识查询请求确定与所述目标行业对应的目标行业知识体系；在所述目标行业知识体系将所述知识查询请求中包含的查询词作为使用所述检索服务的检索词，得到所述检索服务返回的与所述检索词对应的查询结果
。10.
根据权利要求8所述的方法，还包括：将构建得到的行业知识体系利用分布式容灾技术进行异地灾备处理；其中，所述异地灾备处理包括至少两个位于不同位置的备份中心之间的数据同步处理
。11.
一种文档知识体系自动构建装置，包括：内容及结构关系确定单元，被配置成确定构成目标文档的各文本内容和各所述文本内容之间的结构关系；识别及节点分类单元，被配置成通过多任务统一训练技术和基于行业人工标注的样本增强技术，识别所述文档内容中包含的实体
、
行业标签和属性信息，并将不同类型的识别结果分类至相应类型的内容节点；行业知识体系构建单元，被配置成将各所述内容节点按所述结构关系构建关联关系，得到与所述目标文档对应的行业知识体系
。12.
根据权利要求
11
所述的装置，其中，所述内容及结构关系确定单元被进一步配置成：从所述目标文档中提取出各...

【专利技术属性】
技术研发人员：杨天行，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：