文本抽取方法、装置、计算机设备和可读存储介质制造方法及图纸

技术编号:26689806 阅读:22 留言:0更新日期:2020-12-12 02:39
本发明专利技术实施例提供了一种文本抽取方法、装置、计算机设备和可读存储介质,涉及大数据处理技术领域,应用于计算机设备,计算机设备存储有多个关系种类和多个标注类别;文本抽取方法包括:获取待抽取文本;将待抽取文本输入预先训练的关系分类模型得到目标关系文本,目标关系文本包括从多个关系种类中确定的目标关系种类;将目标关系文本输入预先训练的序列标注模型得到目标标注文本,目标标注文本包括从多个标注类别中确定的目标标注类别;基于目标关系种类和目标标注类别,从目标标注文本中抽取得到目标文本,通过上述步骤,能够便捷地获取目标文本。

【技术实现步骤摘要】
文本抽取方法、装置、计算机设备和可读存储介质
本专利技术涉及大数据处理
,具体而言,涉及一种文本抽取方法、装置、计算机设备和可读存储介质。
技术介绍
随着大数据的发展与应用,大型知识图谱也随着出现,现有的大型知识图谱虽然具备丰富的语义知识,并以结构化的形式存储。但与现实世界数据增长的势头相比,知识图谱的构建显然相对较慢。而在知识图谱的构架中,三元组是不可或缺的文本信息,且需求量大。现有技术中,一般采取人工标注的形式来实现三元组的构建,这使得作为大型知识图谱构建基石的三元组的获取十分不便。有鉴于此,如何提供一种便捷地文本抽取方案,是本领域技术人员需要解决的。
技术实现思路
本专利技术提供了一种文本抽取方法、装置、计算机设备和可读存储介质。本专利技术的实施例可以这样实现:第一方面,本专利技术实施例提供一种文本抽取方法,应用于计算机设备,所述计算机设备存储有多个关系种类和多个标注类别;所述方法包括:获取待抽取文本;将所述待抽取文本输入预先训练的关系分类模型得到目标关系文本,所述目标关系文本包括从所述多个关系种类中确定的目标关系种类;将所述目标关系文本输入预先训练的序列标注模型得到目标标注文本,所述目标标注文本包括从所述多个标注类别中确定的目标标注类别;基于所述目标关系种类和所述目标标注类别,从所述目标标注文本中抽取得到目标文本。在可选的实施方式中,所述将所述待抽取文本输入预先训练的关系分类模型得到目标关系文本的步骤,包括:r>对经过预处理后的所述待抽取文本进行特征提取,得到多个第一特征向量;将所述多个第一特征向量输入Bert模型,得到语义表示向量,其中,所述语义表示向量用于表征所述待抽取文本的全文语义;将所述语义表示向量通过全连接层映射,得到语义映射向量;将所述语义映射向量通过预设激活函数计算得到语义预测向量,所述语义预测向量包括语义预测置信度;根据所述语义预测置信度与预设置信度阈值确定所述目标关系种类;将所述经过预处理后的所述待抽取文本与所述目标关系种类构建为所述目标关系文本。在可选的实施方式中,所述将所述目标关系文本输入预先训练的序列标注模型得到目标标注文本的步骤,包括:对经过预处理后的所述目标关系文本进行特征提取,得到多个第二特征向量;将所述多个第二特征向量输入Bert模型,得到文字序列向量,其中,所述文字序列向量用于表征所述待抽取文本中每个文字的标注信息;将所述文字序列向量通过全连接层映射,得到多个标注预测向量,每个所述标注预测向量均包括标注预测向量置信度;根据最大标注预测向量置信度确定所述目标标注类别;根据所述目标标注类别对所述目标关系文本进行标注,得到所述目标标注文本。在可选的实施方式中,所述目标标注文本包括目标文本关系;所述基于所述目标关系种类和所述目标标注类别,从所述目标标注文本中抽取得到目标文本的步骤,包括:根据所述目标关系种类、所述目标标注类别和所述目标文本关系从所述目标标注文本中抽取目标实体关系、第一实体和第二实体;将所述目标实体关系、第一实体和第二实体作为所述目标文本。在可选的实施方式中,所述关系分类模型通过以下方式获取:获取训练样本文本和预设样本关系;对经过分词处理的所述训练样本文本进行特征提取,得到多个第一训练特征向量;将所述多个第一训练特征向量输入Bert模型,得到训练语义表示向量,其中,所述训练语义表示向量用于表征所述训练样本文本的全文语义;将所述训练语义表示向量通过全连接层映射,得到训练语义映射向量;将所述训练语义映射向量通过预设激活函数计算得到训练语义预测向量;基于所述预设样本关系,将所述训练语义预测向量输入所述关系分类模型通过交叉熵损失函数计算损失并进行迭代训练,直至得到所述关系分类模型。在可选的实施方式中,所述序列标注模型通过以下方式获取:获取所述训练样本文本和预设标注类别;对经过分词处理的所述训练样本文本进行特征提取,得到多个第二训练特征向量;将所述多个第二训练特征向量输入Bert模型,得到训练文字序列向量,其中,所述训练文字序列向量用于表征所述待抽取文本中每个文字的标注信息;将所述训练文字序列向量通过全连接层映射,得到训练标注预测向量;将所述训练标注预测向量输入所述序列标注模型通过交叉熵损失函数计算损失并进行迭代训练,直至得到所述序列标注模型。在可选的实施方式中,所述计算机设备还存储有知识图谱,所述方法还包括:将所述目标文本存储于所述知识图谱中。第二方面,本专利技术实施例提供一种文本抽取装置,应用于计算机设备,所述计算机设备存储有多个关系种类和多个标注类别;所述装置包括:获取模块,用于获取待抽取文本;处理模块,用于将所述待抽取文本输入预先训练的关系分类模型得到目标关系文本,所述目标关系文本包括从所述多个关系种类中确定的目标关系种类;将所述目标关系文本输入预先训练的序列标注模型得到目标标注文本,所述目标标注文本包括从所述多个标注类别中确定的目标标注类别;抽取模块,用于基于所述目标关系种类和所述目标标注类别,从所述目标标注文本中抽取得到目标文本。第三方面,本专利技术实施例提供一种计算机设备,所述计算机设备包括处理器及存储有计算机指令的非易失性存储器,所述计算机指令被所述处理器执行时,所述计算机设备执行前述实施方式中任意一项所述的文本抽取方法。第四方面,本专利技术实施例提供一种可读存储介质,所述可读存储介质包括计算机程序,所述计算机程序运行时控制所述可读存储介质所在计算机设备执行前述实施方式中任意一项所述的文本抽取方法。本专利技术实施例的有益效果包括,例如:采用本申请实施例提供的一种文本抽取方法、装置、计算机设备和可读存储介质,应用于计算机设备,所述计算机设备存储有多个关系种类和多个标注类别。通过获取待抽取文本;从而将所述待抽取文本输入预先训练的关系分类模型得到目标关系文本,所述目标关系文本包括从所述多个关系种类中确定的目标关系种类;再将所述目标关系文本输入预先训练的序列标注模型得到目标标注文本,所述目标标注文本包括从所述多个标注类别中确定的目标标注类别;然后基于所述目标关系种类和所述目标标注类别,从所述目标标注文本中抽取得到目标文本,通过巧妙地应用预先训练的关系分类模型和预先训练的序列标注模型能够便捷地获取目标文本。附图说明为了更清楚地说明本专利技术实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本专利技术的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的文本提取方法的一种步骤流程示意图;图2为本申请实施例提供的文本提取方法的另一种步骤流程示意图;图3为本申本文档来自技高网...

【技术保护点】
1.一种文本抽取方法,其特征在于,应用于计算机设备,所述计算机设备存储有多个关系种类和多个标注类别;/n所述方法包括:/n获取待抽取文本;/n将所述待抽取文本输入预先训练的关系分类模型得到目标关系文本,所述目标关系文本包括从所述多个关系种类中确定的目标关系种类;/n将所述目标关系文本输入预先训练的序列标注模型得到目标标注文本,所述目标标注文本包括从所述多个标注类别中确定的目标标注类别;/n基于所述目标关系种类和所述目标标注类别,从所述目标标注文本中抽取得到目标文本。/n

【技术特征摘要】
1.一种文本抽取方法,其特征在于,应用于计算机设备,所述计算机设备存储有多个关系种类和多个标注类别;
所述方法包括:
获取待抽取文本;
将所述待抽取文本输入预先训练的关系分类模型得到目标关系文本,所述目标关系文本包括从所述多个关系种类中确定的目标关系种类;
将所述目标关系文本输入预先训练的序列标注模型得到目标标注文本,所述目标标注文本包括从所述多个标注类别中确定的目标标注类别;
基于所述目标关系种类和所述目标标注类别,从所述目标标注文本中抽取得到目标文本。


2.根据权利要求1所述的方法,其特征在于,所述将所述待抽取文本输入预先训练的关系分类模型得到目标关系文本的步骤,包括:
对经过预处理后的所述待抽取文本进行特征提取,得到多个第一特征向量;
将所述多个第一特征向量输入Bert模型,得到语义表示向量,其中,所述语义表示向量用于表征所述待抽取文本的全文语义;
将所述语义表示向量通过全连接层映射,得到语义映射向量;
将所述语义映射向量通过预设激活函数计算得到语义预测向量,所述语义预测向量包括语义预测置信度;
根据所述语义预测置信度与预设置信度阈值确定所述目标关系种类;
将所述经过预处理后的所述待抽取文本与所述目标关系种类构建为所述目标关系文本。


3.根据权利要求2所述的方法,其特征在于,所述将所述目标关系文本输入预先训练的序列标注模型得到目标标注文本的步骤,包括:
对经过预处理后的所述目标关系文本进行特征提取,得到多个第二特征向量;
将所述多个第二特征向量输入Bert模型,得到文字序列向量,其中,所述文字序列向量用于表征所述待抽取文本中每个文字的标注信息;
将所述文字序列向量通过全连接层映射,得到多个标注预测向量,每个所述标注预测向量均包括标注预测向量置信度;
根据最大标注预测向量置信度确定所述目标标注类别;
根据所述目标标注类别对所述目标关系文本进行标注,得到所述目标标注文本。


4.根据权利要求1所述的方法,其特征在于,所述目标标注文本包括目标文本关系;
所述基于所述目标关系种类和所述目标标注类别,从所述目标标注文本中抽取得到目标文本的步骤,包括:
根据所述目标关系种类、所述目标标注类别和所述目标文本关系从所述目标标注文本中抽取目标实体关系、第一实体和第二实体;
将所述目标实体关系、第一实体和第二实体作为所述目标文本。


5.根据权利要求1所述的方法,其特征在于,所述关系分类模型通过以...

【专利技术属性】
技术研发人员:陆韵江易常荣虎陈绍强陆克贤李永强任聪翁漂洋
申请(专利权)人:杭州中奥科技有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1