一种公开文本的标签抽取方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种公开文本的标签抽取方法、装置、设备及存储介质。所述方法包括：获取多个公开文本，将所述多个公开文本按照预设比例划分为训练集和测试集；将训练集中的公开文本分割成多个句子；将所述多个句子分别标注上对应的真实特征标签；将所述真实特征标签以及所述训练集公开文本输入机器阅读理解模型进行模型训练得到最终机器阅读理解模型；将测试集中的公开文本输入所述最终机器阅读理解模型中得到多个抽取的特征标签。该方法通过机器阅读理解模型自动抽取多个公开文本中的特征标签，能够准确地从公开文本中抽取特征标签信息。息。息。

【技术实现步骤摘要】
一种公开文本的标签抽取方法、装置、设备及存储介质


[0001]本专利技术实施例涉及机器学习
，尤其涉及一种公开文本的标签抽取方法、装置、设备及存储介质。

技术介绍

[0002]随着互联网技术的快速发展，各类信息公开的趋势日益增加，如何对公共文本进行挖掘已经成为了研究热点。
[0003]在众多公共文本挖掘任务中，从公共文本中抽取特征标签，是一个很重要的任务。基于特征标签，我们可以对公共文本进行内容检索、内容分类、文本推荐。
[0004]当前，基于人工的特征标签抽取方法，需要耗费大量的人力和时间。

技术实现思路

[0005]本专利技术提供了一种公开文本的标签抽取方法、装置、设备及存储介质，以解决现有技术中由于抽取标签时需要使用不同的模型而导致的效率低下的问题。
[0006]根据本专利技术的一方面，提供了一种公开文本的标签抽取方法，包括：
[0007]获取多个公开文本，将所述多个公开文本按照预设比例划分为训练集和测试集；
[0008]将训练集中的公开文本分割成多个句子；
[0009]将所述多个句子分别标注上对应的真实特征标签；
[0010]将所述真实特征标签以及所述训练集公开文本输入机器阅读理解模型进行模型训练得到最终机器阅读理解模型；
[0011]将测试集中的公开文本输入所述最终机器阅读理解模型中得到多个抽取的特征标签。
[0012]根据本专利技术的另一方面，提供了一种公开文本的标签抽取装置，包括：
[0013]获取模块，用于获取多个公开文本，将所述多个公开文本按照预设比例划分为训练集和测试集；
[0014]分割模块，用于将训练集中的公开文本分割成多个句子；
[0015]标注模块，用于将所述多个句子分别标注上对应的真实特征标签；
[0016]训练模块，用于将所述真实特征标签以及所述训练集公开文本输入机器阅读理解模型进行模型训练得到最终机器阅读理解模型；
[0017]抽取模块，用于将测试集中的公开文本输入所述最终机器阅读理解模型中得到多个抽取的特征标签。
[0018]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：至少一个处理器；以及
[0019]与所述至少一个处理器通信连接的存储器；其中，
[0020]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的
公开文本的标签抽取方法。
[0021]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的公开文本的标签抽取方法。
[0022]本专利技术实施例提供了一种公开文本的标签抽取方法，包括：获取多个公开文本，将所述多个公开文本按照预设比例划分为训练集和测试集；将训练集中的公开文本分割成多个句子；将所述多个句子分别标注上对应的真实特征标签；将所述真实特征标签以及所述训练集公开文本输入机器阅读理解模型进行模型训练得到最终机器阅读理解模型；将测试集中的公开文本输入所述最终机器阅读理解模型中得到多个抽取的特征标签。该方法通过机器阅读理解模型自动抽取多个公开文本中的特征标签，解决了现有技术中由于抽取标签时需要使用不同的模型而导致的效率低下的问题，能够准确地从公开文本中抽取特征标签信息。
[0023]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0024]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本专利技术实施例一提供的一种公开文本的标签抽取方法的流程示意图；
[0026]图2为本专利技术实施例提供的一种基于BERT的机器阅读理解模型的示意图；
[0027]图3为本专利技术实施例二提供的一种公开文本的标签抽取方法的流程示意图；
[0028]图4为本专利技术实施例提供的一种基于机器阅读理解模型的特征标签抽取的流程图；
[0029]图5为本专利技术实施例提供的一种公开文本的标签抽取方法的流程示意图；
[0030]图6为本专利技术实施例三提供的一种公开文本的标签抽取方法的流程示意图；
[0031]图7为本专利技术实施例提供的一种基于Rest api的服务架构结构框图；
[0032]图8为本专利技术实施例四提供的一种公开文本的标签抽取装置的结构示意图；
[0033]图9为本专利技术实施例的公开文本的标签抽取方法的电子设备的结构示意图。
具体实施方式
[0034]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。应当理解，本专利技术的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本专利技术的范围在此方面不受限制。
[0035]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0036]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0037]需要注意，本专利技术中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0038]本专利技术实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0039]可以理解的是，本技术方案所涉及的文本(包括但不限于文本本身、文本的获取或使用)应当遵循相应法律法规及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种公开文本的标签抽取方法，其特征在于，所述方法包括：获取多个公开文本，将所述多个公开文本按照预设比例划分为训练集和测试集；将训练集中的公开文本分割成多个句子；将所述多个句子分别标注上对应的真实特征标签；将所述真实特征标签以及所述训练集公开文本输入机器阅读理解模型进行模型训练得到最终机器阅读理解模型；将测试集中的公开文本输入所述最终机器阅读理解模型中得到多个抽取的特征标签。2.根据权利要求1所述的方法，其特征在于，所述真实特征标签包括标签类别以及位置信息，所述位置信息为对应句子在公开文本中的起始位置和终止位置。3.根据权利要求1所述的方法，其特征在于，所述将训练集中的公开文本分割成多个句子，包括：将训练集中的公开文本的文本标题作为一个句子；根据换行符和句号将所述公开文本的正文分割成多个句子。4.根据权利要求1所述的方法，其特征在于，所述抽取的特征标签包括标签类别以及位置信息，相应的，所述将测试集公开文本输入最终机器阅读理解模型中得到多个抽取的特征标签，包括：将测试集公开文本输入训练好的机器阅读理解模型中；通过片段抽取任务从所述测试集公开文本中确定出多个问句以及多个问句的抽取位置；针对每个问句，将问句所属的类别作为所述问句的标签类别，将问句的抽取位置作为位置信息。5.根据权利要求1所述的方法，其特征在于，还包括：使用预设规则将多个抽取的特征标签进行规范化处理；计算多个规范化后的特征标签的标签权重。6.根据权利要求5所述的方法，其特征在于，所述计算多个规范化后的特征标签的标签权重，包括：获取每个规范化后的特征标签的出现频率；根据多个规范化后的特征标签中的位置信息确定出每个规范化后的特征标签在预设位置的出现频率；根据所述出现频率、所述预设位置对应的...

【专利技术属性】
技术研发人员：李宁宁，
申请(专利权)人：长沙爱得自在信息技术有限公司，
类型：发明
国别省市：