一种实体关系抽取模型生成方法及实体关系抽取方法技术

本申请涉及一种实体关系抽取模型生成方法及实体关系抽取方法，本申请使用比实际部署时要求长度更长的长度作为最大长度进行自适应多阶段的训练，由于训练模型时的最大长度自适合选择，且更长，所以模型具有更高效的语义能力；而当部署时使用比训练的最大长度小的文本作为输入时，模型的能力能有更好的表现。实际测试中发现改进后的训练策略使模型在多份相同数据集中都有F1提升3个点。相同数据集中都有F1提升3个点。相同数据集中都有F1提升3个点。

【技术实现步骤摘要】
一种实体关系抽取模型生成方法及实体关系抽取方法


[0001]本申请涉及实体关系抽取的
，尤其是涉及一种实体关系抽取模型生成方法及实体关系抽取方法。

技术介绍

[0002]NLP实际场景中特定语料往往很少，标注成本也很高，所以使模型具有更高效的高级语义语言模型的能力显得很重要。传统的训练策略是：基于开源大规模语料预训练模型(如:bert)，然后根据具体场景的数据对预训练模型进行模型参数微调。以最终部署时的最大文本长度作为训练文本的最大长度，如果文本长度小于这个最大值，将用空格补充。而以上传统思路无法训练出高效的模型能力，虽然bert具有自注意力机制，能关注到前后词的语义，但在存在大跨度的信息抽取任务时(如:实体关系抽取任务)，往往无法关系前后语义，导致抽取效果差。

技术实现思路

[0003]针对上述传统思路无法训练出高效的模型能力，虽然bert具有自注意力机制，能关注到前后词的语义，但在存在大跨度的信息抽取任务时，往往无法关系前后语义，导致抽取效果差的问题,本申请提出了一种实体关系抽取模型生成方法及实体关系抽取方法。
...

【技术保护点】

【技术特征摘要】
1.一种实体关系抽取模型生成方法，其特征在于：所述方法包括以下步骤：S101：按部署时最大长度H的1/2倍作为训练的最大长度来制作训练集D1，然后在训练集D1上训练模型，训练收敛后得到模型M1；S102：按部署时最大长度H的1倍作为训练的最大长度来制作训练集D2，在D2训练集上以S1中的模型M1为模型基础参数进行fintune训练，得到模型M2；S103：按部署时最大长度H的2倍作为训练的最大长度来制作训练集D3，在D3训练集上以S2中的模型M2为模型基础参数，进行fintune训练，得到最终的实体关系抽取模型M3。2.根据权利要求1所述的一种实体关系抽取模型生成方法，其特征在于：在所述S101中，如果训练集中单条文本过长则将文本切开。3.根据权利要求2所述的一种实体关系抽取模型生成方法，其特征在于：所述将文本切开的操作为：假设长句长度为h1，要切分为的短句的长度为h2，切分的步骤为：从长句第一个字符往后找到第h2个字符，然后从此字符开始再往前找句子的间隔符，找到的间隔符的位置就是要切开的第一个位置；如果从此字符开始往前未找到间隔符，则强制从此字符处切开；然后以此切开位置为句首重复上述步骤，直到往后找的句子长度不满足h1，则停止。4.根据权利要求3所述的一种实体关系抽取模型生成方...

【专利技术属性】
技术研发人员：陈毓靖，朱海勇，罗雅英，陈吉洪，戴亨波，张伟烽，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：