【技术实现步骤摘要】
训练实体类型识别模型的方法、实体类型识别方法及装置
[0001]本申请涉及机器学习
，特别是涉及一种训练实体类型识别模型的方法、实体类型识别方法及装置。
技术介绍
[0002]实体类型识别是自然语言处理领域信息抽取中的重要任务，其目的是将文本中的实体归纳到相应的实体类型中，是信息提取、问答系统、句法分析、机器翻译等众多应用的基础工具。实体类别可以是人名、机构名、地名、时间、日期、机构名等等。
[0003]实体类型识别中，细粒度的类型识别往往是比较困难的。目前细粒度实体类型识别通常是在预训练语言模型的基础上，加入分类网络进行微调得到的。但这种方式在少样本场景下训练得到的实体类型识别模型的识别效果较差。
技术实现思路
[0004]有鉴于此，本申请提供了一种训练实体类型识别模型的方法、实体类型识别方法及装置，以便于提高实体类型识别模型的识别效果。
[0005]本申请提供了如下方案：
[0006]第一方面，提供了一种训练实体类型识别模型的方法，所述方法包括：
[0007]获取包括...
【技术保护点】
【技术特征摘要】
1.一种训练实体类型识别模型的方法，其特征在于，所述方法包括：获取包括多个训练样本的训练数据，所述训练样本包括文本样本以及所述文本样本中实体词被标注的实体类型标签；利用所述训练数据训练实体类型识别模型，所述实体类型识别模型包括预测网络和基于预训练语言模型的编码网络；所述训练包括：利用文本样本中的实体词生成提示文本，所述提示文本包含所述文本样本中的实体词以及被掩码内容；利用文本样本以及提示文本得到输入文本序列，将所述文本输入序列输入所述编码网络，由所述编码网络提取所述输入文本序列中各元素的特征表示；所述预测网络利用所述各元素的特征表示，预测所述提示文本中被掩码的内容在词表中各词语上的概率分布，依据所述概率分布得到所述文本样本中的实体词对应的实体类型，所述词表包括各实体类型对应的标签词；所述训练目标包括：最小化所述编码网络得到的所述文本样本中的实体词对应的实体类型与所述文本样本中的实体词被标注的实体类型标签之间的差异。2.根据权利要求1所述的方法，其特征在于，所述利用文本样本中的实体词生成提示文本包括：将所述文本样本中的实体词填入预设的提示模板中的对应槽位，得到提示文本，所述提示模板包含实体词对应的槽位以及被掩码的内容标识。3.根据权利要求2所述的方法，其特征在于，所述预设的提示模板还包括体现所述实体词对应的槽位以及被掩码的内容标识之间语义关系的上下文；或者，所述预设的提示模板还包括所述实体词对应的槽位以及被掩码的内容标识的参数化的上下文，所述参数化的上下文在所述实体类型识别模型的训练过程中被更新。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述词表还包括各实体类型对应的标签词的同义词；依据所述概率分布得到所述文本样本中的实体词对应的实体类型包括：针对各实体类型，分别确定所述提示文本中被掩码的内容在所述词表中各实体类型对应各词语上的概率统计值，将对应概率统计值最大的实体类型确定为所述文本样本中的实体词对应的实体类型。5.一种实体类型识别的方法，其特征在于，所述方法包括：获取待识别文本；利用所述待识别文本中的实体词生成提示文本，所述提示文本包含所述待识别文本中的实体词以及被掩码内容；利用所述待识别文本和所述提示文本得到输入文本序列，将所述输入文本序列输入实体类型识别模型，获取所述实体类型识别模型针对所述待识别文本中实体词预测的实体类型，所述实体类型识别模型包括预测网络和基于预训练语言模型的编码网络；其中，所述编码网络提取所述输入文本序列中各元素的特征表示；所述预测网络利用所述各元素的特征表示，预测所述提示文本中被掩码的内容在词表中各词语上的概率分布，依据所述概率分布得到所述待识别文本中的实体词对应的实体类型，所述词表包括各实体类型对应的标签词。6.根据权利要求5所述的方法，其特征在于，利用所述待识别文本中的实体词生成提示
文本包括：将所述待识别文本中的实体词填入预设的提示模板中的对应槽位，得到提示文本，所述预设模板包含实体词对应的槽位以及被掩码的内容标识。7.根据权利要求5所述的方法，其特征在于，所述词...
【专利技术属性】
技术研发人员：丁宁，王潇斌，徐光伟，谢朋峻，郑海涛，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。