【技术实现步骤摘要】
本公开内容涉及对预训练模型进行提示微调训练的方法和装置、利用提示微调预训练模型进行关系提取的方法和装置。
技术介绍
1、关系抽取是自然语言处理技术中的基础任务，关系抽取任务的目的之一是判断文本中同时出现的两个实体之间的关系。随着近些年预训练语言模型比如bert等的兴起，对预训练语言模型进行微调(fine-turning)已经成为关系抽取的主流方法，并取得了很好的效果。然而传统的微调方法可能会阻碍下游任务对预训练语言模型中潜在的知识的充分利用。
2、因此，提出对预训练语言模型进行提示(prompt)微调，其核心思想是通过设计一个模板将输入转变为完形填空式的短语以及一个从标签到候选词的映射，使下游任务的目标转换为更为接近预训练任务的目标。对预训练语言模型进行提示微调的方法能进一步激发预训练语言模型中丰富的知识，从而能更好地服务于下游任务。
3、然而，在传统的提示微调预训练方法中，在构建提示模板时存在如下问题：当使用手工构建提示模板时，由于对专业领域的任务，需要专业的知识，而且对于包含多种关系的关系抽取任务，手工构建大...
【技术保护点】
1.一种对预训练模型进行提示微调训练的方法，包括：
2.根据权利要求1所述的方法，其中，基于原始训练集得到包括多个候选关系模板的候选关系模板集包括：
3.根据权利要求1所述的方法，其中，基于所述原始训练集中的每个关系与所述候选关系模板集中的每个候选关系模板的相关度来选择关系模板包括：
4.根据权利要求1所述的方法，其中，基于选择的关系模板来生成多个假设包括：
5.根据权利要求3所述的方法，其中，在同一候选关系模板与所述原始训练集中的多个关系相关的情况下，针对所述多个关系中的除了与该候选关系模板的相关度最高的关系以外的其他...
【技术特征摘要】
1.一种对预训练模型进行提示微调训练的方法，包括：
2.根据权利要求1所述的方法，其中，基于原始训练集得到包括多个候选关系模板的候选关系模板集包括：
3.根据权利要求1所述的方法，其中，基于所述原始训练集中的每个关系与所述候选关系模板集中的每个候选关系模板的相关度来选择关系模板包括：
4.根据权利要求1所述的方法，其中，基于选择的关系模板来生成多个假设包括：
5.根据权利要求3所述的方法，其中，在同一候选关系模板与所述原始训练集中的多个关系相关的情况下，针对所述多个关系中的除了与该候选关系模板的相关...
【专利技术属性】
技术研发人员：房璐，郑仲光，曹奕翎，孙俊，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。