基于依存分析约束的提示学习模板自动生成方法技术

技术编号:42668585 阅读:22 留言:0更新日期:2024-09-10 12:23
本发明专利技术专利开发了一种基于依存分析约束的提示学习模板自动生成方法,并利用Re‑TACRED和Fewrel 1.0数据集对其进行了评估。首先,对输入数据进行预处理,以删除缺失和填充。本发明专利技术专利通过初步的处理,使用预训练语言模型使任务重新表述为填空问题,从而产生一个有效的模型。本发明专利技术专利设计了一种基于梯度搜索引导为各种任务创建提示的自动化方法,通过从语料中提取出来的依存分析,从其中找到常见的句式结构去约束,从而无需额外的参数或者微调。结果表明,本发明专利技术专利提出的方法可以从预训练的MLM中为各种任务获取知识,这些提示优于手动提示,同时需要较少的人力,解决了在大部分场景下需要更多标签的问题。

【技术实现步骤摘要】

本申请涉及自然语言处理,具体涉及基于依存分析约束的提示学习模板自动生成方法


技术介绍

1、在自然语言处理领域,传统的监督学习方法通常需要大量标记好的训练数据,并且需要手动设计特征来训练模型。这些方法在处理复杂的自然语言任务时存在一些挑战,例如,需要频繁调整特征和模型结构以适应不同的任务,同时还需要处理语言的歧义性和灵活性。

2、随着预训练语言模型的兴起,提示学习成为一种更为灵活和高效的方法。提示学习直接对文本概率建模,通过在预训练语言模型上进行微调或直接使用语言模型的输出来执行各种文本任务。这种方法省去了手动设计特征和调整模型结构的过程,大大简化了任务的复杂度。然而,传统的提示学习方法通常需要手动制作文本提示,以指导语言模型生成所需的输出。

3、关系抽取任务中手动制作提示存在一些问题,比如耗费大量时间和人力资源,以及模型对于提示的设计十分敏感,不合理的提示可能导致性能下降。因此,需要一种自动化生成提示的方法来解决这些问题。基于依存分析约束的提示学习模板自动生成方法可以帮助模型更准确地理解文本中的依存关系,从而生成更加准确的提示学习本文档来自技高网...

【技术保护点】

1.一种基于依存分析约束的提示学习模板自动生成方法,能更便捷高效得在自然语言处理的各种任务中得到准确度高的提示模板,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,构建句法信息结构,并进行数据预处理得到每句输入句子的依赖类型和邻接矩阵,包括:

3.根据权利要求1所述的方法,其特征在于,根据不同自然语言都处理任务数据集构建深度学习网络进行训练,得到训练好的自动提示模板生成模型,包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法引入依存分析约束后,模板生成的效率和质量得到了进一步提升,生成的模板更加符合语言的实际结构。自动选择标...

【技术特征摘要】

1.一种基于依存分析约束的提示学习模板自动生成方法,能更便捷高效得在自然语言处理的各种任务中得到准确度高的提示模板,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,构建句法信息结构,并进行数据预处理得到每句输入句子的依赖类型和邻接矩阵,包括:

3.根据权利要求1所述的方法,其特征在于,根据不同自然语言都处理任务数据集构建深度学习网络进行训练,得到训练好的自动提示模板生成模型,包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法引入...

【专利技术属性】
技术研发人员:谭异军陈曦蔡汉飞
申请(专利权)人:长沙理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1