【技术实现步骤摘要】
本专利技术实施例涉及自然语言处理与大语言模型提示学习，尤其涉及一种基于语言模型提示学习的常识推理方法。
技术介绍
1、随着大规模预训练语言模型展现出了良好的推理能力和可观的知识量，提示学习作为一种新的迁移学习范式开始被广泛运用到各类不同的推理任务中，它通过在任务文本前附上提示语来将预训练语言模型泛化到各类推理任务上。
2、现有技术中，通常采用离散提示学习技术确定预训练语言模型所需的提示语，通过提示语迁移到不同的常识推理语言模型中，以完成不同类型的推理任务。但是，当前的离散提示学习技术存在收敛慢的问题。
技术实现思路
1、本专利技术实施例提供了一种基于语言模型提示学习的常识推理方法，以实现提高确定提示向量以及回应信息的效率的目的。
2、根据本专利技术的一方面，提供了一种基于语言模型提示学习的常识推理方法，包括：
3、获取训练数据集和预训练语言模型；其中，所述训练数据集中包括至少一个批次对应的问答对数据；
4、针对当前训练批次，基于所述当前训练批...
【技术保护点】
1.一种基于语言模型提示学习的常识推理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述当前梯度和预先确定的预设嵌入向量，确定下一训练批次的问答对数据对应的下一提示向量，包括：
3.根据权利要求2所述的方法，其特征在于，所述将与所述优化提示向量对应的预设嵌入向量确定为所述目标嵌入向量，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述最新提示向量、待回答题干和待迁移推理模型，确定与所述待回答题干对应的回应信息，包括：
5.根据权利要求1所述的方法，其特征在于，所述当前问答对数据包...
【技术特征摘要】
1.一种基于语言模型提示学习的常识推理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述当前梯度和预先确定的预设嵌入向量，确定下一训练批次的问答对数据对应的下一提示向量，包括：
3.根据权利要求2所述的方法，其特征在于，所述将与所述优化提示向量对应的预设嵌入向量确定为所述目标嵌入向量，包括：
4.根据权利要求1所述的方法，其特征在于，所述基...
【专利技术属性】
技术研发人员：秦科，戴瑞婷，董强，辛宇轩，邵帅，杨行超，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。