【技术实现步骤摘要】
本专利技术属于文本数据处理、字符处理，具体涉及一种基于自动构建提示工程的自然语言理解方法及系统。
技术介绍
1、提示是指根据当前微调的任务设计的一段文本内容，然后与微调任务数据进行结合，将当前任务转换为掩码语言模型的预训练任务的形式。一般来说，提示就是指上面提到的根据当前微调的任务设计的一段内容。正确的提示对模型的准确性和任务性能都有很大影响。设计最合适的提示以进一步利用预训练语言模型的能力，让语言模型解决下游任务的问题是一项具有挑战性的任务。
2、通常所设计的文本能够分为三类：硬提示(又称离散提示)、软提示(又称连续提示)和软-硬提示(离散提示和连续提示的结合)。其中硬提示由人类能够理解的单词组成的。离散提示是可移植性、灵活性和简单性。而软提示由语言模型的嵌入层的输出而组成的，它是连续的，人类无法理解的。然而，为特定任务找到合适的硬提示具有挑战性。相比之下，软提示是自动构建的，无需任何手动干预。软提示的可训练参数可以根据微调任务的训练数据来学习。软-硬提示(离散提示和连续提示的结合)没有只使用可学习连续提示或者是离散提示，而是在连续提示的基础上选择一些词元作为离散的提示与连续提示相比，软-硬提示减少了参数数量并且避免了过度的人工手写提示。
3、硬提示是通过人类的经验为当前的微调任务攥写合适的提示。虽然人们可以直观地理解提示的内容，但手动提示不是下游任务的最佳解决方案。如基于梯度的搜索方法从根据当前下游任务手动设计的大量提示中获取最合适的提示。混合提示，结合了一系列根据下游任务设计的手动提示和附加层。在混
4、软提示的思路是通过其他模块直接为当前数据数据生成一个最佳的提示。研究(参照论文deng m,wang j,hsieh c p,et al.rlprompt：optimizing discrete textprompts with reinforcement learning[j])提到，由于当前下游任务没有设置提示的数据集，因此采用强化学习的方法来优化由解码器组成的智能体，从而直接生成提示来参与到当前的下游任务。研究(参考论文liu x,gao y,bai y,et al.psp：pre-trained softprompts for few-shot abstractive summarization[j])直接在将输入的嵌入添加连续提示，使得嵌入具有连续的提示信息，该方法可以实现长度更长的提示。但是这类方法当模型参数数量较少时，软提示甚至可能不如微调。
5、软-硬提示的方法通常是在软提示的基础上，添加一定的硬提示。这类方法权衡了两种方法的优势，即保证了一定的效率的同时也保证了一定的性能。p-tuning是软-硬提示的方法之一。在p-tuning中，可学习的连续提示可以被训练并适应当前的下游任务。通过先预设一些次优的离散提示，并且将所有的离散提示中的词元替换为可学习的连续提示，然后为了保证一定的性能通过人工选择的方式再保留一定的离散词元不被替换从而获得一定的性能提升。p-tuning-v2提出了一种对自然语言处理任务的使用前缀调整的方法。这样就解决了p-tuning中需要全部参数训练的问题。研究(参考论文dual context-guidedcontinuous prompt tuning for few-shot learning[c])提出使用额外的下游任务来解决在p-tuning中使用lstm的标记没有相互交互的问题。最后，研究(参考论文zhang n,lil,chen x,et al.differentiable prompt makes pre-trained language models betterfew-shot learners[j])是类似的，并且引入了一个额外的下游任务来增加词元之间的关系。
6、综上，现有的软-硬提示技术中没有人提出使用提示工程纠正机制模型根据自然语言理解任务的数据去纠正预设的提示工程，使得提示工程不仅能够根据自然语言理解任务调整其内容，还能够在形式结构上进行调整，并且做到使提示工程能够更加适合当前的自然语言理解任务。因此说，提供一种基于自动构建提示工程的自然语言理解方法及系统势在必行。
技术实现思路
1、本专利技术目的在于提出一种基于自动构建提示工程的自然语言理解方法及系统，以解决现有的软-硬提示技术中存在的无法自动调整提示工程结构的问题。
2、为了实现上述目的，根据本专利技术的一方面，提供了一种基于自动构建提示工程的自然语言理解方法，所述方法包括以下步骤：
3、s100、划分数据集合得到训练集合、校验集合，将所述训练集合划分为自然语言理解数据集合和提示工程纠正机制数据集合；自然语言理解数据集合用于训练自然语言理解模型，提示工程纠正机制数据集合用于训练提示工程纠正机制模型；
4、s200、设置提示工程纠正机制模型的执行训练次数和自然语言理解模型的训练次数；
5、s300、设立经验池，使用强化学习的方法对提示工程纠正机制模型执行训练直至达到步骤s200设置的训练次数，得到训练后的提示工程纠正机制模型；
6、s400、使用训练后的提示工程纠正机制模型，纠正提示工程并与自然语言理解数据集合结合后输入到自然语言理解模型执行训练，得到训练后的自然语言理解模型；
7、s500、将s400中获得的训练后的自然语言理解模型在校验集合上计算的结果并只保存性能最佳的自然语言理解模型，且判断执行s400的次数是否满足阈值，否则跳转到s300。
8、s100中划分数据集，将训练集进一步划分为自然语言理解数据集和提示工程纠正机制模型数据集具体为：
9、数据集合由训练集合、校验集合组成，训练集合和校验集合皆为由多个训练数据组成的集合，一个训练数据由一个较长的文本的字符串记作文本内容与一个较短的标签的字符串记作类别标签组成的一个二元数组；
10、其中，将其中一份的自然语言理解数据集合的训练数据作为全部数据即全部的训练数据；全部的训练数据可以分为两份，一份用于训练提示工程纠正机制模型，另一份用于训练自然语言理解模型；这两份训练集合都可以将训练数据分成多份，自然语言理解中的其中的一份作为一个batch，以一个batch为单位输入到自然语言理解模型进行训练，自然语言理解模型将所有batch训练完一遍成为一个epoch即一轮，训练一个epoch表示自然语言理解模型完成一轮训练，epoch的数值可以用来表示执行了训练多少轮；同理提示工程纠正机制模型的训练集合也可以被分成多分进行训练，遵循上述的规则；
11、每个数据集中的训练数据被分成训练集合、校验集合，即在一个任务中存在部分的训练数据属于训练集合、同时部分的训练数据属于校验集合；训练集合、校验集合的划分是在对所有模型执行训练之前已经划分的，各个任务中的属于训练集合的训练数据组成了全部的训练本文档来自技高网...
【技术保护点】
1.一种基于自动构建提示工程的自然语言理解方法，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于自动构建提示工程的自然语言理解方法，其特征在于：在S100中，
3.根据权利要求2所述的一种基于自动构建提示工程的自然语言理解方法，其特征在于：在S200中，
4.根据权利要求3所述的一种基于自动构建提示工程的自然语言理解方法，其特征在于在S300中设立经验池的具体过程为：
5.根据权利要求4所述的一种基于自动构建提示工程的自然语言理解方法，其特征在于在S300中使用强化学习的方法对提示工程纠正机制模型执行训练直至达到步骤S200设置的训练次数，得到训练后的提示工程纠正机制模型，具体过程为：
6.根据权利要求5所述的一种基于自动构建提示工程的自然语言理解方法，其特征在于：S400的具体实现过程为：
7.根据权利要求6所述的一种基于自动构建提示工程的自然语言理解方法，其特征在于，在步骤S500中，在校验集合上使用评价指标计算的结果和只保存性能最佳的自然语言理解模型，具体为：
8.一种基于自动构建提
9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1至7中任一项所述的一种基于自动构建提示工程的自然语言理解方法的步骤。
...【技术特征摘要】
1.一种基于自动构建提示工程的自然语言理解方法，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于自动构建提示工程的自然语言理解方法，其特征在于：在s100中，
3.根据权利要求2所述的一种基于自动构建提示工程的自然语言理解方法，其特征在于：在s200中，
4.根据权利要求3所述的一种基于自动构建提示工程的自然语言理解方法，其特征在于在s300中设立经验池的具体过程为：
5.根据权利要求4所述的一种基于自动构建提示工程的自然语言理解方法，其特征在于在s300中使用强化学习的方法对提示工程纠正机制模型执行训练直至达到步骤s200设置的训练次数，得到训练后的提示工程纠正机制模型，具体过程为：
6.根据权利要求5所述的一种基于自动构建提示工程的自然语言理解方法，其特征在于：s400的具体实现过程为：
7.根据权利要求...
【专利技术属性】
技术研发人员：叶展宏，韩咏，钟雨彤，林锐蓝，齐浩亮，孔蕾蕾，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。