基于提示学习的对话行为识别系统技术方案

本发明专利技术属于对话行为识别技术领域，具体为一种基于提示学习的对话行为识别，通过设计和优化特定的提示信息，来提高对话行为识别的准确率和泛化能力。引入提示学习，结合手工设计的模板和预训练语言模型，构建一个针对对话行为识别的混合模板，将模板的某些部分视为可调参数(SoftTokens)，在训练过程中进行更新和微调，以此提高模型的准确性和鲁棒性。还采用了语言转化器技术，将标签转化为自然语言描述，进一步提高模型的可解释性和泛化能力。进一步提高模型的可解释性和泛化能力。进一步提高模型的可解释性和泛化能力。

【技术实现步骤摘要】
基于提示学习的对话行为识别系统


[0001]本专利技术属于对话行为识别
，具体是利用提示学习(Prompt Learning)的方法，通过设计和优化特定的提示信息，来提高对话行为识别的准确率和泛化能力。

技术介绍

[0002]对话行为识别是自然语言处理领域的一个重要研究方向，其主要目的是自动识别对话文本中的不同行为，如陈述、提问、命令等。在过去的几十年中，人们提出了许多方法和技术来解决这个问题。
[0003]早期的对话行为识别方法主要基于人工设计的特征和规则，通过分析文本中的语法和语义信息来识别不同的对话行为。然而，这种方法难以处理复杂的语义信息，且需要大量的人工劳动力和时间。
[0004]随着机器学习和深度学习技术的发展，基于机器学习和深度学习的方法逐渐成为了对话行为识别的主流方法。其中，基于支持向量机(SVM)、朴素贝叶斯分类器等传统机器学习方法被广泛应用于对话行为识别任务，通过训练分类器来对文本进行分类。然而，这些方法仍然需要人工设计的特征，难以处理复杂的语义信息。
[0005]近年来，随着深度学习技术的发展和预训练语言模型的出现，对话行为识别任务取得了更加显著的进展。例如，BERT、RoBERTa等预训练语言模型在对话行为识别任务中取得了非常显著的效果，并逐渐成为对话行为识别的主流方法。这些模型利用大规模语料库进行预训练，然后在特定的任务上进行微调，可以显著提高对话行为识别的准确率和泛化能力。
[0006]除了预训练语言模型，还有一些基于深度学习的方法被应用于对话行为识别任务中，如基于卷积神经网络(CNN)和循环神经网络(RNN)的方法。这些方法利用神经网络自动地提取文本中的特征和信息，从而实现对话行为的识别。
[0007]总之，随着深度学习技术的不断发展和应用，对话行为识别任务在自然语言处理领域具有重要的研究意义和应用价值。不断创新和发展新的算法和模型，将有助于提高对话行为识别任务的准确率和泛化能力，为人机交互、情感分析、智能客服等领域的应用提供更加智能化和高效的解决方案。
[0008]但是对话行为识别目前仍面临一些困境，例如传统方法往往依赖大量的人工标注数据，而这种数据的获取成本很高。又如在对话数据中，可能存在一些干扰，比如同义词、口语化语言等，这些干扰会对模型的预测结果产生负面影响，导致模型的准确率降低。

技术实现思路

[0009]针对对话行为识别中面临的数据标注成本高，以及在对话数据中存在干扰的问题，本专利技术将提示学习(Prompt Learning)引入对话行为识别任务，通过构建模板，将领域知识和经验性信息注入到模型中，从而能够提高对话行为识别的准确性和泛化能力。与传统的Fine
‑
tuning相比，Prompt Learning技术可以通过设计合理的模板，减少标注数据的
数量和质量要求，并提高模型在新领域中的表现，具有更好的可扩展性和适应性。因此，本专利技术为对话行为识别任务的研究和应用提供了新思路和解决方案，并提高了基于单句对话文本的对话行为识别的准确率。
[0010]本专利技术的技术方案是引入提示学习(Prompt Learning)，结合手工设计的模板和预训练语言模型，构建一个针对对话行为识别的混合模板，将模板的某些部分视为可调参数(Soft Tokens)，在训练过程中进行更新和微调，以此提高模型的准确性和鲁棒性。此外，本专利技术还采用了语言转化器(Verbalizer)技术，将标签转化为自然语言描述，进一步提高了模型的可解释性和泛化能力。具体的步骤包括以下三部分：
[0011](1)设计提示学习模板(Prompt Template)
[0012]设计提示学习模板是提示学习(Prompt Learning)方法的核心步骤之一。在这个步骤中，我们需要为特定的下游任务设计一个能够准确指导模型学习的模板。对于对话行为识别(Dialogue Act Classification)任务，我们采用了一种称为混合模板(mixed template)的提示学习模板。Mixed template是一种灵活的提示学习模板，它由多个文本片段(text segment)组成，每个文本片段中包含了一个或多个词元(token)。每个token可以被标记为硬性(hard)或软性(soft)。硬性token在训练和推理时必须被固定，而软性token则可以在训练和推理时被替换成其他词汇。mixed template中的每个文本片段都可以包含一个或多个硬性token和软性token，这使得模板能够适应不同的输入和输出要求。Mixed template的灵活性使得模型可以更加准确地学习任务相关的信息，同时也使得模板更易于设计和调整。在对话行为识别任务中，我们使用mixed template来约束模型的输入和输出格式，并根据任务要求设计合适的硬性token和软性token。
[0013](2)预训练模型BERT
[0014]预训练BERT模型是提示学习方法的另一个核心组成部分。在对话行为识别任务中，我们使用预训练BERT模型来提取输入文本的特征表示，并利用这些特征来进行训练和预测。通过利用预训练BERT模型的语言模型能力，我们可以在较小的数据集上进行训练，并获得更好的模型泛化能力。在Prompt Learning中，我们使用预训练的BERT模型作为基础模型，通过在其输入中添加自定义的提示文本，指导模型学习特定任务。在具体实现中，BERT模型可以将输入文本转换为向量表示，为下游任务提供更好的输入表征。
[0015](3)构建语言转化器(Verbalizer)
[0016]语言转化器(Verbalizer)是提示学习方法的另一个关键部分。它将模型的输出转化为自然语言描述，使得模型的预测结果更易于理解和解释。在对话行为识别任务中，我们使用Verbalizer将模型的预测类别转化为对话行为的自然语言描述，例如“问候”、“询问”、“结束对话”等。
[0017]有益效果
[0018]与传统的单句对话行为识别方法相比，本专利技术利用提示学习更好地利用大量无标注数据来提升模型的泛化能力和性能，同时设计灵活的mixed template和基于soft token的语言转化器，可以更好地利用人类的先验知识和自然语言的语法特征，从而提高对话行为识别的准确性和效率。
[0019]本专利技术采用提示学习利用模板和相应的知识来指导模型学习的方法，模板为模型提供了输入输出格式的规范化，并引导模型学习任务相关的知识和信息，提高模型的可解
释性。模板的意义在于，它使得我们可以更加高效地应用模型到不同的应用场景中，并更好地理解模型在某个特定任务上的表现。通过合理设置模板，我们可以让模型更好地适应任务要求，提高模型的效果和性能。
[0020]在Prompt Learning中，使用预训练的BERT模型，可以有效地缓解下游任务数据量不足的问题，同时提高模型的泛化能力和性能。因此，预训练BERT在Prompt Learning中的作用在于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于提示学习的对话行为识别系统，其特征在于，包括以下步骤：(1)设计提示学习模板：对于对话行为识别任务，采用混合模板mixed template的提示学习模板，由多个文本片段组成，每个文本片段中包含一个或多个词元token，每个token被标记为硬性或软性，硬性token在训练和推理时必须被固定，而软性token则在训练和推理时被替换成其他词汇，mixed template中的每个文本片段都可以包含一个或多个硬性token和软性token；使用混合模板mixed template来约束模型的输入和输出格式，并根据任务要求设计合适的硬性token和软性token；(2)提示学习利用模板和相应的知识来指导模型学习；(3)预训练BERT模型：使用预训练BERT模型来提取输入文本的特征表示，并利用这些特征来进行训练和预测；使用预训练的BERT模型作为基础模型，通过在其输入中添加自定义的提示文本，指导模型学习特定任务；(4)构建语言转化器：在提示学习中，语言转化器Verbalizer指将模型输出映射到自然语言文本的过程。2.根据权利要求1所述的基于提示学习的对话行为识别系统，其特征在于，预训练BERT模型的训练数据来源于大规模的无标注文本数据，从中学习到的语言模型能力可以被用于下游任务中。3.根据权利要求1所述的基于提示学习的对话行为识别系统，其特征在于，在混合标记解析完成后，可以准备生成输入的soft token词嵌入embedding，对于每个soft token，使用BERT预训练模型中的输入embedding来初始化其embedding；在计算过程中，对于当前输入的批次batch，首先将其输入数据input_ids通过BERT的原始embedding层获取其输入embedding；然后，使用另外一个embedding层，即soft_embedding层，生成所有soft token的embedding；这个embedding层的初始化来自BERT预训练模型中的原始embedding层，但会在后面的fine
‑
tune过程中被调整；接着，根据软词元编码soft_token_ids中的信息，选择应该使用哪个embedding；如果一个token的soft_token_ids中的值为0，那么就使用原始embedding；否则，使用生成的soft embedding，最终输出的是输入embedding的组合；若令e
iorig
表示第i个token的原始embedding，e
isoft
表示第i个token的soft embedding，对于输入batch中的每个token，其最终embedding可以表示为：在计算过程中，soft_token_ids会被不断更新，以便每个soft token都能够正确地与其对应的hard token相匹配；具体而言，根据模板中的soft token信息，为每个soft token分配唯一的ID，并将其放入身份列表id_list中；如果存在多个soft token对应一个hard token的情况，将它们放在同一个id_list中；之后，将id_list放入soft_token...

【专利技术属性】
技术研发人员：杨鹏飞，庄志强，司宇珂，王龙标，
申请(专利权)人：天津大学，
类型：发明
国别省市：