【技术实现步骤摘要】
一种小样本意图识别方法、装置、设备及存储介质
[0001]本专利技术涉及信息
中的自然语言处理领域,尤其涉及意图识别、小样本学习等
具体地,本专利技术提供一种小样本意图识别方法、装置、设备以及存储介质。
技术介绍
[0002]意图识别(Intent Detection)作为人机对话系统中的关键任务,其目的是根据用户与系统交互的语句判断出用户的真实意图。意图识别作为对话系统中的第一个模块,其识别准确率影响着后续模块的处理。近些年来,随着深度学习的快速发展,意图识别任务也取得了巨大的进步,研究人员提出了一系列有效的算法,这些算法通常需要大量数据作支撑。然而,在对话系统开发的初始阶段,获取大量用户的真实对话语料是很困难的,通常每个意图仅有少量的数据样例支撑,这就需要模型具有从少量样本中学习归纳的能力。
[0003]为了解决训练样本不足的问题,研究人员提出了小样本学习算法,希望利用领域外的知识和少量的标注数据去学习一个能够对未知类别具有良好判别能力的模型。小样本学习在图像领域研究比较多,最近,在自然语言处理领域 ...
【技术保护点】
【技术特征摘要】
1.一种小样本意图识别方法,其特征在于按下列步骤进行:a、获取意图识别数据集,对数据集进行处理,构建小样本意图识别数据集,其中构建小样本意图识别数据集是将整个数据集划分为训练集、辅助训练集和测试集;b、提取句子的语义信息,在每个数据集上利用掩码语言模型任务,继续预训练,得到用于编码的BERT模型;之后在句子的开始位置添加特殊标记[CLS],结束位置添加特殊标记[SEP],使用BERT语言模型进行编码,最终取[CLS]位置处的输出向量作为整个句子的语义表示,将句子编码为高维特征向量;c、利用辅助类中样本之间的多样性特征,选取一些辅助类中的样例对,同一组样例对属于同一个意图,样例对的内部差异性作为样本之间的多样性特征,在高维空间中生成样本的多样性特征;d、将步骤c生成的多样性特征与原句子向量进行融合,获取句子的增强特征向量,对于每一个生成的多样性特征,与原句子向量进行残差连接,随后进行层次标准化,得到新特征向量,将目标句子对应的多个新特征向量取平均后,与原句子向量拼接,输入一个线性层,得到最终的句子增强特征向量,将属于同一意图的所有增强特征向量的平均值作为该意图的原型向量表示;e、计算查询步骤d中的句子的增强特征向量与目标类别的原型向量之间的相似度,实现对查询句子的分类。2.根据权利要求1所述的小样本意图识别方法,其特征在于,步骤a中训练集、辅助训练集和测试集中的句子分别属于不同的意图;在训练和测试时会构建多组不同的元任务,每个元任务包含支持集、查询集和辅助集;辅助集由多组样例对组成,一组样例对由来自同一意图的两个样例组成。3.一种小样本意图识别装置,其特征在于该装置是由小样本数据集构建模块、语义编码器模块、多样性特征生成模块、特征融合模块和相似性分类模块组成,其中:小样本数据集构建模块:获取意图识别数据集,对数据集进行处理,构建小样本意图识别数据集,具体包括数据集切分单元,用于将整个数据集划分为训练集、辅助训练集和测试集;元任务...
【专利技术属性】
技术研发人员:周喜,杨奉毅,马博,王轶,王磊,赵凡,
申请(专利权)人:中国科学院新疆理化技术研究所,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。