【技术实现步骤摘要】
一种基于投影梯度下降和标签平滑的文本意图识别方法及系统
本专利技术涉及自然语言处理问答系统领域，具体涉及一种基于投影梯度下降和标签平滑的文本意图分类方法及系统。
技术介绍
伴随着大量公开可利用的网上在线问答语料库，问答系统受到了来自工业界和学术界研究者的关注。问答系统通常是基于满足B端企业需求的智能化产品，可以显著提高工作效率，为客服人员减压。其最大的隐性价值是在实际场景中自动积累标准化后的数据，在挖掘客户服务价值信息中降低成本、提高效率，也可以用于未来的精准营销和产品升级。问答系统的典型应用是对某一领域的知识进行问答，也称为单轮对话或常见问题解答（FAQ），即直接根据用户的问题给出准确的答案。本专利技术的主要研究领域，是问答系统中最核心的技术——意图识别。基于庞大的知识库和问答语境，模型被要求能根据用户询问的内容，精准识别意图，并与知识库中的标准问匹配，返回最合理的答案。一个智能问答模型，需要能够准确理解用户意图，具备一定的上下文解析能力，并快速完成检索。目前，主流的意图识别技术，主要包含两种方法：基于词典...
【技术保护点】
1.一种基于投影梯度下降和标签平滑的文本意图识别方法，其特征在于，包括以下步骤：/n步骤1：构建预训练语言模型，包括Embedding层、12层Transformer网络和分类层；/n步骤2：针对训练样本集中的样本语句，首先按字符分割进行独热编码，然后通过
Embedding层转换为固定长度的文本嵌入向量
【技术特征摘要】
1.一种基于投影梯度下降和标签平滑的文本意图识别方法，其特征在于，包括以下步骤：
步骤1：构建预训练语言模型，包括Embedding层、12层Transformer网络和分类层；
步骤2：针对训练样本集中的样本语句，首先按字符分割进行独热编码，然后通过
Embedding层转换为固定长度的文本嵌入向量；
步骤3：在Embedding层使用投影梯度下降算法添加满足L2约束的扰动，得到对抗样本
的文本嵌入向量；
步骤4：将对抗样本的文本嵌入向量作为12层Transformer网络的输入，得到对抗样
本的语义向量；
步骤5：使用标签平滑算法将样本语句的意图标签y进行缩放，得到平滑后的意图标签；
步骤6：针对平滑后的意图标签设计目标函数，采用前向传播和梯度反向传播算法对
预训练语言模型进行二次训练，使用梯度下降法更新模型参数，得到训练好的语言模型；
步骤7：采用训练好的语言模型读取待识别文本语句的独热编码，输出意图识别结果。
2.根据权利要求1所述的基于投影梯度下降和标签平滑的文本意图识别方法，其特征在于，所述的步骤3具体为：
在Embedding层使用投影梯度下降算法添加满足L2约束的扰动，扰动的约束空间满足：
其中，表示扰动的约束空间，为约束空间半径，为约束空间的半径取值集合，为预
先设置的扰动半径，表示L2范式；
在扰动空间内共进行T扰动，其中第t+1次扰动后得到的对抗样本的文本嵌入向量表示
为，计算公式为：
其中，为增加一小步扰动的步长，T是超参数，表示连续乘积符号；表示训练样本
集中样本语句的文本嵌入向量，表示进行了t次扰动后得到的对抗样本的文本嵌入向量；表示t次扰动时嵌入向量的偏导，表示损失函数，表示L对的偏微分，表示
训练样本集中样本语句的意图标签。
3.根据权利要求1所述的基于投影梯度下降和标签平滑的文本意图识别方法，其特征在于，所述的步骤5具体为：
使用标签平滑算法将样本语句的意图标签进行缩放，缩放公式为：
其中，K为意图标签的类别数量，为第i个样本的意图标签，表示为，=0或1，当=0时表示第i个样本不属于第k个意图，当=1时表示第i个样本属于第k个
意图；是平滑后的意图标签，，表示第i个样本属于第k个意图的
概率。
4.根据权利要求1所述的基于投影梯度下降和标签平滑的文本意图识别方法，其特征在于，步骤6所述的目标函数具体为：
其中，N为样本总数，K为意图标签的类别数量，表示平滑后的第i个样本属于...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。