意图识别模型训练方法、意图识别方法以及相关装置制造方法及图纸

本发明专利技术提供一种意图识别模型训练方法、意图识别方法以及相关装置，该方意图识别模型训练方法包括：利用带标签的训练样本数据对卷积神经网络进行初步训练；采用条件变分自编码器对所述带标签的训练样本数据进行数据增强得到带标签的扩充样本数据；利用所述带标签的扩充样本数据对经过初步训练的卷积神经网络进行再训练，得到意图识别模型。其中，通过采用条件变分自编码器对所述带标签的训练样本数据进行数据增强得到带标签的扩充样本数据，然后利用所述带标签的扩充样本数据对经过初步训练的卷积神经网络进行再训练，能够在利用少量精确标注的训练语料的基础上，提高模型精度，降低人工成本。

Intention recognition model training method, intention recognition method and related devices

【技术实现步骤摘要】
意图识别模型训练方法、意图识别方法以及相关装置
本专利技术涉及人工智能
，尤其涉及一种意图识别模型训练方法、意图识别方法以及相关装置。
技术介绍
近年来，数据资源呈现爆炸式增长，其中蕴含着用户通过自然语言表达出的各种各样的需求，这些需求在一定范围内具有“主观性”，例如，用户通过Google、百度等搜索引擎查询信息的需求，在查询日志中记录了人们从互联网搜索需要了解的查询信息，可以称之为查询意图；用户在一定购买动机的支配下，通过文本内容表达出的对产品或服务的购买意愿，可以称之为消费意图；消费者愿意将自己日常生活费的部分资金用来购买投资理财产品，通过与客户经理的交互所展现的对银行理财产品的兴趣或需求，可以称之为财富管理意图等。我们以财富管理意图为例，从理财经理和客户的交互数据当中发现，当客户经理询问“有一款理财产品想给您推荐”时，用户在沟通中倾向于表达其对理财产品是否有需求，具体如表1所示：表1理财场景中的用户意图示例对话人示例意图类别客户1这是个什么类型的产品？显式意图客户2哦，我现在可以考虑考虑的显式意图客户3我不需要显式无意图客户4哦，我现在不考虑显式无意图客户5我现在有点忙，等会联系隐式无意图客户6谢谢，我有需要的话自己会去查看的隐式无意图<br>意图可以划分成“显式意图”、“显式无意图”和“隐式无意图”三大类。显式意图是指在客户所表达的语句当中显式的指出想要了解该理财产品或服务，具有较高的潜在购买意愿，例如表1中客户1和客户2这两个例子。显式无意图是指客户所表达的语句当中显式的指出对该产品或服务不感兴趣或者没有购买的意愿，例如表1中客户3和客户4这两个例子。隐式无意图是指从客户所表达的语句中不能明确判断其当前是否对当前理财产品或服务感兴趣、是否需要购买该理财产品或服务，例如表1中客户5和客户6这个例子。针对客户所表达的不同意图，客户经理需采取差异化的回复或跟进策略，以最大化地提升理财产品的营销成功率。例如针对显式意图，可以及时进行产品介绍；针对显式无意图则及时中止营销；针对隐式无意图，则可以后期继续跟进。基于此，识别出对话交互过程中客户对某理财产品或服务的意图，对于吸收优质客户和增加银行的中间业务收入等方面将会具有重要意义。目前，研究者通常使用模式匹配的方法，例如，基于依存句法分析结果构建模板识别显式意图，模式匹配的方法通过挖掘句子中是否出现显式意图的意图模板来确定句子是否具有意图，对正式非口语化的文本具有很高的识别准确率，对于非正式的文本识别精度差，而客户的意图往往以口语化的形式表达。为解决上述技术问题，现有技术中提供一种基于有指导的分类方法识别客户意图，具体地，将模板、n-gram等作为分类的特征，联合其他特征训练分类器来完成句子的显式意图识别，但是该方法依赖于大量的精确标注的训练语料，而人工标注语料需要耗费大量的人工成本。
技术实现思路
针对现有技术中的问题，本专利技术提供一种意图识别模型训练方法和装置、意图识别方法和装置、电子设备以及计算机可读存储介质，能够至少部分地解决现有技术中存在的问题。为了实现上述目的，本专利技术采用如下技术方案：第一方面，提供一种意图识别模型训练方法，包括：利用带标签的训练样本数据对卷积神经网络进行初步训练；采用条件变分自编码器对所述带标签的训练样本数据进行数据增强得到带标签的扩充样本数据；利用所述带标签的扩充样本数据对经过初步训练的卷积神经网络进行再训练，得到意图识别模型。进一步地，所述条件变分自编码器包括：用于将语句向量压缩为隐变量的编码器以及用于将隐变量解压缩重构为扩充语句向量的解码器；所述采用条件变分自编码器对所述带标签的训练样本数据进行数据增强得到带标签的扩充样本数据包括：将一训练样本转换为语句向量；将所述语句向量以及预设约束条件输入所述编码器得到所述隐变量；将所述隐变量以及所述预设约束条件输入所述解码器得到所述扩充句子向量；将所述扩充句子向量转换为一扩充样本；其中，所述扩充样本的标签与所述训练样本的标签相同。进一步地，所述编码器采用RNN实现。进一步地，所述解码器采用神经网络实现。进一步地，意图识别模型训练方法还包括：获取条件变分自编码器训练数据；利用所述条件变分自编码器训练数据对所述条件变分自编码器进行训练。第二方面，提供一种意图识别方法，包括：获取待识别意图数据；将所述待识别意图数据输入如上述的意图识别模型训练方法训练后的意图识别模型，并将所述意图识别模型的输出作为所述待识别意图数据的意图。第三方面，提供一种意图识别模型训练装置，包括：初步训练模块，利用带标签的训练样本数据对卷积神经网络进行初步训练；数据增强模块，采用条件变分自编码器对所述带标签的训练样本数据进行数据增强得到带标签的扩充样本数据；再训练模块，利用所述带标签的扩充样本数据对经过初步训练的卷积神经网络进行再训练，得到意图识别模型。第四方面，提供一种意图识别装置，包括：待识别数据获取模块，获取待识别意图数据；意图识别模块，将所述待识别意图数据输入如上述的意图识别模型训练方法训练后的意图识别模型，并将所述意图识别模型的输出作为所述待识别意图数据的意图。第五方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的意图识别模型训练方法或者上述的意图识别方法的步骤。第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的意图识别模型训练方法或者上述的意图识别方法的步骤。本专利技术提供的意图识别模型训练方法和装置、意图识别方法和装置、电子设备以及计算机可读存储介质，该方法包括：利用带标签的训练样本数据对卷积神经网络进行初步训练；采用条件变分自编码器对所述带标签的训练样本数据进行数据增强得到带标签的扩充样本数据；利用所述带标签的扩充样本数据对经过初步训练的卷积神经网络进行再训练，得到意图识别模型。其中，通过采用条件变分自编码器对所述带标签的训练样本数据进行数据增强得到带标签的扩充样本数据，然后利用所述带标签的扩充样本数据对经过初步训练的卷积神经网络进行再训练，能够在利用少量精确标注的训练语料的基础上，提高模型精度，降低人工成本。为让本专利技术的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附本文档来自技高网...

【技术保护点】
1.一种意图识别模型训练方法，其特征在于，包括：/n利用带标签的训练样本数据对卷积神经网络进行初步训练；/n采用条件变分自编码器对所述带标签的训练样本数据进行数据增强得到带标签的扩充样本数据；/n利用所述带标签的扩充样本数据对经过初步训练的卷积神经网络进行再训练，得到意图识别模型。/n

【技术特征摘要】
1.一种意图识别模型训练方法，其特征在于，包括：
利用带标签的训练样本数据对卷积神经网络进行初步训练；
采用条件变分自编码器对所述带标签的训练样本数据进行数据增强得到带标签的扩充样本数据；
利用所述带标签的扩充样本数据对经过初步训练的卷积神经网络进行再训练，得到意图识别模型。


2.根据权利要求1所述的意图识别模型训练方法，所述条件变分自编码器包括：用于将语句向量压缩为隐变量的编码器以及用于将隐变量解压缩重构为扩充语句向量的解码器；
所述采用条件变分自编码器对所述带标签的训练样本数据进行数据增强得到带标签的扩充样本数据包括：
将一训练样本转换为语句向量；
将所述语句向量以及预设约束条件输入所述编码器得到所述隐变量；
将所述隐变量以及所述预设约束条件输入所述解码器得到所述扩充句子向量；
将所述扩充句子向量转换为一扩充样本；
其中，所述扩充样本的标签与所述训练样本的标签相同。


3.根据权利要求2所述的意图识别模型训练方法，所述编码器采用RNN实现。


4.根据权利要求2所述的意图识别模型训练方法，所述解码器采用神经网络实现。


5.根据权利要求1所述的意图识别模型训练方法，其特征在于，还包括：
获取条件变分自编码器训练数据；
利用所述条件变分自编码器训练数据对所述条件变分自编码器进行训练。


6.一种意图识别...

【专利技术属性】
技术研发人员：付博，顾远，袁晟君，李宸，王雪，张晨，谢隆飞，李亚雄，
申请(专利权)人：中国建设银行股份有限公司，建信金融科技有限责任公司，
类型：发明
国别省市：北京;11