面向制造技术

面向

【技术实现步骤摘要】
面向RNN驱动的电商智能客服对话意图识别方法和系统


[0001]本专利技术涉及文本识别
、
文本分类
、
意图识别
、
智能机器人
、
深度学习测试领域，主要涉及一种面向
RNN
驱动的电商智能客服对话意图识别方法和系统
。

技术介绍

[0002]由于神经网络模型在解决许多现实世界的问题上表现优异，如自动驾驶汽车
、
恶意软件检测
、
情感分析和机器翻译，因此越来越受欢迎
。
同时，神经网络被证明容易受到诸如对抗性攻击和嵌入式后门等问题的影响
。
例如，
RNN
驱动的对话系统，亚马逊的智能音箱
Alexa
可能会被一些不好的边缘输入情况所欺骗，从而发出令人毛骨悚然的笑声，这让老人和儿童感到害怕，影响他们的生活
。
[0003]电商智能客服对话系统是一个利用人工智能技术解决电商客户问题的工具
。
它利用自然语言处理和机器学习技术，可以与用户进行实时对话，提供有关订单
、
产品
、
退款等方面的帮助和支持
。
电商智能客服对话系统在处理大规模客户问题时存在速度上的天然优势，但依然存在一些问题和挑战
。
常规的电商智能客服对话系统仅能理解一些客户提出的简单的问题，但是对于复杂或者需要上下文情景的问题，系统还难以理解或者正确解读客户的意图，这将导致用户体验感差，甚至造成误解进而导致更严重的后果
。
因此在将一个电商智能客服系统上线之前，对这一系统进行测试是有必要的，这项工作针对以循环神经网络驱动的电商客服智能对话系统进行测试研究
。
[0004]RNN
全称为循环神经网络
(Recurrent Neural Network)
，是一种基于神经网络的模型，相对于传统的前馈神经网络，
RNN
允许信息在网络中进行循环传递，这使得它在处理序列数据时具有很强的能力
。RNN
的特点是具有
"
记忆性
"
，这种记忆性是通过网络内部的
"
循环连接
"
来实现的，每个时间步的输出会被传递到下一个时间步的输入中，这种循环结构允许
RNN
网络能够在处理序列数据时具有短期记忆和长期记忆
。RNN
有不同的变体，其中最常用的是长短时记忆网络
(LSTM)
和门控循环单元
(GRU)。
[0005]RNN
驱动的电商智能客服对话系统产生的错误行为可能导致误解，影响在线交易质量
。
因此，针对
RNN
驱动的电商智能客服对话系统意图识别分类模型的测试和优化已经成为一项紧迫而富有挑战性的任务
。
但是，为测试智能客服对话系统而生成的高质量的数据集需要大量的人力来标记处理，这使得这个过程既昂贵又费时
。
而将从使用场景中收集的数据直接用于模型的测试和优化是低效且不切实际的
。
因为在大量的数据集中，只有少量的能触发系统潜在错误的案例，这些案例对测试
RNN
驱动的系统尤为关键
。
[0006]受传统软件测试中代码覆盖率有效性的启发，研究人员提出了几种神经元覆盖率
(NC)
标准，以评估测试的充分性并指导测试选择，从而降低标注成本，节省计算资源
。
最近，基于置信度的
Deep Gini
和基于特征的
PRIMA
被提出，用来确定测试的优先次序
。
然而，大多数现有的神经元覆盖标准主要是为前馈神经网络
(FNN)
设计的，如卷积神经网络
(CNN)
和全连接神经网络
(FC)。
这些标准的一般原理是通过分别计算每个层和神经元的激活度来计算覆盖率
。
[0007]专利
CN111061626A(
基于神经元激活频率分析的测试用例优先级排序方法
)
提出了一种基于神经元激活频率分析的测试用例优先级排序方法
。
该专利包含一下步骤：
(1)
确定神经网络模型对于计算机软件每个类别在测试过程中所使用的数据的频繁激活神经元集合与非频繁激活神经元集合；对于某一类的数据，频繁激活神经元指在神经网络的运行过程中，该神经网络的神经元能被大多数正确分类的数据所激活，非频繁激活神经元则是指神经网络中除去该类所有频繁激活神经元外的其他神经元；
(2)
将待排序的计算机软件测试用例输入神经网络模型，并按照其激活对应类别的“频繁激活神经元集合”中神经元的数目与激活“非频繁激活神经元集合”的数目之比，对计算机软件测试用例进行优先级排序
。
[0008]但是，由于
RNN
和
FNN
在工作性质和网络结构上的差异，上述方法很难被移植到
RNN
这个典型的反馈神经网络上
。
另外，目前对神经元覆盖的研究仍处于争议阶段，对其有效性和使用场景还在讨论当中
。
[0009]目前只有少数测试标准是针对
RNN
驱动的系统模型提出来的，这些标准是通过分析模型在处理不同测试案例时的神经元状态来计算的
。
[0010]2022
年发表在
ICSE
上的一篇名为
《DeepState:Selecting Test Suites to Enhance the Robustness of Recurrent Neural Networks》
的文章提出了一种基于隐藏状态变化率和变化趋势的测试选择方法
。
该方法直接读取模型的隐藏状态，根据隐藏状态的输出随时间步骤的变化来评估测试样例在模型中的不确定性程度，与其他基于隐藏神经元输出值判断神经元激活的覆盖标准相比，该方法可以更好地捕捉到样例基于时间步的状态转换
。
同时，对于具有相同变化率的样例，根据其变化趋势的相似性进行选择，减少了筛选样例的容量，减缓再训练的消耗
。
[0011]该文章提出的方法与基于覆盖率的方法相比，表现出良好的性能，但是在实际生产中，存在转折词汇导致相邻两个隐藏状态的分类结果发生改变，而实际上并没有导致最终模型结果出现变化的可能性
。
实际上他只考虑了状态的识别结果发生变化，但是没有刻画出状态结果的可疑度，指标设置粗糙，导致最终的筛选结果效果欠佳
。
[0012]根据对
RNN
驱动的电商智能客服对话系统意图识别模型的理解，在模型中表现不好的样例大量聚集在类别中心的边缘，它们的特点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
面向
RNN
驱动的电商智能客服对话意图识别方法，其特征在于，包括如下步骤：
S1、
生成原始分类网络：采集公开的京东和淘宝客服对话语料库，构建循环神经网络分类模型，训练得到一个电商智能客服意图识别模型；
S2、
生成测试样例：以公开客服对话语料库中的测试数据集作为种子数据，分别生成字符级
、
词语级
、
句子级的测试样例
。S3、
根据测试指标筛选测试样例：在每个生成的测试样例上计算测试筛选指标，按照筛选指标对生成的样例进行排序，排名靠前的样例就是目标样例；
S4、
测试智能客服意图识别网络：将筛选出来的各个意图类别的样例输入电商智能客服意图识别模型进行测试，得到模型的平均精度，判断筛选样本的质量，分析测试结果；
S5、
增强分类模型：通过多次筛选和测试得到高质量的测试样例，加入到训练数据集中，对原模型进行增强型重训练；
S6、
输入新的客户咨询数据，实现客服系统高精度识别用户意图
。2.
根据权利要求1所述的面向
RNN
驱动的电商智能客服对话意图识别方法，其特征在于，所述步骤
S1
中，为了验证方法的通用性，构建了不同基础结构的
RNN
驱动的电商智能客服对话系统意图识别分类模型，分别包含
LSTM
，
GRU
，和
SRNN
三种不同的
RNN
结构
。3.
根据权利要求1所述的面向
RNN
驱动的电商智能客服对话意图识别方法，其特征在于，步骤
S1
将所述公开的电商智能客服数据集输入所述多种循环神经网络模型包括：
S1
‑
1、
将公开的京东和淘宝客服对话语料库进行清洗，删去单个字符和数字，全部转化为小写字母，将对话内容拆分成单个词组，对词组进行编码，将每个文本样本使用词组编码组成一个离散向量；
S1
‑2：分别将编码向量输入三种不同的网络模型，计算损失函数，更新模型参数，反复执行此步骤；
S1
‑3：将输出的向量映射到数据意图识别的各个种类上，根据排序得到种类识别结果
。4.
根据权利要求2所述的面向
RNN
驱动的电商智能客服对话意图识别方法，其特征在于：所述步骤
S2
中，按照文本数据的构成要素，以客服对话语料库中的测试数据集作为种子数据，生成字
、
词
、
句三种等级的样例，包含以下步骤：通过随机拼写错误生成字符级变化的样例，通过同义词替换生成词语级变化的样例，通过反向翻译方法生成句子级样例，将这些生成的测试样例和对应的类别信息对应构成待筛选的数据集
。5.
根据权利要求1所述的面向
RNN
驱动的电商智能客服对话意图识别方法，其特征在于：步骤
S3
中所述根据测试指标筛选测试样例包括：
S3
‑
1、
将生成的待筛选语料库输入到训练过的模型中，根据循环神经网络的状态特征，记录样例在意图识别模型中的各个隐藏状态向量；
S3
‑
2、
将样例的每个状态向量进行
softmax
处理，得到每个状态的类别概率序列，对这个概率序列进行排序，将排名第一和排名第二的概率值的比值作为这一个隐藏状态的可疑度，至此，构成样例的隐藏状态可疑度序列；
S3
‑
3、
按照隐藏状态的重要度升序特点，对样例的隐藏状态可疑度序列中的值增加一个随隐藏状态深度加深而变化的权重，计算隐藏状态的加权可疑度序列；
S3
‑
4、
将上述加权的隐藏状态可疑度序列进行求和处理，所得的结果作为样例的筛选
指标
。
计算出所有样例的加权可疑度和之后，按照升序排序，排名越靠前的样本，表明在分类模型中不确定性越高，就是目标样本
。6.
根据权利要求4所述的面向
RNN
驱动的电商智能客服对话意图识别方法，其特征在于，步骤
S3
‑2中

【专利技术属性】
技术研发人员：翔云，李香玉，朱艺沁，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：