一种智能质检的工单评分方法技术

一种智能质检的工单评分方法，属于数据处理技术领域，用于解决客服工单评分不能进行全量准确的质检，存在较大误差的问题，工单评分方法包括：获取文本信息最终输入向量FTemb、人工特征输出向量FEmb、HGAT输出向量FGemb；将文本信息最终输入量FTemb、人工特征输出向量FEmb、HGAT输出向量FGemb分别进行concat操作得到第一分类向量和第二分类向量的Logit向量；采用损失函数分别对第一分类向量和第二分类向量进行计算；采用交叉熵损失函数对分别对Logit向量进行计算得到对应的交叉熵损失值和加权的最终损失值；对工单的优劣程度进行预测，根据其概率值判断是否为问题工单。本发明专利技术的工单评分方法可确定工单的优劣程度，保障客服服务工单质量，同时提升识别准确率。同时提升识别准确率。同时提升识别准确率。

【技术实现步骤摘要】
一种智能质检的工单评分方法


[0001]本专利技术属于数据处理
，具体涉及一种智能质检的工单评分方法。

技术介绍

[0002]在智能客服领域中，自动化的对答是目前众多工业界的研究对象，但是对人工客服服务的工单进行质量管理也是很重要的事情；对人工服务工单进行质检评分不仅能够保障人工服务的质量而且可以作为日常考核的依据。目前对人工服务工单进行评分的最常用办法是“用户满意度”即在服务结束时让用户对服务情况进行评分；但是这种方法不能进行全量准确的质检，存在着较大的误差，因此有必要探索一种新的客服工单评分方式。
[0003]目前质检中的工单评分模型常是传统的基于机器学习或者深度学习的二分类模型，类似于CTR相关模型；比如LR模型、LR+GBDT、FM/FFM、WDL、DeepFM等诸多机器学习或深度学习模型。如LR模型具有结构简单、易于并行化实现、可解释性强等优点而被广泛使用，但是它是线性模型本，不能处理特征和目标之间的非线性关系，因此模型效果依赖于特征工程。另外，基于树的模型(GBDT)能够自动学习特征交叉组合，但是却不适合学习高度稀疏数据的特征组合，一方面高度稀疏数据的特征维度一般很高，这时基于树的模型学习效率很低，甚至不可行；另一方面树模型也不能学习到训练数据中很少或没有出现的特征组合。FM通过特征对之间的隐变量内积来提取特征组合，能学习到二阶的特征组合，但是对于复杂的特征组合无法学习；DeepFM则是将FM应用在神经网络中，模型可以以端对端的方式来学习不同阶的组合特征关系，并且不需要其他特征工程；DCN在学习特定阶数组合特征的时候效率非常高，而且同样不需要特征工程，引入的额外的复杂度也是微乎其微的。
[0004]而且，目前的工单评分模型中如LR、GBDT、FM等机器学习模型需要构建人工特征，并且对于高阶的特征组合的学习有所欠缺，而DeepFM、DCN等深度学习模型考虑了不同阶的特征关系，不需要引入特征工程；但是在工单评分实践中没有考虑到对会话级的文本信息的抽取与应用；同时没有考虑到特征间、样本
‑
特征、样本
‑
样本等诸多额外的信息。

技术实现思路

[0005]为解决上述问题，本专利技术提供一种智能质检的工单评分方法。
[0006]本专利技术采用如下技术方案：
[0007]一种智能质检的工单评分方法，所述方法包括：
[0008]步骤一：获取文本信息最终输入向量FTemb、人工特征输出向量FEmb、HGAT输出向量FGemb，其中：
[0009]所述文本信息最终输入向量FTemb的获取方法为：获取工单会话，然后通过多轮文本编码层将工单会话进行编码，将工单会话中的词向量组转换为句向量，然后将多个句向量交互后进行编码得到文本信息最终输入向量FTemb；
[0010]所述人工特征输出向量FEmb的获取方法为：获取人工提取特征，然后通过人工特征编码层对输入的人工提取特征进行编码运算，得到人工特征输出向量FEmb；
[0011]所述HGAT输出向量FGemb的获取方法为：对人工提取特征进行异构图构建，然后使用HGAT异构图编码器对异构图进行编码，得到HGAT输出向量FGemb；
[0012]步骤二：将文本信息最终输入量FTemb和人工特征输出向量FEmb进行concat操作得到第一分类向量ClsEmb1＝[FTemb:FEmb]，将人工特征输出向量FEmb与HGAT输出向量FGemb进行concat操作得到第二分类向量ClsEmb2＝[FGemb:FEmb]；
[0013]步骤三：采用损失函数分别对第一分类向量和第二分类向量进行计算得出第一分类向量和第二分类向量的Logit向量Logit1＝R
c
和Logit2＝R
c
，其中，C为分类类别数量；
[0014]步骤四：采用交叉熵损失函数对分别对Logit1和logit2进行计算得到对应的交叉熵损失值loss1和loss2，其中：CE为交叉熵损失函数，y为工单的真实标签；
[0015]然后得到加权的最终损失值Loss＝w
l
*loss1+(1
‑
w
l
)*loss2；
[0016]步骤五：对工单的优劣程度进行预测，通过融合计算Logit1＝R
c
和Logit2＝R
c
的分值获取该工单的质检结果分布，所述融合计算具体为cls＝softmax(Logit1+Logit2)，其中cls∈R
c
代表该工单属于C个类别的概率，根据其概率值作为问题工单的判断依据。
[0017]可选地，所述步骤一中，人工特征编码层包括：DCN编码结构和Transformer编码结构，对人工输入的人工提取特征进行编码，所述人工提取特征经过DCN编码结构和Transformer编码结构得到的emb进行concat操作得到人工特征输出向量FEmb＝[CEmb:MEmb:TEmb]。
[0018]可选地，所述人工提取特征包括：Feature Embedding、Text Embedding和/或Audio Feature。
[0019]可选地，所述步骤一中，多轮文本特征编码层包括：句子编码器、交互层和Session编码层，所述句子编码器对工单会话进行进行编码生成句向量，所述交互层对生成的句向量进行交互操作得到句向量组，使得用户和客服的文本信息得以交互融合，所述Session编码层对句向量组编码后得到Session编码向量，然后采用人工特征的最终向量Femb与Session编码向量做门控过滤得到文本信息的最终输入量FTemb。
[0020]可选地所述步骤一中，工单会话包括：用户询问会话：U＝{u1,u2,...,u
n
}和客服回复会话：A＝{a1,a2,...,a
n
}，其中：u
i
,a
i
为单轮的句子输入，n为会话轮数，u
i
/a
i
＝{w1,w2,...w
m
}，表示每轮句子u
i
,a
i
由m个词w
i
组成。
[0021]可选地，所述句子编码器分别对工单会话中的用户询问会话U和客服回复A进行编码，其中，所述句子编码器对用户询问会话进行编码得到用户询问的句向量UEmb＝{ue1,ue2,...,ue
n
}，所述句子编码器对客服回复会话进行编码得到客服回复的句向量AEmb＝{ae1,ae2,...,ae
n
}，其中ue
i
∈R
d
,ae
i
∈R
d
，d为句向量维度。
[0022]可选地，所述交互层的交互操作采用Multi
‑
head Attention的方式对句向量UEmb,AEmb进行交互操作，在使用Multi
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能质检的工单评分方法，其特征在于，所述方法包括：步骤一：获取文本信息最终输入向量FTemb、人工特征输出向量FEmb、HGAT输出向量FGemb，其中：所述文本信息最终输入向量FTemb的获取方法为：获取工单会话，然后通过多轮文本编码层将工单会话进行编码，将工单会话中的词向量组转换为句向量，然后将多个句向量交互后进行编码得到文本信息最终输入向量FTemb；所述人工特征输出向量FEmb的获取方法为：获取人工提取特征，然后通过人工特征编码层对输入的人工提取特征进行编码运算，得到人工特征输出向量FEmb；所述HGAT输出向量FGemb的获取方法为：对人工提取特征进行异构图构建，然后使用HGAT异构图编码器对异构图进行编码，得到HGAT输出向量FGemb；步骤二：将文本信息最终输入量FTemb和人工特征输出向量FEmb进行concat操作得到第一分类向量ClsEmb1＝[FTemb:FEmb]，将人工特征输出向量FEmb与HGAT输出向量FGemb进行concat操作得到第二分类向量ClsEmb2＝[FGemb:FEmb]；步骤三：采用损失函数分别对第一分类向量和第二分类向量进行计算得出第一分类向量和第二分类向量的Logit向量Logit1＝R
c
和Logit2＝R
c
，其中，C为分类类别数量；步骤四：采用交叉熵损失函数对分别对Logit1和logit2进行计算得到对应的交叉熵损失值loss1和loss2，其中：CE为交叉熵损失函数，y为工单的真实标签；然后得到加权的最终损失值Loss＝w
l
*loss1+(1
‑
w
l
)*loss2；步骤五：对工单的优劣程度进行预测，通过融合计算Logit1＝R
c
和Logit2＝R
c
的分值获取该工单的质检结果分布，所述融合计算具体为cls＝softmax(Logit1+Logit2)，其中cls∈R
c
代表该工单属于C个类别的概率，根据其概率值作为问题工单的判断依据。2.根据权利要求1所述的工单评分方法，其特征在于，所述步骤一中，人工特征编码层包括：DCN编码结构和Transformer编码结构，对人工输入的人工提取特征进行编码，所述人工提取特征经过DCN编码结构和Transformer编码结构得到的emb进行concat操作得到人工特征输出向量FEmb＝[CEmb:MEmb:TEmb]。3.根据权利要求2所述的工单评分方法，其特征在于，所述人工提取特征包括：Feature Embedding、Text Embedding和/或Audio Feature。4.根据权利要求1所述的工单评分方法，其特征在于，所述步骤一中，多轮文本特征编码层包括：句子编码器、交互层和Session编码层，所述句子编码器对工单会话进行进行编码生成句向量，所述交互层对生成的句向量进行交互操作得到句向量组，使得用户和客服的文本信息得以交互融合，所述Session编码层对句向量组编码后得到Session编码向量，然后采用人工特征的最终向量Femb与Session编码向量做门控过滤得到文本信息的最终输入量FTemb。5.根据权利要求4所述的工单评分方法，其特征在于，所述步骤一中，工单会话包括：用户询问会话：U＝{u1,u2,...,u
n
}和客服回复会话：A＝{a1,a2,...,a
n
}，其中：u
i
,a
i
为单轮的句子输入，n为会话轮数，u
i
/a
i
＝{w1,w2,...w
m
}，表示每轮句子u
i
,a
i
由m个词w
i
组成。
6.根据权利要求5所述的工单评分方法，其特征在于，所述句子编码器分别对工单会话中的用户询问会话U和客服回复A进行编码，其中，所述句子编码器对用户询问会话进行编码得到用户询问的句向量UEmb＝{ue1,ue2,...,ue
n
}，所述句子编码器对客服回复会话进行编码得到客服回复的句向量AEmb＝{ae1,ae2,...,ae
n
}，其中ue
i
∈R
d
,ae
i
∈R
d
，d为句向量维度。7.根据权利要求6所述的工单评分方法，其特征在于，所述交互层的交互操作采用Multi
‑
head Attention的方式对句向量UEmb,AEmb进行交互操作，在使用Multi
‑
headAttention计算score时采用一个MaskAttention矩阵对U和A进行位置掩码，具体如下：MA＝(1
‑
ma)*
‑
1e
12
；其中ma是位置掩码矩阵，MA的元素值为0/1，1代表参考该位置的向量；交互操作后得到两种句向量组U
sentEmb
＝{ue1,ue2,...,ue
n
}和A
sentEmb
＝{ae1,ae2,...,ae
n
}，以及对两种向量组进行逐轮的Concat操作得到的合并向...

【专利技术属性】
技术研发人员：谭旭，吴俊江，曹维，吴璞，
申请(专利权)人：深圳信息职业技术学院，
类型：发明
国别省市：