运营商智能定责方法及装置制造方法及图纸

本申请提供一种基于BERT+CRF的贝叶斯神经网络的运营商智能定责方法及装置，所述方法包括步骤：获取通信运营商的投诉工单语料库，基于所述投诉工单语料库对工单进行数据清洗，得到清洗好的工单；将清好的工单输入至BERT模型，得到训练数据的词向量；采用CRF算法对词向量进行特征提取，得到特征词序列；将特征词序列输入贝叶斯神经网络模型进行训练，调优参数，形成问题根因分析模型；根据问题根因分析模型对待定责的工单进行分析，确定责任归属。在本发明专利技术中，基于BERT+CRF的贝叶斯神经网络的运营商智能定责方法，能够结合词间和句间的语义，很好的识别投诉工单中的关键词，并通过关键词进行工单的智能定责，正确快速追踪到投诉责任的归属方。责任的归属方。责任的归属方。

【技术实现步骤摘要】
运营商智能定责方法及装置


[0001]本申请涉及深度学习领域，具体为一种基于BERT+CRF的贝叶斯神经网络的运营商智能定责方法及装置。

技术介绍

[0002]在运营商客服作业流程中，产生了大量的客户反馈意见，每天需要花费大量的人力物力进行意见的原因追踪和定责，对这些客户的投诉工单进行传统的人工定责时，需要花费大量的人力、物力和时间，且人工的定责效率较低。
[0003]关键词提取从最早期开始，主要是基于词典与规则的方法，它们依赖于语言学家的手工构造的规则模板，容易产生错误，不同领域间无法移植。因此，这种方法只能处理一些简单的文本数据，对于复杂非结构化的数据却无能为力。随后主要是基于统计机器学习的方法，这些方法包括隐马尔可夫模型(HMM)、最大熵模型(MEM)、支持向量机(SVM)和条件随机场(CRF)等。但是这些方法在特征提取方面仍需要大量的人工参与，且严重依赖于语料库，识别效果并非很理想。
[0004]所以，近些年来，深度学习被应用到中文关键词提取研究上。基于深度学习的方法，是通过获取数据的特征和分布式表示，避免繁琐的人工特征抽取，具有良好的泛化能力。深度学习出现了许多这个领域的研究，如LSTM
‑
CRF、BiLSTM
‑
CRF、CNN
‑
CRF和CNN
‑
BiLSTM
‑
CRF等许许多多神经网络模型，这些模型都在关键词提取上展现出了很好的效果。
[0005]然而，以上方法存在这样的一个问题:这些方法无法表征一词多义，因为它们主要注重词、字符或是词与词之间的特征提取，而忽略了词上下文的语境或语义，这样提取出来的只是一种不包含上下文语境信息的静态词向量，因而导致其实体识别能力下降。为解决该问题，现有技术提出来一种BERT进一步增强词向量模型泛化能力，充分描述字符级、词级、句子级甚至句间关系特征，更好地表征不同语境中的句法与语义信息。
[0006]又因为虽然人工神经网络能够准确做出预测，但也存在收敛速度慢、容易陷入局部最小化等问题，且贝叶斯神经网络可以更好避免过拟合。
[0007]鉴于此，克服该现有技术产品所存在的不足是本
亟待解决的问题。

技术实现思路

[0008]本申请主要解决的技术问题是提供一种基于BERT+CRF的贝叶斯神经网络的运营商智能定责方法及装置，基于BERT+CRF的贝叶斯神经网络的运营商智能定责方法，能够结合词间和句间的语义，很好的识别投诉工单中的关键词，并通过关键词进行工单的智能定责，正确快速追踪到投诉责任的归属方，更快的解决客户问题，提升工单处理效率，最终提升服务质量和用户满意度。
[0009]为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于BERT+CRF的贝叶斯神经网络的运营商智能定责方法，所述方法包括步骤：
[0010]S1：获取通信运营商的投诉工单语料库，基于所述投诉工单语料库对工单进行数
据清洗，得到清洗好的工单；
[0011]S2：将清好的工单输入至BERT模型，得到训练数据的词向量；
[0012]S3：采用CRF算法对词向量进行特征提取，得到特征词序列；
[0013]S4：将特征词序列输入贝叶斯神经网络模型进行训练，调优参数，形成问题根因分析模型；
[0014]S5：根据问题根因分析模型对待定责的工单进行分析，确定责任归属。
[0015]进一步地，所述获取通信运营商的投诉工单语料库，基于所述投诉工单语料库对工单进行数据清洗，得到清洗好的工单包括：
[0016]获取工单数据的产品类型、服务类型和服务内容；
[0017]对产品类型和服务类型进行规范化处理，使用下划线符号替换产品类型和服务类型中的正斜杠符号，使用连字符拼接产品类型和服务类型，生成工单类型；
[0018]对服务内容进行文本预处理，将所有的字母转换为小写，并使用Tokenizer对文本进行处理，得到处理后的数据；
[0019]将处理后的数据进行ecode处理，将处理后的数据转变为词嵌入、类型嵌入和位置嵌入，得到清洗好的工单。
[0020]进一步地，所述BERT模型采用双向Transformer作为编码器，以融合字左右两侧的上下文；
[0021]其中，Transformer采用了多头模式，以扩展模型专注于不同位置，增大注意力单元的表示子空间。
[0022]进一步地，所述BERT模型的编码单元中加入残差网络，如下式所示：
[0023][0024]其中，为经过残差网络后的输出，h
i
为不加入残差网络时多头注意力机制的输出，u
i
为多头注意力机制的输入；
[0025]按照如下公式计算多头注意力机制的输出，如下式所示：
[0026][0027][0028]Transformer结构中的全链接前馈网络有两层dense，其中，第一层的激活函数是ReLU，第二层是一个线性激活函数，其中，为多头注意力机制的输出，b是偏置向量，FNN是全链接前馈馈网络。
[0029]进一步地，所述采用CRF算法对词向量进行特征提取，得到特征词序列包括：
[0030]将BERT模型的输出作为CRF模块的输入，CRF能通过邻近标签的关系获得一个最优的预测序列，其中，给定条件随机场的观测序列f＝f1,f2,
…
,f
n
，状态序列y＝y1,y2,
…
,y
n
,y
i
∈{B,I,O}；
[0031]其中，在CRF模块中，给定观测序列f和状态序列y的条件概率分布如式所示：
[0032][0033][0034]其中，ω
j
为特征函数，γ(f)指所有可能的状态序列，和分别为权重和偏置。
[0035]进一步地，所述采用CRF算法对词向量进行特征提取，得到特征词序列包括：
[0036]CRF采用极大似然估计进行训练，得到条件概率最大的输出序列；
[0037][0038]经过CRF模块后，输出的是每一个工单的中的所有的特征词序列。
[0039]进一步地，所述将特征词序列输入贝叶斯神经网络模型进行训练，调优参数，形成问题根因分析模型包括：
[0040]通过贝叶斯神经网络将先验分布放置在其参数上，给定第i层的权值矩阵为w
i
；输入训练数据集后，输入数据转换为高斯分布，从而获得可能性更高的参数。
[0041]进一步地，所述将特征词序列输入贝叶斯神经网络模型进行训练，调优参数，形成问题根因分析模型包括：
[0042]预先定义1个似然分布p(y|x，w)，其中，x表示输入值、y表示输出值和w为神经网络的权值；
[0043]采用如下公式得到参数似然分布的后验概率函数，通过最大化后验概率获得参数点估计；
[0044]p(y
*
|x
*...

【技术保护点】

【技术特征摘要】
1.一种基于BERT+CRF的贝叶斯神经网络的运营商智能定责方法，其特征在于，所述方法包括步骤：S1：获取通信运营商的投诉工单语料库，基于所述投诉工单语料库对工单进行数据清洗，得到清洗好的工单；S2：将清好的工单输入至BERT模型，得到训练数据的词向量；S3：采用CRF算法对词向量进行特征提取，得到特征词序列；S4：将特征词序列输入贝叶斯神经网络模型进行训练，调优参数，形成问题根因分析模型；S5：根据问题根因分析模型对待定责的工单进行分析，确定责任归属。2.根据权利要求1所述的运营商智能定责方法，其特征在于，所述获取通信运营商的投诉工单语料库，基于所述投诉工单语料库对工单进行数据清洗，得到清洗好的工单包括：获取工单数据的产品类型、服务类型和服务内容；对产品类型和服务类型进行规范化处理，使用下划线符号替换产品类型和服务类型中的正斜杠符号，使用连字符拼接产品类型和服务类型，生成工单类型；对服务内容进行文本预处理，将所有的字母转换为小写，并使用Tokenizer对文本进行处理，得到处理后的数据；将处理后的数据进行ecode处理，将处理后的数据转变为词嵌入、类型嵌入和位置嵌入，得到清洗好的工单。3.根据权利要求1所述的运营商智能定责方法，其特征在于，所述BERT模型采用双向Transformer作为编码器，以融合字左右两侧的上下文；其中，Transformer采用了多头模式，以扩展模型专注于不同位置，增大注意力单元的表示子空间。4.根据权利要求3所述的运营商智能定责方法，其特征在于，所述BERT模型的编码单元中加入残差网络，如下式所示：其中，为经过残差网络后的输出，h
i
为不加入残差网络时多头注意力机制的输出，u
i
为多头注意力机制的输入；按照如下公式计算多头注意力机制的输出，如下式所示：按照如下公式计算多头注意力机制的输出，如下式所示：Transformer结构中的全链接前馈网络有两层dense，其中，第一层的激活函数是ReLU，第二层是一个线性激活函数，其中，为多头注意力机制的输出，b是偏置向量，FNN是全链接前馈馈网络。5.根据权利要求1所述的运营商智能定责方法，其特征在于，所述采用CRF算法对词向量进行特征提取，得到特征词序列包括：将BERT模型的输出作为CRF模块的输入，CRF能通过邻近标签的关系获得一个最优的预测序列，其中，给定条件随机场的观测序列f＝f1，f2，
…
，f
n
，状态序列y＝y1，y2，
…
，y
n
，y
i
∈{B，I，O}；
其中，在CRF模块中，给定观测序列f和状态序列y的条件概率分布如式所示：其中，在CRF模块中，给定观测序列f和状态序列y的条件概率分布如式所示：其中，ω
j
为特征函数，γ(f)指所有可能的状态序列，和分别为权...

【专利技术属性】
技术研发人员：马晓亮，安玲玲，邓从健，杜德泉，朱栩，宋灿辉，张志青，王嘉豪，
申请(专利权)人：广州云趣信息科技有限公司，
类型：发明
国别省市：