一种基于图卷积神经网络的多轮对话分类方法技术

本发明专利技术公开了一种基于图卷积神经网络的多轮对话分类方法，它包括：步骤1、对原始数据集进行数据预处理；步骤2、构建图结构；步骤3、对图结构进行预处理；步骤4、构建和训练图卷积神经网络模型；步骤5、在模型训练完毕之后，使用图卷积神经网络模型在数据集上对多轮对话进行分类；解决了现有技术多轮对话文本中无关干扰信息多且普遍，现有模型引入过多噪声，影响模型最终的分类效果等技术问题。响模型最终的分类效果等技术问题。响模型最终的分类效果等技术问题。

【技术实现步骤摘要】
一种基于图卷积神经网络的多轮对话分类方法


[0001]本专利技术属于自然语言处理的文本分类技术，尤其涉及一种基于图卷积神经网络的多轮对话分类方法。

技术介绍

[0002]对话系统是人工智能领域中最具挑战性和最有意义的任务之一。早在人工智能研究的初期，人们就致力于开发智能的人机对话系统。近年来，随着深度学习在图象、语音和文本等领域的重大突破，出现了以深度学习为核心技术的对话系统。由于神经网络强大的表征能力，模型在文本分类和文本生成这两项任务的能力得到了大幅度提高，解决了对话系统的多种技术难题，诞生了众多成功的商业化产品，如Siri、小冰和小度等。
[0003]根据应用领域的不同，对话系统可以大致分为两类：任务型对话系统和非任务型对话系统。任务型对话系统旨在帮助用户完成某些特定的任务，例如查询天气、点外卖和指挥电力操作员等。而非任务型对话系统更关注与人类的互动以提供合理的、趣味的回复。而对多轮对话整体进行语义理解进而分类，可以识别整轮对话的意图，评估对话质量的好坏，还能从对话文本中发现异常事件，实现风险管控。在任务型对话领域，可以评估此次对话是否完成任务。而多轮对话的分类技术的研究也能应用到实际的人与人交互的多轮对话中，用于评估这一通交互是否完成既定的任务，例如在电力领域调度对话中，可以从调令员和受令员的多轮对话中反映每次调度的质量，从而能更好的要求和规范调令员和受令员行为规范，解决效率低下及风险高等一系列问题。多轮对话分类将对话上下文作为输入预测整轮对话的意图，理解整段对话的语义信息，对模型的分类能力要求更高，应用场景也更加丰富多样。
[0004]在多轮对话分类任务中，当前的研究工作往往倾向于直接将常见的文本分类模型应用到将多轮对话文本任务中；这些模型处理整个会话文本的通用方法包括简单的将多个句子被拼接成一个长序列作为模型输入以及根据多轮对话文本的层次结构(句子级别和单词级别)进行编码，提取特征并分类。综合以上，有学者提出了一个混合模型来组合多个神经网络的输出特征，如双向长短期记忆网络和胶囊网络等。这种方法在一定程度上提高了多轮对话分类的效果。
[0005]已有工作忽略了对话文本的自身特点，与常见的文本分类任务所使用的数据相比，会话文本包含更多的打招呼、寒暄以及身份确认等会话主题无关的干扰信息，规范性较差。因此，如果简单地将其视为普通文本进行编码，则会在模型的学习过程中引入过多的噪声，影响模型最终的分类效果。

技术实现思路

[0006]本专利技术要解决的技术问题是：提供一种基于图卷积神经网络的多轮对话分类方法，利用图卷积神经网络去冗余且高精准的语义信息学习能力，以解决现有技术多轮对话文本中无关干扰信息多且普遍，现有模型引入过多噪声，影响模型最终的分类效果等技术
问题。
[0007]本专利技术技术方案：
[0008]一种基于图卷积神经网络的多轮对话分类方法，它包括：
[0009]步骤1、对原始数据集进行数据预处理；
[0010]步骤2、构建图结构；
[0011]步骤3、对图结构进行预处理；
[0012]步骤4、构建和训练图卷积神经网络模型；
[0013]步骤5、在模型训练完毕之后，使用图卷积神经网络模型在数据集上对多轮对话进行分类。
[0014]所述对原始数据集进行数据预处理的方法为：对原始数据集采取去除停用词、去除标点符号和不可见字符处理，将原始数据集表示成文本词语的TF
‑
IDF矩阵形式。
[0015]构建图结构的方法为：针对图结构，图的节点将采用每一个词的词向量，邻居节点是与其相似度最高的若干词向量；邻居节点数目设置为8。
[0016]所述词向量，称为词嵌入，是以向量的形式表示语料库或者词汇表中的词语，即x
i
∈R
k
；x
i
表示语料库或者词汇表中第i个词的词向量，R
k
表示k维实数空间；原语料库或者词汇表中的词语被映射成向量空间中的点，从而作为输入用于图卷积神经网络模型的训练。
[0017]所述图结构进行预处理的方法包括：计算图的拉普拉斯矩阵，同时进行图傅立叶变换；具体包括：
[0018]图拉普拉斯矩阵，组合定义为L＝D
‑
W∈R
n*n
，其中D∈R
n*n
是对角度矩阵D
ii
＝∑
j
W
ij
，归一化定义为归一化定义为其中In是单位矩阵；先计算由词向量构造的图矩阵，计算得到该图矩阵的度矩阵，再判断是否需要正则化；如果不需要正则化，则该图的拉普拉斯矩阵由L＝D
‑
W得到；反之，如果需要正则化，则对应的拉普拉斯矩阵计算公式为W得到；反之，如果需要正则化，则对应的拉普拉斯矩阵计算公式为
[0019]图拉普拉斯矩阵L是一个实对称正半定矩阵，它有一个正交特征向量集，称为图傅立叶的模型，和其相关的有序实非负特征值标识为图的频率；拉普拉斯算子是通过傅立叶基U＝[u0,
…
,u
n
‑1]∈R
n*n
，使得L＝UΛU
T
，其中Λ＝diag([λ0,
…
,λ
n
‑1])∈R
n*n
；图的傅立叶变换信号x∈R
n
,然后将定义为它的逆为
[0020]构建的图卷积神经网络模型包括：图卷积层、激活函数层、池化层和全连接层网络结构。
[0021]所述图卷积层对图结构完成卷积操作，提取用于分类的特征；所述图卷积层的构建方法为：
[0022]经过图的傅里叶变换，将图数据从空域转化到了谱域，在图的谱域实现滤波操作；
[0023]图在傅里叶域，即谱域的卷积操作定义为：x*Gy＝U((U
T
x)
⊙
(U
T
y))，式中：
⊙
是逐个元素的Hadamard乘积，U为傅立叶基矩阵，x为输入信号，y为卷积核的处理后的输出值；信号x由卷积核滤波器g
θ
过滤y＝g
θ
(L)x＝g
θ
(UΛU
T
)x＝Ug
θ
(Λ)U
T
x；非参数滤波器即参数全部空域的滤波器定义为g
θ
(Λ)＝diag(θ)；参数θ∈R
n
是傅立叶系数的矢量；
[0024]在图经过傅里叶变换到谱域之后能够实现滤波操作，但这样的滤波器是没有参数的，无法实现捕捉到局部特征，学习复杂度与图数目成正比，当图数据过大时，学习成本代价高，使得效率低；用多项式滤波器进行解决：参数θ∈R
n
是多项式系数向量，k是多项式的阶数；在顶点j的值，以顶点i为中心的过滤器g
θ
由(g
θ
(L)δ
i
)
j
＝(g
θ<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积神经网络的多轮对话分类方法，它包括：步骤1、对原始数据集进行数据预处理；步骤2、构建图结构；步骤3、对图结构进行预处理；步骤4、构建和训练图卷积神经网络模型；步骤5、在模型训练完毕之后，使用图卷积神经网络模型在数据集上对多轮对话进行分类。2.根据权利要求1所述的一种基于图卷积神经网络的多轮对话分类方法，其特征在于：所述对原始数据集进行数据预处理的方法为：对原始数据集采取去除停用词、去除标点符号和不可见字符处理，将原始数据集表示成文本词语的TF
‑
IDF矩阵形式。3.根据权利要求1所述的一种基于图卷积神经网络的多轮对话分类方法，其特征在于：构建图结构的方法为：针对图结构，图的节点将采用每一个词的词向量，邻居节点是与其相似度最高的若干词向量；邻居节点数目设置为8。4.根据权利要求3所述的一种基于图卷积神经网络的多轮对话分类方法，其特征在于：所述词向量，称为词嵌入，是以向量的形式表示语料库或者词汇表中的词语，即x
i
∈R
k
；x
i
表示语料库或者词汇表中第i个词的词向量，R
k
表示k维实数空间；原语料库或者词汇表中的词语被映射成向量空间中的点，从而作为输入用于图卷积神经网络模型的训练。5.根据权利要求1所述的一种基于图卷积神经网络的多轮对话分类方法，其特征在于：所述图结构进行预处理的方法包括：计算图的拉普拉斯矩阵，同时进行图傅立叶变换；具体包括：图拉普拉斯矩阵，组合定义为L＝D
‑
W∈R
n*n
，其中D∈R
n*n
是对角度矩阵D
ii
＝∑
j
W
ij
，归一化定义为化定义为其中In是单位矩阵；先计算由词向量构造的图矩阵，计算得到该图矩阵的度矩阵，再判断是否需要正则化；如果不需要正则化，则该图的拉普拉斯矩阵由L＝D
‑
W得到；反之，如果需要正则化，则对应的拉普拉斯矩阵计算公式为W得到；反之，如果需要正则化，则对应的拉普拉斯矩阵计算公式为图拉普拉斯矩阵L是一个实对称正半定矩阵，它有一个正交特征向量集，称为图傅立叶的模型，和其相关的有序实非负特征值标识为图的频率；拉普拉斯算子是通过傅立叶基U＝[u0,
…
,u
n
‑1]∈R
n*n
，使得L＝UΛU
T
，其中Λ＝diag([λ0,
…
,λ
n
‑1])∈R
n*n
；图的傅立叶变换信号x∈R
n
,然后将定义为它的逆为6.根据权利要求1所述的一种基于图卷积神经网络的多轮对话分类方法，其特征在于：构建的图卷积神经网络模型包括：图卷积层、激活函数层、池化层和全连接层网络结构；所述图卷积层对图结构完成卷积操作，提取用于分类的特征；所述图卷积层的构建方法为：经过图的傅里叶变换，将图数据从空域转化到了谱域，在图的谱域实现滤波操作；图在傅里叶域，即谱域的卷积操作定义为：x*Gy＝U((U
T
x)
⊙
(U
T
y))，式中：
⊙
是逐个元素的Hadamard乘积，U为傅立叶基矩阵，x为输入信号，y为卷积核的处理后的输出值；信号x
由卷积核滤波器g
θ
过滤y＝g
θ
(L)x＝g
θ
(UΛU
T
)x＝Ug
θ
(Λ)U
T
x；非参数滤波器即参数全部空域的滤波器定义为g
θ
(Λ)＝diag(θ)；参数θ∈R
n
是傅立叶系数的矢量；在图经过傅里叶变换到谱域之后能够实现滤波操作，但这样的滤波器是没有参...

【专利技术属性】
技术研发人员：郭明，张云菊，杨强，张玉罗，史虎军，邢苗苗，杜秀举，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：