面向用户意见流数据的层次主题识别方法和装置制造方法及图纸

本发明专利技术提供了一种面向用户意见流数据的层次主题识别方法和装置。该方法包括：将用户意见流数据经过预处理获取初始文本特征表示，将初始文本特征表示输入到Transformer的编码器，获得键特征矩阵和值特征矩阵；将用户意见数据对应的标签树输入到有向图神经网络，获得初始标签矩阵，将初始标签矩阵输入到Transformer的解码器模块获得查询特征矩阵；将键特征矩阵、值特征矩阵和查询特征矩阵联合输入到Transformer解码器中，获得特征交互后的标签矩阵，将标签矩阵再经过全连接层得到用户意见流数据的标签类别概率，取概率值大于设定阈值的标签作为用户意见流数据的层次主题类别。本发明专利技术对标签层次结构信息建模了上下文依赖关系，可有效提升用户意见流数据中层次多标签分类的性能。标签分类的性能。标签分类的性能。

【技术实现步骤摘要】
面向用户意见流数据的层次主题识别方法和装置


[0001]本专利技术涉及数据流识别
，尤其涉及一种面向用户意见流数据的层次主题识别方法和装置。

技术介绍

[0002]随着国民经济飞速发展和综合国力持续增强，国民对民航服务业的品质需求不断提高，航空运输服务品质的优劣直接影响旅客体验和感受，进而影响群众生活，甚至影响国际竞争力。随着社交网络和多媒体技术的普及，大大拓展了民众意见交流的平台，为了提升我国航空运输服务品质，需要不断拓宽旅客意见收集平台，包括12326呼叫系统、民航服务质量监督平台等，每天每时每刻旅客对航班正常、票务服务、行李运输和餐食服务的意见信息注入网络，大量的旅客意见流数据为民航服务精准了解民情带来了极大的挑战。快速精准地从大量旅客意见流数据中识别主题类别，机器自动地将旅客意见划分到准确的归口，能够大大降低旅客服务人员的人力成本，极大地提高旅客意见分析处理效率。因此，如何实现民航服务领域旅客意见流数据的自动主题识别是当前亟需解决的问题。
[0003]在给定层次主题标签体系下，对民航服务领域旅客意见流数据的层次主题识别是层次多标签分类任务。层次多标签分类任务是多标签文本分类任务的特殊子任务，一直是学术研究热点，适用于许多应用场景，例如对民航服务领域旅客意见信息进行五级层次主题类别识别，按照新闻门户网站的层次分类体系对未分类的新闻打层次类别标签，以及按照购物网站上商品名录的层次分类体系对未分类的商品打标签。层次多标签分类任务的特点是所研究的数据集的标签中存在层次结构，其目标是在给定层次标签体系下预测文本的多标签。
[0004]目前，现有技术中的一种层次多标签主题识别方法包括：扁平方法、局部方法和全局方法。扁平方法是建立与标签总量相当的多个二分类器，从而独立预测每个标签，而忽略标签之间的层次关系，仅仅预测最高层级的细粒度标签。该类方法忽略信息较多，分类性能较低。局部方法通过为每个层级类别构建多个局部分类器，并依赖类别层级结构在各层局部分类器之间建立联系，例如子层级分类器继承父层级分类器的模型参数进行初始化和微调。该类方法模型参数量大，仅依靠参数初始化的方式无法充分建模类与类之间的依存关系，若父层级局部分类器出现错误，将会传递错误信息到子层级，易导致偏差。全局方法建立一个分类器，通过直接编码完整的标签结构信息，同时预测所有标签。大多数的方法尝试利用图学习、强化学习、胶囊网络、结构编码等策略不断学习标签的层次结构信息，并通过语义融合策略或语义匹配策略将多标签类型的层次信息引入到待预测文本的特征向量中，从而进行多标签类型预测。该类方法由于性能较好是目前的主流方法，尽管这些方法已经取得了一定效果，但目前大部分方法性能依然较低(准确率在79％左右)，无法充分学习标签间的层次结构信息，并有效融合标签和文本信息。
[0005]上述现有技术中的一种层次多标签主题识别方法的缺点包括：扁平方法忽略信息较多，分类性能较低。
[0006]局部方法模型参数量大，仅依靠参数初始化的方式无法充分建模类与类之间的依存关系，若父层级局部分类器出现错误，将会传递错误信息到子层级，易导致偏差。
[0007]全局方法性能依然较低，无法充分学习标签间的层次结构信息，无法充分融合标签和文本信息。

技术实现思路

[0008]本专利技术的实施例提供了一种面向用户意见流数据的层次主题识别方法和装置，用于解决当前技术方案无法充分学习标签间的层次结构信息，无法充分融合标签和文本信息的问题。
[0009]为了实现上述目的，本专利技术采取了如下技术方案。
[0010]根据本专利技术的一个方面，提供了一种面向用户意见流数据的层次主题识别方法置，包括：
[0011]将用户意见流数据输入到预训练词向量模型中，所述预训练词向量模型输出词向量表示；
[0012]将所述词向量表示输入到双向循环神经网络Bi
‑
GRU中，获得时序依赖语义信息对应的初始文本特征表示；
[0013]将所述初始文本特征表示输入到Transformer的编码器模块，获得表示文本特征信息的键特征矩阵和值特征矩阵；
[0014]根据用户意见数据对应的五级层次标签体系构建标签树，将所述标签树输入到有向图卷积神经网络中，获得表示层次语义结构信息的初始标签矩阵；
[0015]将初始标签矩阵输入到Transformer的解码器第一个多头注意力模块中，
[0016]获得查询特征矩阵；
[0017]将键特征矩阵、值特征矩阵和查询特征矩阵联合输入到Transformer解码器第二个多头注意力模块中，获得特征交互后的标签矩阵；
[0018]将标签矩阵再经过全连接层得到用户意见流数据的标签类别概率，取概率值大于设定阈值的标签作为用户意见流数据的层次主题类别。
[0019]优选地，所述的将所述初始文本特征表示输入到Transformer的编码器模块，获得表示文本特征信息的键特征矩阵和值特征矩阵，包括：
[0020]将所述初始文本特征表示输入到Transformer的编码器模块，利用多头注意力机制融合不同子空间信息，经过两次残差连接和层归一化操作后，采用编码器模块对文本特征进行远距离依赖关系建模，获得文本特征信息，经过线性映射后，输出了新的键特征矩阵和值特征矩阵；
[0021]在Transformer建模过程中，单头注意力机制定义如下：
[0022][0023]其中，Q、K和V是由多个输入的文本特征经过线性映射后打包在一起得到的特征矩阵，q是预设的缩放系数，
[0024]在所述单头注意力机制基础上，多头注意力机制定义如下：
[0025]H
Z
＝Attention(Q
Z
,K
Z
,V
Z
),z＝1,2,...,Z
[0026]X＝Concat(H1,H2,...,H
Z
)W
[0027]其中，Z是注意力头的个数，Concat表示串联操作，W表示可训练的线性转换矩阵，X为融合多个注意力头后获得的文本特征表示；
[0028]对X经过线性映射后打包在一起，得到新的键特征矩阵和值特征矩阵。
[0029]优选地，所述的根据用户意见数据对应的五级层次标签体系构建标签树，包括：
[0030]构建用户意见流数据的五级层次标签体系，采用DGCN对用户意见流数据的五级层次标签体系进行了有序的关系建模，建立起面向用户意见流数据判别的五级标签树，该五级标签树中的后面一级是前面一级的细分类，各级之间存在前后相关的主从关系，到最终的叶子节点处表示从第一级分类到最终一级分类的完整各层分类路径，可根据叶子节点的类别推断出各级的类别。
[0031]优选地，所述的将所述标签树输入到有向图卷积神经网络中，获得表示层次语义结构信息的初始标签矩阵，包括：
[0032]将所述标签树输入到两层有向图卷积神经网络中，对标签树中标签文本进行嵌入式向量化处理后，使用有向图卷积神经网络建模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向用户意见流数据的层次主题识别方法置，其特征在于，包括：将用户意见流数据输入到预训练词向量模型中，所述预训练词向量模型输出词向量表示；将所述词向量表示输入到双向循环神经网络Bi
‑
GRU中，获得时序依赖语义信息对应的初始文本特征表示；将所述初始文本特征表示输入到Transformer的编码器模块，获得表示文本特征信息的键特征矩阵和值特征矩阵；根据用户意见数据对应的五级层次标签体系构建标签树，将所述标签树输入到有向图卷积神经网络中，获得表示层次语义结构信息的初始标签矩阵；将初始标签矩阵输入到Transformer的解码器第一个多头注意力模块中，获得查询特征矩阵；将键特征矩阵、值特征矩阵和查询特征矩阵联合输入到Transformer解码器第二个多头注意力模块中，获得特征交互后的标签矩阵；将标签矩阵再经过全连接层得到用户意见流数据的标签类别概率，取概率值大于设定阈值的标签作为用户意见流数据的层次主题类别。2.根据权利要求1所述的方法，其特征在于，所述的将所述初始文本特征表示输入到Transformer的编码器模块，获得表示文本特征信息的键特征矩阵和值特征矩阵，包括：将所述初始文本特征表示输入到Transformer的编码器模块，利用多头注意力机制融合不同子空间信息，经过两次残差连接和层归一化操作后，采用编码器模块对文本特征进行远距离依赖关系建模，获得文本特征信息，经过线性映射后，输出了新的键特征矩阵和值特征矩阵；在Transformer建模过程中，单头注意力机制定义如下：其中，Q、K和V是由多个输入的文本特征经过线性映射后打包在一起得到的特征矩阵，q是预设的缩放系数，在所述单头注意力机制基础上，多头注意力机制定义如下：H
Z
＝Attention(Q
Z
,K
Z
,V
Z
),z＝1,2,...,ZX＝Concat(H1,H2,...,H
Z
)W其中，Z是注意力头的个数，Concat表示串联操作，W表示可训练的线性转换矩阵，X为融合多个注意力头后获得的文本特征表示；对X经过线性映射后打包在一起，得到新的键特征矩阵和值特征矩阵。3.根据权利要求1所述的方法，其特征在于，所述的根据用户意见数据对应的五级层次标签体系构建标签树，包括：构建用户意见流数据的五级层次标签体系，采用DGCN对用户意见流数据的五级层次标签体系进行了有序的关系建模，建立起面向用户意见流数据判别的五级标签树，该五级标签树中的后面一级是前面一级的细分类，各级之间存在前后相关的主从关系，到最终的叶子节点处表示从第一级分类到最终一级分类的完整各层分类路径，可根据叶子节点的类别
推断出各级的类别。4.根据权利要求3所述的方法，其特征在于，所述的将所述标签树输入到有向图卷积神经网络中，获得表示层次语义结构信息的初始标签矩阵，包括：将所述标签树输入到两层有向图卷积神经网络中，对标签树中标签文本进行嵌入式向量化处理后，使用有向图卷积神经网络建模标签之间的层级关系，其公式为：其中，A是从标签树中导出来的标签之间的有向邻接矩阵，I为单位矩阵，为的度矩阵，H
(l)
表示第l层的标签特征矩阵，其中l分别取0，1表示经过2次图神经网络建模，l取0时H
(0)
表示初始时刻为对标签树中标签文本进行嵌入式向量化处理后的标签特征矩阵，经过两层的有向图卷积神经网络传递后，获取含有更细粒度分层结构和语义信息的初始标签矩阵。5.根据权利要求4所述的方法，其特征在于，所述的将初始标签矩阵输入到Transformer的解码器第一个多头注意力模块中，获得查询特征矩阵，包括：将所述初始标签矩阵输入到Transformer的解码器第一个多头注意力模块中，利用多头注意力机制，Transformer的解码器模块经过一次残差连接和层归一化操作后，获得标签特征信息，经过线性映射后，输出了新的Query特征矩阵；在Transformer建模过程中，单头注意力机制定义如下：其中，Q、K和V是由多个输入的标签矩阵经过线性映射后打包在一起得到的特征矩阵，q是预设的缩放系数；在所述单头注意力机制基础上，多头注意力机制定义如下：H
Z
...

【专利技术属性】
技术研发人员：周鹏鹏，蔡华利，李洪涛，白京，邢宏，陈伟，郑晨曦，李亚丹，王丽影，涂真，
申请(专利权)人：中国民航科学技术研究院，
类型：发明
国别省市：