一种基于带标签约束的双向动态路由的文本分类算法制造技术

本发明专利技术提供了一种基于带标签约束的双向动态路由的文本分类算法，首先通过自注意力机制和相对位置信息编码，使得语义信息和语序信息融入到同一向量中；然后引入双向动态路由机制，同时考虑底层胶囊到高层胶囊转化多少信息，以及高层胶囊需要底层胶囊的多少信息；最后提出一种标签嵌入约束方法来代替胶囊网络中的模型重构，解决文本胶囊潜在的不合理分布情况；本发明专利技术引入了相对位置编码，解决动态路由算法忽视单词语序问题，双向的动态路由算法可兼顾到相同单词在不同类型的文本中的重要性不同的问题；提出的标签嵌入约束方法可以解决文本胶囊潜在的不合理分布的问题。决文本胶囊潜在的不合理分布的问题。决文本胶囊潜在的不合理分布的问题。

【技术实现步骤摘要】
一种基于带标签约束的双向动态路由的文本分类算法


[0001]本专利技术涉及文本分类
，主要涉及一种基于带标签约束的双向动态路由的文本分类算法。

技术介绍

[0002]由于文本分类在自然语言中占有重要的作用，因此近年来已经成为了比较活跃的研究领域，它在文档检索、网页搜索、电子邮件过滤等专利技术都取得了巨大的成功，并且，很多自然语言处理任务最终都可以转化为文本分类任务，例如情感分析和意图检测。文本分类任务是用一个(或多个)类标签注释给定的文本序列。如何构造有效的文本特征表示是文本分类任务中最关键的步骤。现有的用于文本分类的方法可以主要分为两类：1)基于词袋的传统方法。在这类方法中，许多研究人员利用单词的one
‑
hot(独热编码)特征来构建分类器,将文本中出现的每个单词或短语转换为一组离散变量的方法。其中比较有代表性的算法有TF
‑
IDF(term frequency
–
inverse document frequency，是一种用于信息检索与数据挖掘的常用加权技术)，n
‑...

【技术保护点】

【技术特征摘要】
1.一种基于带标签约束的双向动态路由的文本分类算法，其特征在于，包括以下步骤：步骤S1、对给定文本进行编码，每个单次的词向量和标签向量均采用随机初始化的方式来初始化分布；具体地，给定单词序列X＝{w1，w2…
w
M
}，其中M代表文本中单词的个数，w
i
代表文本中第i位置上的单词；采用词嵌入的方法：将序列中每一个单词嵌入至高维向量空间中，如下表示：E
X
＝{e1，e2…
e
M
}其中词嵌入矩阵其中V是词典的大小，D
w
是词向量的维度；步骤S2、采用双向LSTM模型，学习各单词之间的上下文语境义关系；将单词的前向传播的向量和后向传播的向量拼接，第i个位置上的历史上下文语义向量如下：拼接，第i个位置上的历史上下文语义向量如下：其中和分别代表在双向LSTM模型中前向传播和后向传播经过单词w
i
产生的隐藏向量，D
e
代表了隐藏向量的维度，同时代表双向LSTM模型第t时刻的输出；步骤S3、采用自注意力机制捕捉远距离单词的语境义，同时通过相对位置编码，获取单词之间的相对位置关系，用于表达目标单词与文本中其他单词之间的相关位置信息；具体地，单词w
i
经过线性转化为之后，需要获取h
i
的query信息和第j个单词的key值表示信息；基于单头的自注意力机制计算方式如下：其中代表需要学习的query信息转化矩阵的参数；代表需要学习的key信息转化矩阵的参数，D
h
是自注意力机制的维度，是放缩的比例因子；每一个语义的相似度协同权重通过以下函数计算得出：将h
j
经过信息转化矩阵后，将协同系数权重相加得到第i个单词的语义向量量采用和依次表示基于位置编码的key向量和value向量，基于以下公式表示第i个单词与第j个单词之间的相对位置：
其中clip(j
‑
i，n)＝max(
‑
n，min(n，j
‑
i))，代表最大的剪切距离，i))，代表最大的剪切距离，和表示相对位置特征编码，n表示最大相对位置的绝对值；第i个单词和第j个单词的相对位置编码信息如下表示：每一个单词的位置编码信息均通过以下公式计算：使用注意力机制组合单词的语义信息和语序信息，相关公式如下所示：使用注意力机制组合单词的语义信息和语序信息，相关公式如下所示：使用注意力机制组合单词的语义信息和语序信息，相关公式如下所示：其中是线性转化矩阵，是偏置参数，z
i

【专利技术属性】
技术研发人员：曹杰，王有权，陈雷，郭翔，申冬琴，
申请(专利权)人：河海大学，
类型：发明
国别省市：