一种结合多头自注意力机制的CNN文本分类方法技术

本发明专利技术公开一种结合多头自注意力机制的CNN文本分类方法,包括：获取待分类文本的分词序列，并进行特殊符号和停止词过滤等预处理；查询预设或随机初始化的词嵌入模型获取分词序列的嵌入矩阵，矩阵的每一行为各分词的嵌入向量；针对所得嵌入矩阵的各行向量，叠加该向量对应分词的位置编码向量；对叠加位置编码后的嵌入矩阵通过自注意力机制生成自注意力矩阵；重复若干次自注意力矩阵的生成，将生成的多个矩阵在列的维度上进行拼接；将词序列拼接后的自注意力矩阵与加权矩阵相乘，实现降维和融合；将降维和融合后的自注意力矩阵输入CNN，进行训练或者预测。

A CNN text classification method based on multi head self attention mechanism

【技术实现步骤摘要】
一种结合多头自注意力机制的CNN文本分类方法
本专利技术涉及一种结合多头自注意力机制的CNN文本分类方法，尤其涉及一个或多个实施例涉及自然语言处理(naturallanguageprocessing,NLP)

技术介绍
文本分类是NLP中常见的下游任务之一，深度学习算法在文本分类中应用广泛且性能优异。当前，基于深度学习的文本分类多采用RNN、CNN和Transformer模型，其中RNN和Transformer可学习文本的全局语义信息，但是由于计算量过大，应用受限。CNN计算量小且方便并行加速，在工业应用中有不可比拟的优势,但受感受野宽度的限制只能学习文本局部语义信息，分类性能不如RNN和Transformer模型。本优化方案，将多头注意力机制应用于CNN模型的输入，使其包含文本的全局语义信息，从而提升CNN模型的分类性能。
技术实现思路
本专利技术提供了一种结合多头自注意制的CNN文本分类方法，多头自注意力机制作用于输入CNN的词序列嵌入矩阵，以获取词序列对应原始文本的全局语义信息，从而提高CNN的输本文档来自技高网...

【技术保护点】
1.一种结合多头自注意力机制的CNN文本分类方法，其特征在于：所述方法如下：/nS1：获取待分类文本的分词序列，并进行特殊符号和停止词过滤等预处理；/nS2：查询预设或随机初始化的词嵌入模型获取分词序列的嵌入矩阵，矩阵的每一行为各分词的嵌入向量；/nS3：针对所得嵌入矩阵的各行向量，获取并叠加该向量对应分词的位置编码向量；/nS4：对叠加位置编码后的嵌入矩阵通过自注意力机制生成自注意力矩阵；/nS5：重复若干次自注意力矩阵的生成，将生成的多个矩阵在列的维度上进行拼接；/nS6：将词序列拼接后的自注意力矩阵与加权矩阵相乘，实现降维和融合；/nS7：将降维和融合后的自注意力矩阵输入CNN，进行训练...

【技术特征摘要】
1.一种结合多头自注意力机制的CNN文本分类方法，其特征在于：所述方法如下：
S1：获取待分类文本的分词序列，并进行特殊符号和停止词过滤等预处理；
S2：查询预设或随机初始化的词嵌入模型获取分词序列的嵌入矩阵，矩阵的每一行为各分词的嵌入向量；
S3：针对所得嵌入矩阵的各行向量，获取并叠加该向量对应分词的位置编码向量；
S4：对叠加位置编码后的嵌入矩阵通过自注意力机制生成自注意力矩阵；
S5：重复若干次自注意力矩阵的生成，将生成的多个矩阵在列的维度上进行拼接；
S6：将词序列拼接后的自注意力矩阵与加权矩阵相乘，实现降维和融合；
S7：将降维和融合后的自注意力矩阵输入CNN，进行训练或者预测。


2.根据权利要求1所述结合多头自注意力机制的CNN文本分类方法，其特征在于：上述分词序列中的每个词，由待分类文本分词处理，并进行特殊符号和停止词过滤等预处理所得。


3.根据权利要求1所述结合多头自注意力机制的CNN文本分类方法，其特征在于：所述分词序列的词嵌入矩阵为：通过预设或随机初始化的词嵌入模型映射获得。


4.根据权利要求1所述结合多头自注意力机制的CNN文本分类方法，其特征在于：所述获取的分词序列词嵌入矩阵维度为m×d：m和d分别表示分词序列的长度和词向量维度。


5.根据权利要求1所述结合多头自注意力机制的CNN文本分类方法，其特征在于：所述针对所得嵌入矩阵的各行向量，获取并叠加该向量对应分词的位置编码向量，包括：根据公式(1)获取位置编码向量：



其中pos为分词所在位置，i为编码向量元素的索引，生成的PE(pos，2i)和PE(pos，2i+1)编码维度均为d/2，拼接两者形成维度为d的位置编码向量，将词序列嵌入矩阵中的各行向量与相应的位置编码向量进行叠加。


6.根据权利要求1所述结合...

【专利技术属性】
技术研发人员：刘星辰，陈晓峰，麻沁甜，
申请(专利权)人：上海勃池信息技术有限公司，
类型：发明
国别省市：上海;31