多通道混合空洞卷积结合残差和注意力的汉语词义消歧制造技术

本发明专利技术涉及一种多通道混合空洞卷积结合残差和注意力(Combining Multi

【技术实现步骤摘要】
多通道混合空洞卷积结合残差和注意力的汉语词义消歧

：
[0001]本专利技术涉及一种多通道混合空洞卷积结合残差和注意力的汉语词义消歧方法，该方法在自然语言处理
中有着很好的应用。

技术介绍
：
[0002]在自然语言中存在大量的多义词，词义消歧要解决的问题是确定各个词语的多个词义中应选取哪个词义作为该词在特定上下文环境中的正确词义。词义消歧在机器翻译、语义识别、信息检索等领域中有着重要的作用。
[0003]此前经常使用一些常见的算法对词汇进行消歧，例如：K
‑
means、朴素贝叶斯、基于关联规则的分类方法和人工神经网络等。但是，传统的算法存在着一些缺点和不足。所提取的消歧特征只局限于局部区域，需要人为设计一些特征故而工作量大且速度慢，分类器的训练效果也不是很好。近年来，深度学习算法已被广泛地应用到自然语言处理领域。在MHDCNN
‑
RA模型中，通过多通道卷积神经网络可以充分挖掘语料的上下文信息和文本相似度，利用混合空洞卷积有效的改善了普通空洞卷积的网格效应，充分捕捉多尺度信息。使用深层卷积网络增加模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多通道混合空洞卷积结合残差和注意力的汉语词义消歧方法，歧义词汇m具有C个语义类别s1,s2,
…
,s
C
，其特征在于，该方法包括以下步骤：步骤1：对SemEval
‑
2007:Task#5的训练语料和测试语料进行分词、词性标注、语义类标注，选取歧义词汇m左右四个邻接词汇单元的词形、词性、语义类和词形的笔画数，以及歧义词m左右2个邻接词汇相似度靠前的4个近义词。步骤2：对从SemEval
‑
2007:Task#5的训练语料中抽取的消歧特征使用随机初始化词嵌入矩阵和使用Word2Vec，Fastext预训练的词嵌入矩阵，共三个词嵌入矩阵作为训练数据，对从SemEval
‑
2007:Task#5的测试语料中抽取的消歧特征使用随机初始化词嵌入矩阵和使用Word2Vec，Fastext预训练的词嵌入矩阵，共三个词嵌入矩阵作为测试数据。步骤3：使用训练数据优化MHDCNN
‑
RA模型，得到优化后的MHDCNN
‑
RA模型。步骤4：测试过程即语义分类过程，在优化后的MHDCNN
‑
RA模型上，输入测试数据，计算歧义词汇m在每个语义类别下的权重，其中，具有最大权重的语义类别即为歧义词汇m的语义类别。2.根据权利要求1所述的多通道混合空洞卷积结合残差和注意力的汉语词义消歧，其特征在于，所述步骤1中，对SemEval
‑
2007:Task#5的训练语料和测试语料进行分词、词性标注、语义类标注，选取歧义词汇m左右四个邻接词汇单元的词形、词性、语义类、词形的笔画数以及歧义词m左右2个邻接词汇相似度靠前的4个近义词作为消歧特征，具体步骤为：步骤1
‑
1利用汉语分词工具对汉语句子进行词汇切分；步骤1
‑
2利用汉语词性标注工具对词汇进行词性标注；步骤1
‑
3根据《同义词词林》，利用汉语语义标注工具对词汇进行语义类标注；步骤1
‑
4抽取歧义词汇m左右四个邻接词汇单元的词形、词性、语义类和笔画数以及根据《同义词词典》对歧义词m左右2个邻接词汇相似度靠前的4个近义词作为消歧特征。3.根据权利要求1所述的多通道混合空洞卷积结合残差和注意力的汉语词义消歧，其特征在于，所述步骤2中，对从SemEval
‑
2007:Task#5的训练语料中抽取的消歧特征使用随机初始化词嵌入矩阵和使用Word2Vec，Fastext预训练的词嵌入矩阵，共三个词嵌入矩阵作为训练数据，对从SemEval
‑
2007:Task#5的测试语料中抽取的消歧特征使用随机初始化词嵌入矩阵和使用Word2Vec，Fastext预训练的词嵌入矩阵，共三个词嵌入矩阵作为测试数据，具体步骤为：步骤2
‑
1对从SemEval
‑
2007:Task#5的训练语料中抽取的消歧特征使用随机初始化得到词嵌入矩阵V1；步骤2
‑
2对从SemEval
‑
2007:Task#5的训练语料中抽取的消歧特征使用Word2Vec得到预训练的词嵌入矩阵V2；步骤2
‑
3对从SemEval
‑
2007:Task#5的训练语料中抽取的消歧特征使用FastText得到预训练的词嵌入矩阵V3；步骤2
‑
4将步骤2
‑
1，2
‑
2，2
‑
3得到的三个词嵌入矩阵作为训练数据；步骤2
‑
5对从SemEval
‑
2007:Task#5的测试语料中抽取的消歧特征使用随机初始化得到词嵌入矩阵V1；步骤2
‑
6对从SemEval
‑
2007:Task#5的测试语料中抽取的消歧特征使用Word2Vec得到预训练的词嵌入矩阵V2；
步骤2
‑
7对从SemEval
‑
2007:Task#5的测试语料中抽取的消歧特征使用FastText得到预训练的词嵌入矩阵V3；步骤2
‑
8将步骤2
‑
5，2
‑
6，2
‑
7得到的三个词嵌入矩阵作为测试数据。4.根据权利要求1所述的多通道混合空洞卷积结合残差和注意力的汉语词义消歧，其特征在于，所述步骤3中，使用训练数据优化MHDCNN
‑
RA模型，得到优化后的MHDCNN
‑
RA模型，具体步骤为：步骤3
‑
1把训练数据的三个词嵌入矩阵加载到初始化的MHDCNN
‑
RA模型的输入嵌入层作为权重组成三通道输入矩阵[V1,V2,V3]；步骤3
‑
2经过特征融合层，首先使用二维卷积对三通道矩阵进行融合得到输出Z1，再对Z1的奇数位置采用正弦编码，偶数位置采用余弦编码，得到输出P，将得到的位置编码特征P与原始特征Z1进行相加得到新的融合特征Z2，最后使用一维卷积对特征矩阵Z2进行压缩融合得到输出Z3，所述的特征融合过程如下：Z1＝Conv2D(V1,V2,V3)P
(pos,2i)
＝sin(pos/10000
2i/d
)P
(pos,2i+1)
＝cos(pos/10000
2i/d
)Z2＝Z1+PZ3＝Conv1D(Z2)其中pos代表一个消歧特征在一组消歧特征中的索引，2i与2i+1则表示词向量维度的奇偶位置，本文中词向量维度d＝256，那么，2i＝[0,2,4,....,254],2i+1＝[1,3,5,.....,255]；步骤3
‑
3经过深度卷积层，深度卷积层由12个一维卷积块堆叠而成，其中每个卷积块的结构完全相同只是膨胀率...

【专利技术属性】
技术研发人员：张春祥，张育隆，杨玉建，高雪瑶，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：