基于RegNet-SPP+LeNet的词义消歧制造技术

本发明专利技术涉及一种基于RegNet

【技术实现步骤摘要】
基于RegNet
‑
SPP+LeNet的词义消歧

：
[0001]本专利技术涉及一种基于RegNet
‑
SPP+LeNet的词义消歧方法，该方法在自然语言处理
中有着很好的应用。

技术介绍
：
[0002]在自然语言处理领域中，词汇普遍具有一词多义现象。词义消歧的目的是确定歧义词汇在特定上下文环境中的语义。词义消歧在机器翻译、自动文摘、信息检索和文本分类中有着重要的应用，其性能的好坏与词义消歧紧密相关。
[0003]经常使用一些常见的算法对词汇进行消歧和分类，例如：k
‑
means、朴素贝叶斯、基于关联规则的分类方法和人工神经网络等。但是，传统的算法存在着一些缺点和不足。所提取的消歧特征只局限于局部区域，分类器的训练效果不是很好。近年来，深度学习算法已被广泛地应用到自然语言处理领域。将处理好的消歧特征输入到初始化的RegNet
‑
SPP+LeNet中，以获取更加精确的消歧特征，解决了手动提取消歧特征的问题。在RegNet
‑
SPP+LeNet中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于RegNet
‑
SPP+LeNet的词义消歧方法，该方法包括以下步骤：步骤1：选取歧义词汇左右两侧词汇单元的词形、词性、声母韵母、繁体字、笔顺编码和语义类作为消歧特征。步骤2：利用Word2Vec工具对左右两侧词汇单元的词形、词性、声母韵母、繁体字、笔顺编码和语义类分别进行向量化处理，选取一小部分处理好的语料作为测试数据，其余的作为训练数据。步骤3：训练包括前向传播和反向传播两个过程，利用训练数据对RegNet
‑
SPP+LeNet进行训练，得到优化后的RegNet
‑
SPP+LeNet。步骤4：测试过程为前向传播过程，即语义分类过程，将测试数据输入到优化后的RegNet
‑
SPP+LeNet中，计算歧义词汇在每个语义类别下的概率分布序列，其中，具有最大概率的语义类别即为歧义词汇的语义类别。2.根据权利要求1所述的基于RegNet
‑
SPP+LeNet的词义消歧方法，其特征在于，所述步骤1中，选取歧义词汇左右两侧词汇单元的词形、词性、声母韵母、繁体字、笔顺编码和语义类作为消歧特征，具体为：步骤1
‑
1利用汉语分词工具对汉语句子进行词汇切分；步骤1
‑
2利用汉语词性标注工具对汉语词汇进行词性标注；步骤1
‑
3利用汉字转拼音工具对汉语词汇进行声母韵母标注；步骤1
‑
4利用简体转繁体工具对汉语词汇进行繁体字标注；步骤1
‑
5利用汉字笔顺工具对汉语词汇进行笔顺编码标注；步骤1
‑
6利用汉语语义标注工具对汉语词汇进行语义类标注；步骤1
‑
7选取歧义词汇左右两侧词汇单元的词形、词性、声母韵母、繁体字、笔顺编码和语义类别作为消歧特征。3.根据权利要求1所述的基于RegNet
‑
SPP+LeNet的词义消歧方法，其特征在于，所述步骤2中，对消歧特征进行向量化，具体为：步骤2
‑
1利用Word2Vec工具对左右两侧词汇单元的词形、词性、声母韵母、繁体字、笔顺编码和语义类分别进行向量化处理；步骤2
‑
2选取一小部分处理好的语料作为测试数据，其余的作为训练数据。4.根据权利要求1所述的基于RegNet
‑
SPP+LeNet的词义消歧方法，其特征在于，所述步骤3中，对RegNet
‑
SPP+LeNet进行训练，具体为：步骤3
‑
1把训练数据输入到初始化的RegNet
‑
SPP中；步骤3
‑1‑
1经过空洞卷积层，提取消歧特征X1，空洞卷积通过在卷积核部分之间插入空间让卷积核膨胀；步骤3
‑1‑
2经过2D卷积层，提取消歧特征X2；步骤3
‑1‑
3经过分组卷积层，提取消歧特征X3，这种卷积方式在卷积运算上没有任何改变，只是将所有的卷积核分组，将需要卷积的矩阵按照通道数也分组；步骤3
‑1‑
4经过通道注意力卷积层，提取消歧特征(c,h
in
,w
in
)，所述的通道注意力卷积层包括通道注意力模块SE和2D卷积层；步骤3
‑1‑
5多次重复步骤3
‑1‑
2至步骤3
‑1‑
4后，经过SPP(Spatial Pyramid Pooling)层，提取消歧特征(c,h
new
,w
new
)，SPP层有效避免了特征矩阵裁剪、缩放操作导致的有效特征
缺失等问题，解决了RegNet网络对特征矩阵相关重复特征提取的问题，大大提高了产生候选框的速度，且节省了计算成本，池化后矩阵大小的计算公式如下：选框的速度，且节省了计算成本，池化后矩阵大小的计算公式如下：其中，输入数据大小是(c,h
in
,w
in
)，分别表示通道数、高度、宽度，池化数量：(n,n)，K
h
和K
w
表示核的高度和宽度，P
h
和P
w
表示高度方向和宽度方向的填充数量，需要乘以2，注意核的计算公式使用的是ceil()，即向上取整，而padding使用的是floor()，即向下取整；步骤3
‑1‑
6经过全局平均池化层，提取消歧特征X4，可以大大地缩小消歧特征的规模，从而减少参数个数，加快模型计算的速度和有效地防止过拟合；步骤3
‑1‑
7进入多层感知机(MLP，Multilayer Perceptron)，多层感知机层与层之间是全连接的，多层感知机最底层是输入层，中间是隐藏层，最后是输出层，对所提取的消歧特征X4进行降维，连接成一维消歧特征向量；步骤3
‑1‑
8利用softmax层来计算歧义词汇m在每个语义类别s
i
(i＝1,2,...,n)下的预测概率，所述的softmax函数如下：其中，a
i
表示softmax层的输入数据，P(s
i
|m)表示歧义词汇m在语义类别s
i
下的出现概率(i＝1,2,
…
,n)；步骤3
‑
2把训练数据输入到初始化的LeNet中；步骤3
‑2‑
1经过卷积层1，提取消歧特征X5；步骤3
‑2‑
2经过最大池化层1，提取消歧特征X6；步骤3
‑2‑
3经过卷积层2，提取消歧特征X7；步骤3
‑2‑
4经过最大池化层2，提取消歧特征X8；步骤3
‑2‑
5进...

【专利技术属性】
技术研发人员：张春祥，邵雅丽，高雪瑶，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：