【技术实现步骤摘要】
一种基于卷积神经网络和局部注意力机制的句子分类方法
本专利技术涉及自然语言处理领域和数据挖掘领域，更具体地，涉及一种基于卷积神经网络和局部注意力机制的句子分类方法。
技术介绍
深度学习模型在计算机视觉、语音识别和自然语言处理方面都取得了不俗的成就。句子分类作为NLP的一个重要任务也吸引了众多深度学习在此方面的研究。句子分类任务主要是根据输入的文本来判断文本的内容是属于什么类别地，比如是倾向于负面情绪的表达还是正面情绪的表达。因此，句子分类可以被应用在人机交互、观点分析等等方面，对于社会应用有重要的研究意义。当前在NLP领域比较火热的神经网络模型主要是RNN神经网络，而卷积神经网络的研究还不算太多人来参与。同时最近注意力机制在许多模型的突出表现也吸引了很多人关注该机制在许多领域的应用。对比起RNN神经网络，卷积神经网络的运行速度要更快且准确率也不错。而注意力机制在卷积神经网络的研究上不算多，还有很大的研究空间。传统的注意力机制在卷积神经网络的应用都是针对全文来提取权重从而计算加权后的向量表示。但是卷积神经网络更多的关注点在于局部特征，因此针对局部文本所进行的注意力机...
【技术保护点】
1.一种基于卷积神经网络和局部注意力机制的句子分类方法，其特征在于，包括以下步骤：S1：对文本或句子进行预处理来获得词向量表示；S2：对获取的词向量表应用注意力机制来决定词向量的权重，提升重要词向量的关注度；S3：对文本或句子的词向量表示进行卷积操作来获取相应的特征；S4：对获取的特征进行池化操作来得到最终的特征表示；S5：对池化后的特征进行全连接神经网络构建并根据神经网络的输出预测句子分类。
【技术特征摘要】
1.一种基于卷积神经网络和局部注意力机制的句子分类方法，其特征在于，包括以下步骤：S1：对文本或句子进行预处理来获得词向量表示；S2：对获取的词向量表应用注意力机制来决定词向量的权重，提升重要词向量的关注度；S3：对文本或句子的词向量表示进行卷积操作来获取相应的特征；S4：对获取的特征进行池化操作来得到最终的特征表示；S5：对池化后的特征进行全连接神经网络构建并根据神经网络的输出预测句子分类。2.根据权利要求1所述的一种基于卷积神经网络和局部注意力机制的句子分类方法，其特征在于，步骤S2所述对获取的词向量表应用注意力机制来决定词向量的权重具体包括：假设词向量表示为[x1，x2，...，xn]，可以得到任意两两词向量之间的内积:xi*xj，其中*代表向量的内积；通过上述操作，假设卷积长度为h，则卷积核大小为w∈Rhd，则根据注意力机制可得局部权重为最后在进行卷积操作的时候词向量的表示变成3.根据权利要求1所述的一种基于卷积神经网络...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。