【技术实现步骤摘要】
一种基于注意力机制的神经网络模型
[0001]本专利技术涉及自然语言处理与计算机视觉领域，涉及语言处理、图像处理、深度学习技术，具体涉及一种基于注意力机制的神经网络模型。
技术介绍
[0002]当前移动端用户参与网络社交互动需要在更短的时间内产生或接收到更多信息，用户无法容忍阅读大篇幅文字或观看冗长的视频而产生的焦虑感。因此，各种媒体平台上的跨媒体舆情数据呈现出体量小、内容杂、规模大、产生速度快等重要特点，如短视频的时长通常小于五分钟，微博的长度多集中在100字以内，但是舆情分析的研究工作一般是单一的文本数据或者图像数据。
[0003]本方案拟研究一种基于文本语义的跨媒体舆情分析方法。该方法拟设计一种基于注意力机制的神经网络模型，该模型可同时处理两种社交媒体数据，即纯文本数据和图像数据结合的跨媒体数据，将舆情分析的研究工作从单一的文本数据拓展到更符合现实场景的跨媒体数据上。
技术实现思路
[0004]本专利技术的目的是提供一种基于注意力机制的神经网络模型，该模型可同时处理纯文本数据和图像数据结合的跨媒...
【技术保护点】
【技术特征摘要】
1.一种基于注意力机制的神经网络模型，其特征在于，包括位置编码与数据编码、多头自注意力机制(Muti
‑
Head
‑
Self Attention)、残差连接与层归一化(Add&Norm)、前馈神经网络(feed forward)、卷积神经网络(CNN)这五个模块，残差连接与层归一化模块使用了两次，其他模块各使用一次；其中：所述一种基于注意力机制的神经网络模型设置位置编码用来获取位置信息，并且可以同时输入整个数据，图像和文本的数据经过位置编码与数据编码后得到矩阵X，再由多头自注意力机制处理，得到每个词的上下文语义的向量表示，重要信息的权重增大，不重要的信息的权重减小，经过多头注意力机制后得到矩阵Z，再将矩阵Z进行残差连接操作，将Z矩阵与矩阵X进行相加，之后将得到的新矩阵Z1进行层归一化，然后前馈神经网络(feed forward)将Z1输入，进行升维，降维操作，学习到更多关于数据的信息，让信息再经过一个残差连接与层归一化(Add&Norm)层，然后输出一个矩阵Z2，所述的矩阵Z2中包含着图像与文字的信息，再利用卷积神经网络(CNN)来进行图文信息的融合。2.根据权利要求1所述的一种基于注意力机制的神经网络模型，其特征在于所述的位置编码，其公式如下：其中pos代表位置，d代表数据编码的维度。3.根据权利要求1所述的一种基于注意力机制的神经网络模型，其特征在于文本数据编码选择Embedding网络随机初始化的方式，图像数据编码利用ResNet50网络进行特征提取。4.根据权利要求1所述的一种基于注意力机制的神经网络模型，其特征在于多头自注意力机制是由h个自注意力机制(Self...
【专利技术属性】
技术研发人员：陈龙，黄晓华，王文静，曾思睿，谢飞，管子玉，赵伟，屈乐，王和旭，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。