一种基于紧凑双线性融合的图文跨模态情感分类方法技术
【技术实现步骤摘要】
一种基于紧凑双线性融合的图文跨模态情感分类方法
本专利技术涉及图文结合的跨模态情感分类方法，特别涉及一种基于紧凑双线性融合的图文跨模态情感分类方法。
技术介绍
图文跨模态情感分类研究的对象是：在Twitter、、Facebook、微博、电商等平台下，根据用户发送的图像和及其对应的文字信息，判断出发送者是积极还是消极的情感态度。图文跨模态情感分类的应用领域主要包括：舆情监测、用户行为分析、商品属性评判等等。随着科技的进步与发展，软硬件水平的不断提高，很多平台都可以支持用户同时发送语音、图像、视频等多媒体信息，其中大多数用户选择同时发送图像与文本两种媒体信息，因为相对于视频和语音，图像和文本能够更加简洁、直观的传达出发送者的情感态度。通过对图文跨模态情感分类的研究，不仅可以指导其他跨模态情感分类的研究，并且有着重大的现实意义，一旦研究成功并投入应用，将产生巨大的社会和经济效益。总得来说，多模态情感分类的研究主要可以分为三部分。首先，如何利用现有的算法模型，提取出各种模态数据较好的情感特征；接着，研究如何更加高效、完整的将不同模态的特征融合；最后，就是对于损失函数的设计...
【技术保护点】
一种基于紧凑双线性融合的图文跨模态情感分类方法，其特征在于，包括：从图文标注情感训练数据集中，逐一提取出图像及其对应的文字信息，将图像调整为448*448大小，将调整好的图像输入到经过ImageNet数据集上预训练好的152层的残差网络中，提取出图像经过152层残差网络计算后，其中最后一层卷积层的输出，大小为2048*14*14，作为图像的特征表示；使用GloVe模型生成的300维词向量，将图像对应的文字信息转化计算机可以处理的矩阵表示，输入到双层LSTM网络中，每层LSTM网络包含100个单元，每层的输出向量为1024维，最后将每层LSTM的输出拼接，组成2048维的向量...
【技术特征摘要】
1.一种基于紧凑双线性融合的图文跨模态情感分类方法，其特征在于，包括：从图文标注情感训练数据集中，逐一提取出图像及其对应的文字信息，将图像调整为448*448大小，将调整好的图像输入到经过ImageNet数据集上预训练好的152层的残差网络中，提取出图像经过152层残差网络计算后，其中最后一层卷积层的输出，大小为2048*14*14，作为图像的特征表示；使用GloVe模型生成的300维词向量，将图像对应的文字信息转化计算机可以处理的矩阵表示，输入到双层LSTM网络中，每层LSTM网络包含100个单元，每层的输出向量为1024维，最后将每层LSTM的输出拼接，组成2048维的向量，作为文本的特征表示；根据得到的图像与文本特征表示，生成每个空间位置的注意力权重，即软注意力图，根据得到的软注意力图，与之前提取到的图像的特征表示进行权重相乘，再求和，得到2048维的图像注意力特征表示；将得到的2048维的文本特征表示和图像注意力特征表示，使用多模态紧凑双线性融合算法MCB进行特征融合，得到16k融合特征，在得到融合特征后，后面一层是全连接层，最后使用softmax分类器对图文跨模态数据进行积极和消极二类的情感预测，接着对比真实的情感标签，对该紧凑双线性融合的图文跨模态情感分类模型MCBC进行训练；从图文标注情感测试数据集中抽取出图像及其对应的文字信息，送入到训练好的模型中，得到其相应的情感倾向，根据真实的情感标签，得到测试集的情感分类准确率。2.根据权利要求1所述的基于紧凑双线性融合的图文跨模态情感分类方法，其特征在于，所述软注意力图的生成方法，包括：将得到的2048维的文本特征表示，复制14*14＝256次，组合成2048*14*14的大小，再与之前得到的大小为2048*14*14的图像特征表示进行拼接，组合成4096*14*14大小的特征，接着经过两层卷积层，得到1*14*14大小的输出，接着使用softmax分类器得到1*14*14大小的软注意力图。3.根据权利要求2所述的基于紧凑双线性融合的图文跨模态情感分类方法，其特征在于，所述图像注意力特征表示的获取方法，包括：将得到的1*14*14的软注意力图，分别与提取到的2048个14*14大...
【专利技术属性】
技术研发人员：陈锻生，吴琼，吴扬扬，雷庆，张洪博，
申请(专利权)人：华侨大学，
类型：发明
国别省市：福建,35
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。