【技术实现步骤摘要】
一种基于信息增益的CNN和LSTM图像高层语义理解方法
本专利技术涉及图像语义理解领域，尤其涉及一种基于信息增益的CNN和LSTM图像高层语义理解方法。
技术介绍
图像语义理解近年来已经成为计算机科学领域的热点研究领域。传统的图像语义理解是综合性的交叉学科，涉及到图像工程，计算机视觉，人工智能和认知学等领域。随着机器学习在近几年的快速发展，图像语义理解问题也从传统经典的算法也过渡到利用神经网络训练的目前主流的图像理解算法。图像语义理解，目前的方法集中在以下几个方面：(1)基于图像分类的方法图像分类问题需要更好的获得输入图像的特征向量，并基于特征向量学习优化。传统的算法使用常见的图像特征是HOG特征。HOG特征是将归一化的图像分割成若干个像素块，计算每个像素块的亮度梯度并将所有的像素块的亮度梯度进行串联。(2)基于图像检索的方法在传统的图像理解算法技术中，图像分类，相似图像索引是主要的研究方向。图像分类问题需要更好的获得输入图像的特征向量，并基于特征向量学习优化。传统的算法使用常见的图像特征是HOG特征。HOG特征是将归一化的图像分割成若干个像素块，计算每个像素块的...
【技术保护点】
1.一种基于信息增益的CNN和LSTM图像高层语义理解方法，其特征在于包括：构建改进的卷积神经网络、构建卷积神经网络和长短期记忆网络联合神经网络、数据预处理和图像语义解读；所述构建改进卷积神经网络，是利用大规模图像语义数据集构建并改进卷积神经网络；所述构建卷积神经网络和长短期记忆网络联合神经网络，是利用改进的卷积神经网络和长短期记忆网络构建联合神经网络；所述数据预处理，是将图像进行数据增强的操作，同时将场景的文本标签实现嵌入操作完成数据预处理；所述图像语义解读，是将图像特征输入训练完成的模型中进行图像语义解读。
【技术特征摘要】
1.一种基于信息增益的CNN和LSTM图像高层语义理解方法，其特征在于包括：构建改进的卷积神经网络、构建卷积神经网络和长短期记忆网络联合神经网络、数据预处理和图像语义解读；所述构建改进卷积神经网络，是利用大规模图像语义数据集构建并改进卷积神经网络；所述构建卷积神经网络和长短期记忆网络联合神经网络，是利用改进的卷积神经网络和长短期记忆网络构建联合神经网络；所述数据预处理，是将图像进行数据增强的操作，同时将场景的文本标签实现嵌入操作完成数据预处理；所述图像语义解读，是将图像特征输入训练完成的模型中进行图像语义解读。2.根据权利要求1所述的一种基于信息增益的CNN和LSTM图像高层语义理解方法，其特征在于，所述构建改进卷积神经网络采用以下步骤：S11：获取公开的大规模图像语义数据构建大规模图像语义数据集；S12：将所述数据集处理为固定大小的224*224RGB图像，作为卷积神经网络的输入；S13：输入图像通过5层卷积层，卷积核大小为3*3，步长为1个像素，填充为1个像素；S14：空间池化由五个最大池化层进行，步长为2，网络最后是三个全连接层,将最后的全连接层输出1000维向量作为后续的LSTM网络的输入。3.根据权利要求2所述的一种基于信息增益的CNN和LSTM图像高层语义理解方法，其特征在于，卷积神经网络中所有隐藏层都使用ReLU作为激活函数并增加Dropout随机失活。4.根据权利要求1所述的一种基于信息增益的CNN和LSTM图像高层语义理解方法，其特征在于，所述构建卷积神经网络和长短期记忆网络联合神经网络，包括如下子步骤：S21：利用卷积神经网络输出的全连接层1000维特征，作为LSTM网络的输入；S22：使用信息增益作为模型的损失函数，联合神经网络中度量图像特征分...
【专利技术属性】
技术研发人员：郝玉洁，林劼，崔建鹏，杜亚伟，党元，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。