基于神经主题模型的图像集成分类方法及装置制造方法及图纸

本公开提供了一种基于神经主题模型的图像集成分类方法，包括：S1，对图像进行预处理，提取图像的词袋特征v和深度卷积神经网络特征vCNN，其中，图像包括训练集和测试集；S2，在神经主题模型中引入深度卷积神经网络特征vCNN，并结合集成分类方法softmax混合模型，构建图像集成分类的神经主题模型；S3，基于训练集优化图像集成分类的神经主题模型的目标函数，并求解模型参数；S4，利用优化后的图像集成分类的神经主题模型对测试集图像进行分类。本公开还提供了一种基于神经主题模型的图像集成分类装置。本公开基于神经主题模型的图像集成分类方法及装置，解决了基于神经主题模型DocNADE的图像集成分类的问题，改善了图像分类效果。

【技术实现步骤摘要】
基于神经主题模型的图像集成分类方法及装置
本公开涉及在计算机视觉领域中图像分类，尤其涉及一种基于神经主题模型的图像集成分类方法及装置。
技术介绍
随着计算机技术的发展，人们浏览的信息日益丰富，每天都有大量图片被上传到网络，由于数量巨大，人工已经无法对此进行分类，因此，研究高效可靠的图片分类算法有很迫切的社会需求。在计算机视觉领域中，首先要做的就是选取图像的特征描述。随着图像词袋(Bagofwords)特征的出现，主题模型广泛应用于图像分类和图像标注中。主题模型可用学习到的主题特征代替原始的图像底层特征，从而缩小高层语义概念与底层图像特征间的距离。Hofman在SIGIR1999会议上提出了经典概率主题模型PLSA，该模型使用所有词上的多项式分布来描述主题，并假设每一篇文档有不同的主题分布。Blei在PLSA基础上引入Dirichlet先验，在JMLR杂志上提出了LDA(LatentDirichletAllocation)模型，使模型更加鲁棒，应用更为广泛。2012年Larochelle和Lauly在NIPS会议上首次提出了一个无监督神经主题模型，文档神经自回归分布估计器(DocumentNeuralAutoregressiveDistributionEstimator，简称DocNADE)模型，获得了较好的主题特征，该模型假设每个词的生成仅与在其之前生成的词有关联，并直接建模文档为所有词的条件概率乘积，每个条件概率使用前馈神经网络生成。基于主题模型的图像分类工作大都基于这几个模型。主要分为两类方法：一类方法是分为两个阶段，先使用主题模型学习主题特征，再对其分类。另一类方法是采用一个阶段，将主题特征学习和分类器训练整合为一个模型，试图学习出适合分类的主题特征。近年来，这两种方式都有人进行了深入的研究，但是基于主题模型的图像分类工作大都使用词袋特征，未引入其它取值连续、辨识度又高的特征。另外，大多基于主题模型的图像分类或同时做图像分类和标注的任务都假设单一分类规则。面对类内相似度低、类间相似度高的真实图像，单一分类规则往往不能很好地拟合图像和类别间的关系。直观上建立多个分类规则更为合理，应为不同类型的图像建立不同的分类规则。然而，当含有潜变量的主题模型引入多个分类规则后，势必要增加参数求解的困难，甚至还会增加模型的时间复杂度。可见，主题模型中多分类规则的引入也是具有一定挑战性的。
技术实现思路
(一)要解决的技术问题鉴于上述技术问题，本公开提供了一种基于神经主题模型的图像集成分类方法及装置，解决了基于神经主题模型DocNADE的图像集成分类的问题，改善了图像分类效果。(二)技术方案根据本公开的一个方面，提供了一种基于神经主题模型的图像集成分类方法，包括以下步骤：S1，对图像进行预处理，提取图像的词袋特征v和深度卷积神经网络特征vCNN，其中，所述图像包括训练集和测试集；S2，在神经主题模型中引入所述深度卷积神经网络特征vCNN，并结合集成分类方法softmax混合模型，构建图像集成分类的神经主题模型；S3，基于训练集优化所述图像集成分类的神经主题模型的目标函数，并求解模型参数；S4，利用优化后的图像集成分类的神经主题模型对测试集图像进行分类。在一些实施例中，所述步骤S1包括以下子步骤：S11，输入图像和类标信息；S12，对图像进行特征检测，提取SIFT特征向量特征，即词袋特征v；S13，利用训练后的卷积神经网络，提取深度卷积神经网络特征vCNN。在一些实施例中，在所述步骤S12中，采用规则网格(RegularGrid)方法对图像进行特征检测，对每个图像区块提取128维SIFT特征向量特征。在一些实施例中，在所述步骤S12中，提取SIFT特征向量特征后使用K-means聚类形成码书，并将图像用码词词频表示。在一些实施例中，在所述步骤S13中，在ImageNet数据集上训练卷积神经网络VGG19，利用训练后的卷积神经网络VGG19，提取实验数据集上VGG19网络的倒数第二个全连接层特征，即深度卷积神经网络特征vCNN。在一些实施例中，在所述步骤S2中，将提取的SIFT词袋特征v＝[v1,v2,…,vD]和Deep-CNN特征vCNN作为网络的输入层，词袋特征v和类标y为网络输出层，结合集成分类方法softmax混合模型，将训练集图像和类标的联合概率建模为：其中，p(yl|v,vCNN)＝softmax(d+Ulh(vCNN,v))；p(vi＝t|vCNN,v<i)使用前馈神经网络结构建模，式中，v表示词袋特征，y表示类标，L表示分类器的总数，xl表示第l个Softmax的权重，yl表示图像在第l个分类器的预测值，D表示图像的词袋特征所包括的词的个数，vi表示图像中的第i个词v<i表示图像中在第i个词之前的词，即第1个到i-1个词；d、U表示参数，h()表示函数，v表示图像中任意一个词；g()表示sigmoid函数，c、T表示参数，表示参数矩阵；a表示softmax函数的输入，j表示任意一类别，C表示j的最大值；b、V表示参数，t、t’表示字典中词的序号；i、k表示图像中词的序号。在一些实施例中，在步骤S3中，所述目标函数为Vn表示训练集中第n幅图像的词袋特征，yn表示第n幅图像的类标，N为n的最大值所述模型参数的梯度为和在一些实施例中，通过随机梯度下降法求解模型参数。在一些实施例中，所述步骤S4包括以下子步骤：S41，输入待分类图像的SIFT特征向量特征和Deep-CNN特征；S42，将数据输入训练后的图像集成分类的神经主题模型，通过比较多个分类规则结果，寻找最大的预测值来得到类标，公式如下：其中，xl表示第l个softmax的权重，p(yl|vCNN,v)表示第l个softmax输出的概率；S43，输出该新图像的类标。根据本公开的另一个方面，还提供了一种基于神经主题模型的图像集成分类装置，包括：预处理模块，用于对图像进行预处理，提取图像的词袋特征v和深度卷积神经网络特征vCNN，其中，所述图像包括训练集和测试集；处理模块，用于在神经主题模型中引入所述深度卷积神经网络特征vCNN，并结合集成分类方法softmax混合模型，构建图像集成分类的神经主题模型；计算模块，用于基于训练集优化所述图像集成分类的神经主题模型的目标函数求解模型参数；以及分类模块，用于利用优化后的图像集成分类的神经主题模型对测试集图像进行分类。(三)有益效果从上述技术方案可以看出，本公开基于神经主题模型的图像集成分类方法及装置至少具有以下有益效果：神经主题模型DocNADE中引入Deep-CNN特征，并结合集成分类方法softmax混合模型，构建图像集成分类的神经主题模型，由此本公开基于神经主题模型的图像集成分类方法及装置具有高效性，具有很高的实用价值。附图说明通过附图所示，本公开的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分，并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本公开的主旨。图1为依据本公开实施例基于神经主题模型的图像集成分类方法流程图。图2为依据本公开实施例基于DocNADE的图像集成分类的神经主题模型网络结构。图3为依据本公开实施例集成休息模块的流程图本文档来自技高网...

【技术保护点】
一种基于神经主题模型的图像集成分类方法，包括以下步骤：S1，对图像进行预处理，提取图像的词袋特征v和深度卷积神经网络特征vCNN，其中，所述图像包括训练集和测试集；S2，在神经主题模型中引入所述深度卷积神经网络特征vCNN，并结合集成分类方法softmax混合模型，构建图像集成分类的神经主题模型；S3，基于训练集优化所述图像集成分类的神经主题模型的目标函数，并求解模型参数；S4，利用优化后的图像集成分类的神经主题模型对测试集图像进行分类。

【技术特征摘要】
1.一种基于神经主题模型的图像集成分类方法，包括以下步骤：S1，对图像进行预处理，提取图像的词袋特征v和深度卷积神经网络特征vCNN，其中，所述图像包括训练集和测试集；S2，在神经主题模型中引入所述深度卷积神经网络特征vCNN，并结合集成分类方法softmax混合模型，构建图像集成分类的神经主题模型；S3，基于训练集优化所述图像集成分类的神经主题模型的目标函数，并求解模型参数；S4，利用优化后的图像集成分类的神经主题模型对测试集图像进行分类。2.根据权利要求1所述的基于神经主题模型的图像集成分类方法，其中，所述步骤S1包括以下子步骤：S11，输入图像和类标信息；S12，对图像进行特征检测，提取SIFT特征向量特征，即词袋特征v；S13，利用训练后的卷积神经网络，提取深度卷积神经网络特征vCNN。3.根据权利要求2所述的基于神经主题模型的图像集成分类方法，其中，在所述步骤S12中，采用规则网格(RegularGrid)方法对图像进行特征检测，对每个图像区块提取128维SIFT特征向量特征。4.根据权利要求2所述的基于神经主题模型的图像集成分类方法，其中，在所述步骤S12中，提取SIFT特征向量特征后使用K-means聚类形成码书，并将图像用码词词频表示。5.根据权利要求2所述的基于神经主题模型的图像集成分类方法，其中，在所述步骤S13中，在ImageNet数据集上训练卷积神经网络VGG19，利用训练后的卷积神经网络VGG19，提取实验数据集上VGG19网络的倒数第二个全连接层特征，即深度卷积神经网络特征vCNN。6.根据权利要求1所述的基于神经主题模型的图像集成分类方法，其中，在所述步骤S2中，将提取的SIFT词袋特征v＝[v1,v2,…,vD]和Deep-CNN特征vCNN作为网络的输入层，词袋特征v和类标y为网络输出层，结合集成分类方法softmax混合模型，将训练集图像和类标的联合概率建模为：其中，p(yl|v,vCNN)＝softmax(d+Ulh(vCNN,v))；p(vi＝t|vCNN,v&a...

【专利技术属性】
技术研发人员：李晓旭，耿丙乾，常东良，喻梨耘，
申请(专利权)人：兰州理工大学，
类型：发明
国别省市：甘肃,62