一种基于适应性编码和几何平滑汇合的图像分类方法技术

本发明专利技术公开了一种基于适应性编码和几何平滑汇合的图像分类方法，包含如下步骤：图像底层局部特征提取；码书学习；特征编码；特征汇合；训练数据分割；建立模型；图像分类。本发明专利技术应用在图像分类领域，在图像表示上，本发明专利技术能够保持码书以及特征编码的结构化信息，能够大大降低码书生成的时间复杂度，以及生成具有结构化特性的图像特征表示，充分利用了图像特征丰富的空间位置信息，在图像分类上有着显著的效果，因此本发明专利技术具有较高的使用价值。

【技术实现步骤摘要】
一种基于适应性编码和几何平滑汇合的图像分类方法
本专利技术属于图像分类领域，是一种基于适应性编码和几何平滑汇合的图像分类方法。
技术介绍
图像分类任务主要包括目标和场景分类，是计算机视觉和模式识别领域中重要的研究领域之一。近年来由于一些局部特征能够展现图像中独特的信息，故被广泛用来表示图像，如SIFT特征和HOG特征。这些特征主要通过一些小的，可能重叠的且独立的局部块来进行图像内容的表示。由于计算复杂度和对噪声的敏感度，这些底层局部特征并不会直接用来进行图像分类。一种普遍的策略是将这些特征编码为全局的图像特征表示，因此基于码书的模型(BoW模型)及其扩展方法被提出且在视觉领域中获得了成功的应用。基于码书模型的图像分类框架主要由以下三步组成：(1)对图像中感兴趣的点抽取底层局部特征；(2)学习码书并对底层特征进行局部编码；最后(3)将所有的编码结果进行汇合得到最终的图像特征表示。以上的框架由于特征量化和空间汇合，在底层特征编码过程中难免会引起图像空间信息的损失。这种不可恢复的信息损失严重损害了图像特征表示的判别性，导致了最终图像分类性能的下降。因此研究人员提出各种编码方法并且通过一些汇合策略来避免图像信息的损失，生成鲁棒的图像特征表示。在编码策略当中，普遍有硬编码策略，软编码策略，基于重构的编码策略以及局部线性限制的编码策略(Locality-constrainedLinearCoding，LLC)。然而，LLC方法是通过标准的K-means算法生成码书，当数据集非常大的时候码书训练时间复杂度比较高，此外，上述大部分编码方法只考虑了编码过程中的显著特征信息，而忽略了显著编码特征周围局部特征的几何分布。从而特征描述符只保留了每个码字的最大的响应值，没有充分利用显著特征周围局部特征的空间几何位置信息，导致了图像空间信息的损失。
技术实现思路
专利技术目的：本专利技术为了解决现有技术中的问题，提出了一种适应性局部限制线性编码方法及几何平滑汇合策略生成图像结构化特征表示的图像分类方法。
技术实现思路
：本专利技术公开了一种基于适应性编码和几何平滑汇合的图像分类方法，包含如下步骤：对待分类的图像和图像数据库中所有图像分别进行以下步骤1～步骤4的处理；步骤1，图像提取局部特征：在图像I的N个位置进行密集采样，利用尺度不变特征转换方法(Scale-invariantfeaturetransform，SIFT)抽取底层局部特征F；N一般取值为大于10000的自然数，本专利技术中N取200000。步骤2，对采样的底层局部特征，利用k-均值(k-means)方法以及其扩展方法训练过完备的码书；步骤3，利用码书对采样的底层局部特征进行编码；步骤4，将所有的编码结果进行汇合得到全局图像特征表示；步骤5，将全部图像的全局特征进行随机采样：随机以每类图像的一定数量(取值为自然数，本专利技术中取值为1～30，)的图像作为训练数据，其余作为测试图像；本专利技术中，所有图像数据库中的图像都自带类标识。步骤6，对全局图像特征表示使用支持向量机(SupportVectorMachine，SVM)进行建模；步骤7，利用分类模型对待测试图像进行分类；步骤1图像提取底层局部特征具体包括如下步骤：利用相同的比率，每幅图像都将被调整成为300*300像素，本专利技术以每步6像素从图像中以16*16的像素框抽取底层局部特征F。步骤2的码书学习包括：首先利用基于封闭簇的快速近似K-means算法初始化码书，手段为利用寻找活跃点来提高K-means算法在分配阶段的正确率和效率：对于初始给定的K(K<＝N，一般取500或1000，即字典维数，K在本专利技术中优选地取1000)个簇中心和一个由随机分割树(RandomPatitionTree，RPTree)生成的封闭簇集合其中上标t表示为初始化时的迭代次数，t＝1,2,…,τ，τ取10。对每个特征若则定义并更新距离其中表示封闭簇集合所含特征的个数，D[n]表示特征fn的最近距离，indexfn表示特征fn所属的簇；之后更新每个封闭簇的中心特征：并重新计算中心特征的位置：基于每个中心特征分布调整码书：对于所有的局部特征定义向量eij＝fij-ci，fij表示第i个簇中第j个特征，并定义ci的切平面向量近似为计算点积其中ci的相对位置由点积密度决定；根据切平面向量的方向更新中心特征，具体如下：若则定义适应性因子然后计算权重ωi＝ηi*σ，其中σ是第i个簇的距离方差，最后更新中心特征为否则保持不变，其中γ在本专利技术中优选为0.75；对于上述步骤进行最优条件检查，若收敛至阈值τ或达到最大迭代次数后终止，从而得到码书B。阈值τ取值为自然数，本专利技术中优选为10。步骤3的编码阶段包括：对于采样的图像底层局部特征输入F＝[f1，f2，...，fN]∈RN，通过过完备的码书可以保持编码结果的稀疏性，根据局部限制线性方法(LLC)编码，需要根据以下的目标函数进行编码：在编码之前，需要根据码书的密度关系有机的选择对保持结构化信息更为有效的编码基：定义聚类中心点ci的估计密度为：其中M是类ζj的结点个数且是类中各元素与中心特征距离的方差值。粗略地选择f的近邻中心特征集合，本专利技术中优选的选择10个中心特征，然后根据以下两个条件从这个集合中适应性地选择中心特征作为编码基：条件1：ci是f的两个最近邻特征之一；条件2：ci的估计密度其中是所有中心的平均密度；之后根据之前的目标函数对F进行编码，在上式中，⊙记录了元素之间的点乘，si是f和码书B中第i个编码基的距离：根据目标函数固定了f和B能够获得局部的适应性编码α。步骤4的特征汇合获得全局图像特征的步骤包括：对每幅图像的编码矩阵V∈Rk×N矩阵，每个码字都能获得高冗余度的多个响应值，于是需要采用汇合策略将编码响应向量联结为一个全局图像统计向量。定义具体的汇合操作符为：Gg(v)＝Εnwnvn＝Vw，n＝1，2，…，N。这里w＝[w1，w2，…，wN]T∈RN定义为基于几何平滑汇合策略的权重向量，Gg(v)是最终图像的几何平滑汇合特征向量。|V|是图像的几何图像子空间区域的非零的个数。对于每个wn，定义为1≤n≤N，其中，an＝(xn，yn)和amax＝(xmax，ymax)分别为局部编码特征和最大编码特征在图像中空间位置的坐标，σ′是所有非零的编码特征空间坐标位置距离的方差；从而汇合操作符展开为：其中||v||∞＝maxvmax，max是图像中每个局部编码特征最大响应值的相对位置，H(v)是基于特征编码空间位置最大汇合的平均值。步骤5的采样阶段包括：将步骤4获得的所有图像数据库中的全局特征向量按类排列，对每类图像的全局图像特征，随机选择一定数量的特征作为训练数据，在本专利技术中，在Caltech-101以及Caltehc-256数据集上选择30作为训练数据，其余的特征作为待分类数据。步骤6的建模阶段包括：对于训练数据的所有全局图像特征，对其使用线性支持向量机进行建模。步骤7的分类阶段包括：对于待分类的图像的全局图像特征，利用步骤6中所得到的模型对这些向量进行分类判定，以获得最终的分类结果。本专利技术是为了解决现有技术忽略了显著编码特征周围局部特征的几何分布，以及码书的结构性信息而提出的方法。本专利技术具有以下特征：1)在码书学习过程本文档来自技高网...

【技术保护点】
一种基于适应性编码和几何平滑汇合的图像分类方法，其特征在于，包含以下步骤：对待分类的图像和图像数据库中所有图像分别进行以下步骤1～步骤4的处理；步骤1，图像提取底层局部特征：在图像I的N个位置进行采样，利用尺度不变特征转换方法抽取底层局部特征F；步骤2，对采样的底层局部特征，进行码书学习；步骤3，利用码书对采样的底层局部特征进行编码；步骤4，将所有的编码结果进行汇合得到全局图像特征；步骤5，将图像数据库中的全部图像的全局特征进行随机采样：随机以每类图像的一定数量的图像作为训练图像，其余作为测试图像；步骤6，将训练图像的全局图像特征表示使用支持向量机进行建模；步骤7，利用分类模型对待分类图像进行分类。

【技术特征摘要】
1.一种基于适应性编码和几何平滑汇合的图像分类方法，其特征在于，包含以下步骤：对待分类的图像和图像数据库中所有图像分别进行以下步骤1～步骤4的处理；步骤1，图像提取底层局部特征：在图像I的N个位置进行采样，利用尺度不变特征转换方法抽取底层局部特征F；步骤2，对采样的底层局部特征，进行码书学习；步骤3，利用码书对采样的底层局部特征进行编码；步骤4，将所有的编码结果进行汇合得到全局图像特征；步骤5，将图像数据库中的全部图像的全局特征进行随机采样：随机以每类图像的一定数量的图像作为训练图像；步骤6，将训练图像的全局图像特征表示使用支持向量机进行建模；步骤7，利用分类模型对待分类图像进行分类；步骤1具体包括如下步骤：将每幅图像都调整成为300*300像素，以每步6像素从图像中以16*16的像素框抽取方法抽取底层局部特征F；步骤2的码书学习阶段包括如下步骤：利用基于封闭簇的快速近似K-means算法初始化码书：对于初始给定的K个簇中心和一个由随机投影树生成的封闭簇集合其中上标t表示为初始化时的迭代次数，t＝1,2,…,τ，对每个特征N为取值为大于10000的自然数，若则定义并更新距离其中表示封闭簇集合所含特征的个数，D[n]表示特征fn的最近距离，indexfn表示特征fn所属的簇；之后更新每个封闭簇中的特征：并重新计算中心特征：基于每个中心特征分布调整码书：对于所有的局部特征定义向量eij＝fij-ci，其中，fij表示第i个簇中第j个特征，并定义ci的切平面向量近似为计算点积其中ci的相对位置由点积密度决定；根据切平面向量的方向更新中心特征，具体如下：若则定义适应性因子然后计算权重ωi＝ηi*σ，其中σ是第i个簇的距离方差，最后更新中心特征为否则保持不变；γ取值为0.75；对于上述步骤进行最优条件检查，若收敛至阈值τ或达到最大迭代次数后终止，从而得到码书B。2.根据权利要求1所述的一种基于适应性编码和几何平滑汇合的图像分类方法，其特征在于，步骤3包括如下步骤：对于步骤2得到的码书B和底层局部特征F，定义封闭簇中心特征ci的估计密度为pi：其中M是封闭簇ζi的元素个数且是封闭簇中各元素与中心特征距离的方差值；首先粗略地选择...

【专利技术属性】
技术研发人员：杨育彬，王喆正，毛晓蛟，李亚楠，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32