一种基于局部空间约束图模型的图像分类方法技术

本发明专利技术提供一种在传统的图模型中加入图像的空域信息的图像分类方法。一种基于局部空间约束图模型的图像分类方法，在现有基于概率图模型的图像分类的基础上，在传统的图模型中加入描述图像子区域位置的空域信息，提高了图像的分类精度。

【技术实现步骤摘要】
一种基于局部空间约束图模型的图像分类方法
本专利技术提出图像分类技术，是一种基于图模型的分类技术。
技术介绍
由于图像光照、尺度和姿态的变化，精确的图像分类非常具有挑战性。目前的图像分类方法大致可以分为三步：首先，从图像的稠密块(均匀划分大小的块)中提取底层特征(如颜色特征、梯度特征、纹理特征)，然后，用图像编码的技术根据底层特征得到图像的特征，最后，再用分类器根据这些特征进行学习。因为这些方法都是直接从底层特征出发，而底层特征和图像类别(如图像场景类别)有着语义鸿沟，所以往往不能取得很好的分类结果。中层语义(中层特征)是根据图像的底层特征和监督信息提取而得，它能很好地改善这个问题。作为目前常用的提取中层语义的方法，图模型已经获得广泛的应用。所谓图模型，是一种将变量之间的关系用图的结构来表示的工具。其中，每个节点代表一个变量，而变量间的关系可以用点与点间的关系来表示。最经典的图模型是LDA(LatentDirichletAllocation)模型，其主要思想是引入了潜在主题。通过推断每个单词对应的潜在主题，可以得到中层语义。LDA最开始是用于文本处理，因为其优越的性能，图像处理也开始使用LDA模型。但是图像和文本不同，并没有单词的概念。于是，聚类量化的方法便引入了进来。即将每一幅图像分为稠密的图像块，提取每个图像块的底层特征，预先设置聚类中心的个数N后，对这些底层特征通过聚类的方法就能选取到N个聚类中心，聚类中心实为选取的某个图像块底层特征。图像中每个图像块的底层特征通过聚类都对应属于一个聚类中心。图像块的视觉单词即是该图像块对应的聚类中心。因为在训练分类模型时，需要使用图像的标签信息(图像类别)，而传统的LDA中并没有监督的类别节点，所以目前有很多模型在LDA的基础上做了改进，构建了监督的图模型。目前主要有三种添加监督信息的方法，一种是为每一个类别都训练一个控制主题分布的超参数。第二种是将类别作为主题的父节点，根据图像的主题分布，用拟合的方法来预测图像的类别。第三种是针对每一种类别，训练特有的主题集。前两种学习到的主题包含数据集的结构信息，但是与图像的类别并没有太大的联系，而第三种方法提取的是特定类别对应的主题，因此更具类别判别性。但是，目前的基于概率图模型的方法都是基于直方图BOW表示的，忽略了图像中视觉单词在空域上的相互关系。
技术实现思路
本专利技术所要解决的技术问题是，提供一种在传统的图模型中加入图像的空域信息的图像分类方法。本专利技术为解决上述技术问题所采用的技术方案是，一种基于局部空间约束图模型的图像分类方法，包括以下步骤：1)参数学习步骤：1-1)将训练集里的每一幅图像分解为N1个子区域；1-2)将每个子区域子划分出N2个均匀的图像块；1-3)提取每个图像块的底层特征，将所有图像块的底层特征放入底层特征集；1-4)预设KC个图像类别，用聚类的方法得到底层特征的KC个聚类中心；用聚类中心对底层特征集中的底层特征进行量化得到图像块的视觉单词；1-5)将训练集中所有子区域图像块对应的视觉单词代入局部空间约束的图模型中，进行参数的学习：1-5-1)先更新简单图模型的dirichlet分布超参数γ和多项式分布参数χ，参数γ、χ中各元素的迭代更新过程为：其中，表示简单模型中第d幅图像第n1子区域dirichle分布超参数的第i维，初值为1/KZ，d的取值范围为1～D，D为训练集中图像的总数，n1的取值范围为1～N1，i的取值范围为1～KZ，KZ为中层语义的总数，αi是局部空间约束图模型中dirichlet分布超参数的第i维，αi的初值为1/KZ，cd表示第d幅图像的类别，为类别为局部空间约束图模型中cd的第d幅图像中的子区域l在主题i下视觉单词j的多项式分布参数，的初值为1/V，V表示视觉单词的总数，是简单模型中第d幅图像第n1个子区域中第n2个图像块对应的多项式分布参数的第i维，的初值为1/KZ，n2的取值范围为1～N2，ψ表示对logΓ(·)求导，Γ(·)为Γ分布函数，KT表示位置的总数，表示简单模型中第d幅图像第n1子区域第n2个图像块对应视觉单词为第j个视觉单词，为简单模型中第d幅图像第n1子区域的位置为第l个位置；将简单模型中所有的主题下dirichle分布超参数组成参数γ，将简单模型中所有的主题下视觉单词的多项式分布参数组成参数χ，判断当前参数γ和χ是否满足迭代结束条件，如是，进入步骤1-5-2)，如否，继续迭代过程；1-5-2)将参数γ和χ作为输入，用牛顿-拉夫逊Newton-Raphson迭代方法更新局部空间约束图模型中主题下的狄利克雷dirichlet分布超参数α；局部空间约束图模型中主题下视觉单词的多项式分布参数β中各元素的更新方法如下：其中，表示类别为c的图像的子区域l在主题i下视觉单词j的多项式分布参数，函数δ(cd,c)表示当cd＝c时，c表示图像的类别，函数输出为1，否则函数输出为0；判断当前得到的参数α、β是否满足迭代结束的条件，如是，则进入步骤2，否则返回步骤1-5-1)继续迭代更新参数γ和χ；2)图像测试：2-1)将测试图像分成分解为N1个子区域，将每个子区域子划分出N2个均与的图像块，对于每个图像块提取底层特征进行量化得到对应的视觉单词；2-2)将通过学习得到模型参数α、β代入迭代更新运算，求得参数γ、χ，参数γ、χ中各元素的迭代更新过程为：当γ和χ两个参数迭代至收敛后，得到测试图像对应的简单图模型的dirichlet分布超参数γ和多项式分布参数χ；2-3)将测试图像对应的简单图模型的多项式分布参数χ以及学习得到局部空间约束图模型中主题下视觉单词的多项式分布参数β用来计算测试图像的类别c*为：其中，为取目标函数最大时c的值，是简单模型中测试图像第n1个子区域中第n2个图像块对应的多项式分布参数的第i维，表示简单模型中测试图像第n1子区域第n2个图像块对应视觉单词为第j个视觉单词，βlij为测试图像中的子区域l在主题i下视觉单词j的多项式分布参数。本专利技术的有益效果是，在现有基于概率图模型的图像分类的基础上，本专利技术在传统的图模型中加入描述图像子区域位置的空域信息，能提高图像的分类精度。具体实施方式本专利技术主要分为模型的参数学习部分和图像测试部分。1、参数学习：1-1、首先，将训练集里的每一幅图像进行了预处理，统一将图像的最大边设定为300，而图像的比例不变。再将图像分解为N1个子区域，每个子域的大小相同。常规的N1＝4，即，将图像分解为左上、左下、右上、右下4个子区域。当然，本领域技术人员可以根据需要调整子区域的个数。1-2、将每个子区域子划分出N2个稠密的块。对于图像分块，这里是先将每幅图像在提取图像块时，考虑到尺度不变性，选取了多尺度的图像块，分别为4×4，8×8，16×16和24×24。1-3、提取每个图像块的底层特征，将所有图像块的底层特征放入底层特征集。本实施采用一种图像纹理特征SIFT特征作为底层特征，本领域技术人员可以根据需要采用其它的一种底层特征或多种底层特征的组合作为提取的特征。底层特征集中包括有所有尺寸下图像块的底层特征。1-4、预设KC个图像类别，用聚类的方法得到底层特征的KC个聚类中心。用聚类中心对底层特征集中的底层特征进行量化。量化的过程为：分本文档来自技高网...

【技术保护点】
一种基于局部空间约束图模型的图像分类方法，其特征在于，包括以下步骤：1)参数学习步骤：1‑1)将训练集里的每一幅图像图像分解为N1个子区域；1‑2)将每个子区域子划分出N2个均与的图像块；1‑3)提取每个图像块的底层特征，将所有图像块的底层特征放入底层特征集；1‑4)预设KC个图像类别，用聚类的方法得到底层特征的KC个聚类中心；用聚类中心对底层特征集中的底层特征进行量化得到图像块的视觉单词；1‑5)将训练集中所有子区域图像块对应的视觉单词代入局部空间约束的图模型中，进行参数的学习：1‑5‑1)先更新简单图模型的dirichlet分布超参数γ和多项式分布参数χ，参数γ、χ中各元素的迭代更新过程为：γdn1i=αi+Σn2=1N2χdn1n2i]]>logχdn1n2i=ψ(γdn1i)+Σl=1KTΣj=1VWdn1n2jtdn1llogβlijcdΣi=1KZ(ψ(γdn1i)+Σl=1KTΣj=1VWdn1n2jtdn1llogβlijcd)]]>其中，表示简单模型中第d幅图像第n1子区域dirichle分布超参数的第i维，初值为1/KZ，d的取值范围为1～D，D为训练集中图像的总数，n1的取值范围为1～N1，i的取值范围为1～KZ，KZ为中层语义的总数，αi是局部空间约束图模型中dirichlet分布超参数的第i维，αi的初值为1/KZ，cd表示第d幅图像的类别，为类别为局部空间约束图模型中cd的第d幅图像中的子区域l在主题i下视觉单词j的多项式分布参数，的初值为1/V，V表示视觉单词的总数，是简单模型中第d幅图像第n1个子区域中第n2个图像块对应的多项式分布参数的第i维，的初值为1/KZ，n2的取值范围为1～N2，ψ表示对logΓ(i)求导，Γ(i)为Γ分布函数，KT表示位置的总数，表示简单模型中第d幅图像第n1子区域第n2个图像块对应视觉单词为第j个视觉单词，为简单模型中第d幅图像第n1子区域的位置为第l个位置；将简单模型中所有的主题下dirichle分布超参数组成参数γ，将简单模型中所有的主题下视觉单词的多项式分布参数组成参数χ，判断当前参数γ和χ是否满足迭代结束条件，如是，进入步骤1‑5‑2)，如否，继续迭代过程；1‑5‑2)将参数γ和χ作为输入，用牛顿‑拉夫逊Newton‑Raphson迭代方法更新局部空间约束图模型中主题下的狄利克雷dirichlet分布超参数α；局部空间约束图模型中主题下视觉单词的多项式分布参数β中各元素的更新方法如下：βlijc=Σd=1DΣn1=1N1Σn2=1N2δ(cd,c)tdn1lχdn1n2iWdn1n2jΣj=1VΣd=1DΣn1=1N1Σn2=1N2δ(cd,c)tdn1lχdn1n2iWdn1n2j]]>其中，表示类别为c的图像的子区域l在主题i下视觉单词j的多项式分布参数，函数δ(cd,c)表示当cd＝c时，c表示图像的类别，函数输出为1，否则函数输出为0；判断当前得到的参数α、β是否满足迭代结束的条件，如是，则进入步骤2，否则返回步骤1‑5‑1)继续迭代更新参数γ和χ；2)图像测试：2‑1)将测试图像分成分解为N1个子区域，将每个子区域子划分出N2个均与的图像块，对于每个图像块提取底层特征进行量化得到对应的视觉单词；2‑2)将通过学习得到模型参数α、β代入迭代更新运算，求得参数γ、χ，参数γ、χ中各元素的迭代更新过程为：γdn1i=αi+Σn2=1N2χdn1n2i]]>logχdn1n2i=ψ(γdn1i)+Σl=1KTΣj=1VWdn1n2jtdn1llogβlijcdΣi=1KZ(ψ(γdn1i)+Σl=1KTΣj=1VWdn1n2jtdn1llogβlijcd)]]>当γ和χ两个参数迭代至收敛后，得到测试图像对应的简单图模型的dirichlet分布超参数γ和多项式分布参数χ；2‑3)将测试图像对应的简单图模型的多项式分布参数χ以及学习得到局部空间约束图模型中主题下视觉单词的多项式分布参数β用来计算测试图像的类别c*为：c*=argmaxcΣn1=1N1Σn2=1N2Σi=1Kzχn1n2iWn1n2jlogβlij]]>其中，为取目标函数最...

【技术特征摘要】
1.一种基于局部空间约束图模型的图像分类方法，其特征在于，包括以下步骤：1)参数学习步骤：1-1)将训练集里的每一幅图像分解为N1个子区域；1-2)将每个子区域子划分出N2个均匀的图像块；1-3)提取每个图像块的底层特征，将所有图像块的底层特征放入底层特征集；1-4)预设KC个图像类别，用聚类的方法得到底层特征的KC个聚类中心；用聚类中心对底层特征集中的底层特征进行量化得到图像块的视觉单词；1-5)将训练集中所有子区域图像块对应的视觉单词代入局部空间约束的图模型中，进行参数的学习：1-5-1)先更新简单图模型的dirichlet分布超参数γ和多项式分布参数χ，参数γ、χ中各元素的迭代更新过程为：其中，表示简单模型中第d幅图像第n1子区域dirichle分布超参数的第i维，初值为1/KZ，d的取值范围为1～D，D为训练集中图像的总数，n1的取值范围为1～N1，i的取值范围为1～KZ，KZ为中层语义的总数，αi是局部空间约束图模型中dirichlet分布超参数的第i维，αi的初值为1/KZ，cd表示第d幅图像的类别，为类别为局部空间约束图模型中cd的第d幅图像中的子区域l在主题i下视觉单词j的多项式分布参数，的初值为1/V，V表示视觉单词的总数，是简单模型中第d幅图像第n1个子区域中第n2个图像块对应的多项式分布参数的第i维，的初值为1/KZ，n2的取值范围为1～N2，ψ表示对logΓ(·)求导，Γ(·)为Γ分布函数，KT表示位置的总数，表示简单模型中第d幅图像第n1子区域第n2个图像块对应视觉单词为第j个视觉单词，为简单模型中第d幅图像第n1子区域的位置为第l个位置；将简单模型中所有的主题下dirichle分布超参数组成参数γ，将简单模型中所有的主题下视觉单词的多项式分布参数组成参数χ，判断当前参数γ和χ是否满足迭代结束条件，如是，进入步骤1-5-2)，如否，继续迭代过程；1-5-2)将参数γ和χ作为输入，用牛顿-拉夫逊Newton-Raphson迭代方法更新局部空间约束图模型...

【专利技术属性】
技术研发人员：李宏亮，黄超，罗冰，罗雯怡，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51