基于短语包模型的图像类别标注方法技术

本发明专利技术为一种基于短语包模型的图像类别标注方法，该方法在现有的字包模型表示的基础上，引入视觉字之间的位置信息，提出了短语包模型表示策略。本发明专利技术有效的解决了传统字包模型缺乏位置信息导致判别性不足与加入分块的位置信息后对目标位移敏感之间的矛盾；使得图像在引入视觉字之间的位置信息而增加了判别性的同时，消除了对目标在图像中位移的敏感性，有效地提高了图像类别标注系统的性能，具有重要的应用价值。

【技术实现步骤摘要】

本专利技术属于模式识别与信息处理
，涉及基于短语包模型的图像类别标注 方法，具体的是一种图像分类方法。
技术介绍
由于数码相机等数码产品的低廉价格，图片、视频数据可以很方便的拍摄并保存 成方便计算机处理的电子形式。同时，互联网资源的迅猛发展，使得广大用户开始面临一个 庞大的数据资源。单纯的利用人力来维护和组织这些数据已经变得不现实。因此，开发一 种技术来完成图像、视频数据的自动标注，成了 一个热点问题。总的来说，如何合理的表示图像比后来用于对这些表示进行分类的分类技术更为 重要。道理可以通过一个例子来说两幅不同类别的图像，由于表示策略不好，被表示成了 相同的向量；此时，即使使用一个万能的分类器对这种情况也是无能为力的。因此，图像内 容表示，是图像类别标注技术中核心的问题之一。最初，人们更喜欢使用从整幅图像抽取的全局特征来表示图像。但是这种全局特 征在表示图像方面遇到很多问题，比如它对目标轻微的遮挡以及复杂背景的混淆缺乏鲁棒 性。另一方面，基于局部图像块的方法，却受到了越来越多的关注。人体生理学家发现，人类 视觉早期分为“留意前”阶段(pre-attentive stage)和“留意”阶段(attentive stage) 0 在“留意前”阶段，一些比较特别的局部特征开始捕获人的注意力；然后，在“留意”阶段，人 类视觉器官开始注意这些局部特征之间的关系。在这种思想的影响下，图像内容分类取得 了重大进展。对应着“留意前”阶段，大量的局部特征检测子和局部特征描述子被提出，用来捕 获图像中比较特别的局部特征。例如，目前的检测子有角点检测子、区域检测子、水滴状形 状检测子，边缘检测子等等。而为了对这些检测到的区域进行向量化描述，研究者又提出了 大量局部特征描述子，包括基于滤波的描述方法、基于统计的描述方法，基于边缘的描述 方法以及基于矩的描述方法等等。这些方法各有优缺点，被广泛的应用于局部特征的提取 过程之中。得到上面提到的局部特征以后，如何组织这些特征以利于分类开始提上日程， 也即，对应着人类视觉中的“留意”阶段。为了有效地组织这些局部特征，大量的组织 模型在过去的几年被先后提出。总的来说，这些模型大致可以分为一下几个大类字包 (bag-of-words)模型、部分-全局(part-structure)模型、轮廓片段相关的模型、语义场景 相关的模型、生物感知相关的模型等等。在这些模型当中，字包模型以其计算简单，性能鲁 棒等优点，在过去的几年取得了很大的成功。字包模型首先被应用于文本分类领域，它的主要思想是建立一个码本，码本中包 含对分类具有判别性的字；然后统计码本中的每个字在当前文本中出现的次数，形成一个 出现次数直方图向量。然后这个向量被用作文本的表示向量，输入分类器进行分类。然后，这种思想被引入计算机视觉。其中的文本与字分别对应着计算机视觉领域4的图像和局部特征(又称视觉字)，码本在计算机视觉领域也成为码本，只是它是由一系列 具有代表性的局部特征/视觉字构成；相应的，图像被表示成了码本中的局部特征在图像 中出现次数形成的直方图向量。这些向量可以代表图像直接被输入分类器进行分类。但是，正如众多研究者指出的那样，字包模型把图像中重要的位置信息丢掉了。为 了引入部分位置信息，有的研究者提出把原图像分块，然后在每个块内分别建立直方图的 方式。但是，随着分块的增多，分类结果对目标在图像中的位置变得越来越敏感，使得字包 模型对目标在图像中位置鲁棒的优点消失殆尽。
技术实现思路
为了解决现有字包模型存在的问题，本专利技术目的是在不影响现有的字包模型鲁棒 性的同时引入局部特征点之间的结构位置信息，提高图像表示的质量，进而提高自动标注 系统的性能，为此本专利技术提供一种。为了达到所述目的，本专利技术提供一种，该图 像类别标注方法，通过分析字包模型中视觉字之间的位置关系，将视觉字发展为视觉短语， 进而提出基于短语包模型的图像内容表示，然后利用短语包模型的表示结果训练分类器以 及输入分类器进行类别标注。其中，所述基于短语包模型的图像内容表示包括步骤如下步骤S1 对任意图像Ip利用局部特征点检测子，得到图像中所有的局部特征点Pi ={PiJ}，j = 1，2，...，队，其中队为在图像Ii中检测到的所有局部特征点的个数；步骤S2 对步骤S1得到的局部特征点利用局部特征描述子，描述它周围局部 区域的纹理特征，形成局部特征点的向量描述fu，将向量描述作为局部特征点Pij对 应的视觉字；步骤S3 对步骤S1得到的局部特征点Pij描述图像Ii中其它特征点piu G Pi，U兴j 在局部特征点周围的分布情况，形成分布向量Sij ；步骤S4 向量描述与分布向量联接，形成局部特征点对应的视觉短语 Zij，Zij — ；步骤S5 在所有图像得到的视觉短语中，选择K个具有代表性的视觉短语，构建码 本C ；将码本中的每个视觉短语作为码本短语；步骤S6 将每一幅图像Ii中的所有局部特征点Pij对应的视觉短语Zij按照最近 邻原则，映射到码本C中距离它最近的码本短语上面，将该码本短语作为视觉短语Zij的代 表；步骤S7 统计码本C中每个码本短语在图像Ii中出现的次数，形成码本短语出现 次数直方图向量\，作为图像Ii的基于短语包模型的图像内容表示。其中步骤S1中局部特征点检测子是现有众多局部特征点检测子中任意的一种。其中步骤S2中局部特征点描述子是现有众多局部特征点描述子中任意的一种。其中步骤S3中描述图像Ii中其它特征点piu G Py u兴j在局部特征点Pij周围 的分布情况具体方式如下步骤S31 以局部特征点Pij为圆心，分别以巧，r2, . . . , rE为半径画R个同心圆； 将得到的每个圆环，按照方向均勻0等分，得到的多个格子，需要注意的是最小的圆不作划5分；步骤S32 统计图像Ii中其它特征点piu e Pi，u兴j落入每个格子内的个数，未落 入格子内的特征点忽略不计；步骤S33 属于同一方向的格子内点的个数相加，选择特征点数量最多的方向，作 为局部特征点周围特征点分布的主方向eij;步骤S34 为了使得局部特征点Pij对距离比较近的其它特征点敏感，而随着距离 增加，影响减弱，将分别以巧，巧，…，&为半径的R个同心圆为外界的格子内的个数分别除 以 ，S2，...，，作为每个格子内的新的个数；步骤S35 顺次统计每个格子内的个数，形成特征点？。.周围特征点分布直方图 sij;具体统计方式按照从里向外的方式，对处于同一圆环上的方格，从主方向开始，顺 时针旋转统计。其中步骤S5中码本C的构建采用K-均值聚类的方式；具体描述如下从所有图 像得到的视觉短语中，随机选择M个视觉短语；对这M个视觉短语进行K-均值聚类，形成K 个聚类中心；这K个聚类中心即为我们需要的具有代表性的码本短语，构成码本C。其中，所述分类器是普通的支持向量机分类器。本专利技术的有益效果与现有的传统基于字包表示模型的图像类别标注方法相比， 本专利技术方法具有如下特点1.与传统的字包模型表示相比，本专利技术中的短语包模型引入局部特征/视觉字之 间的结构位置信息，可以大大提高表示向量的判别性。2.与采用图像分块的方法相比，本专利技术只是捕获局部特征点与局部范围内其他特 征点之间的结构位置信息本文档来自技高网...

【技术保护点】
基于短语包模型的图像类别标注方法，其特征在于，该图像类别标注方法，通过分析字包模型中视觉字之间的位置关系，将视觉字发展为视觉短语，进而提出基于短语包模型的图像内容表示，然后利用短语包模型的表示结果训练分类器以及输入分类器进行类别标注。

【技术特征摘要】

【专利技术属性】
技术研发人员：肖柏华，张琳波，王春恒，惠康华，邵允学，蔡新元，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：11[中国|北京]