图像分类方法及图像分类装置制造方法及图纸

本发明专利技术公开了一种图像分类方法及图像分类装置，其中该图像分类方法包括以下步骤：图像分割步骤，将输入的图像分割为多个区域；特征提取步骤，提取每个区域的视觉特征；第一分类步骤，对于每个区域，根据所提取的所述区域的视觉特征，利用第一分类器，按照预定的多个类别对所述区域进行多类分类；上下文关系特征生成步骤，根据每个区域的分类结果来生成所述图像的上下文关系特征；以及第二分类步骤，根据所生成的所述图像的上下文关系特征，利用第二分类器，确定所述图像所属的类别。根据上述技术方案，可以有效地利用图像的上下文关系信息来提高图像分类性能，而无需显式定义图像中对象之间的空间关系。

【技术实现步骤摘要】

本专利技术一般地涉及模式识别和多媒体
，特别涉及一种图像分类方法及图 像分类装置。
技术介绍
随着多媒体技术的发展和因特网的普及，人们获得各种多媒体信息越来越容易， 其中图像是数量最多的一种，如何对图像进行分类或标注以便有效地、快速地从大规模图 像数据库中检索出所需要的图像已成为人们日益关注的问题。一种传统的做法是通过关键字对图像进行人工标注。然而，该方法是极其费时的， 并且不同的人可能产生不同的标注结果，例如，包含菊花的图像可能被标注为“菊花”或“黄 色花”。为了克服人工标注的限制，例如，在T. Kato所著的“Databasearchitecture for content-based image retrieval，，(Image Storage and RetrievalSystems, Proc. SPIE, 1662:112-123,1992) 一文中公开了一种基于内容的图像检索技术(CBIR)，其中提取图像 的诸如颜色，纹理，形状等低层视觉特征来推断图像的高层语义。然而，由于图像的低层视 觉特征与图像的语义表达之间存在“语义鸿沟”，因此传统的CBIR技术不能满足人们按语 义对图像进行分类和检索的需求。对于图像语义信息的提取，上下文关系信息是重要的。具体地说，以对象“老 虎”的概念为例，其通常都出现在具有诸如“天空”、“草地”等背景对象的自然风景中。这 样，为了改善图像分类和检索性能，一种趋势是在从图像中提取语义概念时既考虑图像 的内容信息也考虑其上下文关系信息。例如，在J.Luo等人所著的“Pictures are not taken in a vacuum—an overviewof exploiting context for semantic scene content understanding”(IEEE SignalProcessing Magazine, 23 (2) :101-114,March 2006)—文中 公开了在进行用户照片理解时考虑了时间上下文关系和空间上下文关系等。具体地说，基 于区域划分结果对空间上下文关系进行建模，并且考虑了区域之间的诸如“上”、“下”等七 种空间关系。另外，针对“天空”、“草地”、“树叶”等六个概念的每个空间上下文关系对条件 概率矩阵进行训练。实验结果显示了通过考虑空间上下文关系，提高了图像分类性能。但 是，由于该空间关系是显式定义的，因此增加了对分类器进行训练所需的人工量，并且限制 了该方案的应用范围。
技术实现思路
在下文中给出了关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本 理解。但是，应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不是意图用来确定 本专利技术的关键性部分或重要部分，也不是意图用来限定本专利技术的范围。其目的仅仅是以简 化的形式给出关于本专利技术的某些概念，以此作为稍后给出的更详细描述的前序。鉴于现有技术的上述情形，本专利技术的目的是提供一种新颖的图像分类方法，其可以有效地利用图像的上下文关系信息来进行图像分类而无需显式定义图像中对象之间的 空间关系，从而提高了图像分类性能。为了实现上述目的，根据本专利技术的一个方面，提供了一种图像分类方法，包括以下 步骤图像分割步骤，将输入的图像分割为多个区域；特征提取步骤，提取每个区域的视觉 特征；第一分类步骤，对于每个区域，根据所提取的所述区域的视觉特征，利用第一分类器， 按照预定的多个类别对所述区域进行多类分类；上下文关系特征生成步骤，根据每个区域 的分类结果来生成所述图像的上下文关系特征；以及第二分类步骤，根据所生成的所述图 像的上下文关系特征，利用第二分类器，确定所述图像所属的类别。根据本专利技术的另一个方面，还提供了一种图像分类装置，其包括图像分割单元， 其被配置成将输入的图像分割为多个区域；特征提取单元，其被配置成提取每个区域的视 觉特征；第一分类单元，其被配置成对于每个区域，根据所提取的所述区域的视觉特征，利 用第一分类器，按照预定的多个类别对所述区域进行多类分类；上下文关系特征生成单元， 其被配置成根据每个区域的分类结果来生成所述图像的上下文关系特征；以及第二分类单 元，其被配置成根据所生成的所述图像的上下文关系特征，利用第二分类器，确定所述图像 所属的类别。根据本专利技术的另一个方面，还提供了用于实现上述图像分类方法的计算机程序产Pm o根据本专利技术的另一个方面，还提供了计算机可读介质，其上记录有用于实现上述 图像分类方法的计算机程序代码。根据本专利技术的上述技术方案，可以较为准确地对图像进行分类，从而有效地、快速 地从大规模图像数据库中检索出所需要的图像。附图说明本专利技术可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中 在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下 面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本专利技术 的优选实施例和解释本专利技术的原理和优点。在附图中图1示出了根据本专利技术实施例的图像分类方法的总体流程图；图2示出了示例性输入图像；图3示出了按照5X5分割粒度对图2的输入图像进行均分的示意图；图4示意性地示出了利用支持向量机(SVM)多类分类器分别针对老虎、 狗........草地N个类别对图2中的输入图像进行分类；图5示意性地示出了通过将图2的输入图像中所有区域的分类结果组合为一个特 征向量来生成图像的上下文关系特征以及利用SVM分类器对该图像进行最终的分类；图6示出了根据本专利技术实施例的图像分类训练方法的总体流程图；图7示出了根据本专利技术实施例的图像分类装置的框图；图8示出了根据本专利技术实施例的基于上下文关系的图像分类技术方案与传统的 基于内容的图像分类技术方案在图像分类性能上的比较图；以及图9示出了在其中可以实现根据本专利技术实施例的图像分类方法和/或图像分类装5置的信息处理设备的示例性结构的框图。本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的， 而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其它元件放大了，以 便有助于提高对本专利技术实施例的理解。具体实施例方式在下文中将结合附图对本专利技术的示范性实施例进行描述。为了清楚和简明起见， 在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施 例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符 合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有 所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开 内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本专利技术，在附图中 仅仅示出了与根据本专利技术的方案密切相关的装置结构和/或处理步骤，而省略了与本专利技术 关系不大的其它细节。首先将参考附图，特别是图1至图5，描述根据本专利技术实施例的图像分类方法的一 般工作原理。图1示出了根据本专利技术实施例的图像分类方法的总体流程图。如图1所示，根据本专利技术实施例的图像分类方法包括图像分割步骤S110、特征提 取步骤S120、第一分类步骤S130、上下文关系特征生成步骤本文档来自技高网...

【技术保护点】
一种图像分类方法，包括以下步骤：图像分割步骤，将输入的图像分割为多个区域；特征提取步骤，提取每个区域的视觉特征；第一分类步骤，对于每个区域，根据所提取的所述区域的视觉特征，利用第一分类器，按照预定的多个类别对所述区域进行多类分类；上下文关系特征生成步骤，根据每个区域的分类结果来生成所述图像的上下文关系特征；以及第二分类步骤，根据所生成的所述图像的上下文关系特征，利用第二分类器，确定所述图像所属的类别。

【技术特征摘要】

【专利技术属性】
技术研发人员：吴伟国，路红，薛向阳，
申请(专利权)人：索尼株式会社，复旦大学，
类型：发明
国别省市：JP[日本]