基于深度信息的图像分类方法技术

本公开提供了一种基于深度信息的图像分类方法，包括：使用已知深度信息的第一训练图像集训练马尔可夫随机场MRF；使用所述MRF从未知深度信息的第二训练图像集提取深度信息；从所述第二训练图像集提取局部特征；基于所提取的深度信息和所提取的局部特征来训练支持向量机分类器；以及使用经训练的支持向量机分类器来对待分类图像集中的图像进行分类，其中所述第二训练图像集和所述待分类图像集属于同一场景集。现有的图像分类方法只考虑图像空间，也即二维空间的信息，本公开考虑了深度信息，将原来在二维空间中难以区分的特征在深度维度上予以分开，从而提高了图像分类的准确性。

【技术实现步骤摘要】

本公开一般地涉及模式识别，具体地涉及基于特征包(bag-of-features, BoF)模型的图像分类。
技术介绍
目前，传统分类算法缺乏有效地表达图像三维空间信息的能力。这也是计算机视觉系统与人眼视觉系统相比在识别精度上仍存在着巨大差距的重要原因之一。常用的图像空间建模方法往往不能有效地利用空间信息特别是深度信息。例如，金字塔空间匹配算法仅仅是对少量二维空间区域表达的简单串联，虽然有一定的鲁棒性，但是反映空间信息的效率和区分图像特征的能力比较弱。有些图像特征在二维空间往往难以彼此区分。用传统的基于二维图像空间的分类算法是无法有效处理这些图像特征的，从而无法实现准确的图像分类。尤其对于场景数据库，这样的方法往往只能达到很低的分类精度。因此，鉴于以往的方法很难实现对包括深度在内的三维空间的准确建模，从而无法对图像进行准确分类。
技术实现思路
为了解决现有技术存在的问题，本公开的目的之一是提供一种，包括:使用已知深度信息的第一训练图像集训练马尔可夫随机场(MarkovRandom Field, MRF);使用所述MRF从未知深度信息的第二训练图像集提取深度信息；从所述第二训练图像集提取局部特征；基于所提取的深度信息和所提取的局部特征来训练支持向量机分类器；以及使 用经训练的支持向量机分类器来对待分类图像集中的图像进行分类，其中所述第二训练图像集和所述待分类图像集属于同一场景集。可选地，根据本公开的方法还包括:基于所提取的深度信息和所提取的局部特征来生成第二训练图像集中的图像的表达；以及使用所述图像的表达来训练支持向量机分类器。可选地，使用经训练的支持向量机分类器来对待分类图像集中的图像进行分类包括:使用所述MRF从所述待分类图像集提取深度信息；从所述待分类图像集提取局部特征；基于从所述待分类图像集提取的深度信息和局部特征生成所述待分类图像集中的图像的表达；以及将所述待分类图像集中的图像的表达输入所述支持向量机分类器。可选地，生成图像的表达包括:基于所提取的深度和所提取的局部特征生成深度模型和多个深度平面；基于所提取的局部特征生成视觉词典；基于所提取的局部特征和视觉词典生成特征编码；基于所述多个深度平面、深度模型和特征编码对局部特征进行聚集以得到每个空间区域内的响应；以及将所有空间区域内的响应串联到一起作为该图像的表达。可选地，生成多个深度平面包括:对深度信息应用聚类算法，得到多个聚类中心P=[P1, P2,…，pj，其中L表示聚类中心的数量，Pi是第i个聚类中心的深度值；以及生成深度模型包括:将所提取的局部特征与相应的深度值相结合。可选地，基于所述多个深度平面、深度模型和特征编码对局部特征进行聚集以得到每个空间区域内的响应包括:在二维平面上将图像等分成多个矩形区域，并结合深度平面，将三维空间划分成多个空间区域；对与每个局部特征最接近的两个深度平面，根据与所述局部特征之间的距离给对两个深度平面分配权重，从而对每个空间区域内的局部特征分别进行聚集。可选地，生成特征编码包括:基于视觉词典，使用局部线性编码来对所提取的局部特征进行编码可选地，对每个空间区域内的局部特征分别进行聚集包括使用以下中的任一个进行聚集:最大聚集、最小聚集、求和聚集、和加权求和聚集。根据本公开的方法，可以描述相同特征在空间中的不同分布。通过以空间区域为基元使得特征空间位置的描述更加鲁棒，可以挖据更多的空间信息，实现准确的图像分类。附图说明图1示意性示出了传统的图像分类方法。图2示意性示出了根据本公开实施例的的流程图。图3示意性示出了根据本公开实施例的的过程。图4示意性示出了随着视觉词典大小变化，利用深度信息和不利用深度信息在每个类别上的分类精度差异。具体实施例方式·以下结合附图详细说明本公开技术方案中所涉及的各个细节问题。应当指出的是，所描述的实施例仅旨在便于理解，对本公开不起任何限定作用。图1示意性地示出了传统的图像分类方法100。如图1所示，图像分类方法100包括:在步骤102，提取训练图像的局部特征。在步骤104，使用提取的局部特征来训练视觉词典。在步骤106，使用视觉词典来表达训练图像。在步骤108，使用在步骤106得到的图像表达来训练分类器。在步骤110，使用经训练的分类器来对待分类图像进行分类。传统的图像分类方法不使用图像的深度信息，难以准确地区分在二维上相似却处于不同深度平面上的特征，因此无法实现准确的图像分类。本公开提供了一种基于图像的深度信息的图像分类方法。根据本专利技术的图像分类方法，首先用有监督的方式训练一个马尔可夫随机场(MRF)，所述MRF可以用于提取图像深度。利用此MRF来提取无深度标注的图像的深度信息，再将该图像的局部特征和相应的深度信息融合在一起，增强了对图像的空间信息表达。以下参考本公开的示例性实施例详细说明本公开的方法。应当注意，以下描述仅用于说明本公开的原理，而不应被理解为以任何方式限定本公开。在不脱离本公开的精神和范围的前提下，可以以更多、更少或不同的步骤实现本公开的方法。图2示意性地示出了根据本公开实施例的图像分类方法200的流程图。如图2所示，该方法200包括:在步骤202，使用已知深度信息的第一训练图像集训练马尔可夫随机场MRF ;在步骤204，使用所述MRF从未知深度信息的第二训练图像集提取深度信息；在步骤206，从所述第二训练图像集提取局部特征；在步骤208，基于所提取的深度信息和所提取的局部特征来训练向量机分类器；以及在步骤210，使用经训练的向量机分类器来对待分类图像集中的图像进行分类，其中所述第二训练图像集和所述待分类图像集属于同一场景集。训练过程和测试过程。图3示意性示出了根据本公开实施例的的过程。该过程可以分为训练过程和分类过程两部分。首先描述训练过程。首先，利用已知深度的训练图像集(本文中也称为第一训练图像集)301训练一个马尔可夫随机场MRF302。通过此MRF302提取未知深度的图像训练集(以下称为第二训练图像集)303的深度信息。第二训练图像集可以是从待分类场景集中选择的，待分类场景集包括多个(例如N个)图像，这些图像可以分类为多个(例如M个)场景类别，N与M是相同或不同的整数。可以从N个图像中随机选择NI个图像用作第二训练图像集。对深度信息304应用聚类算法(如K均值聚类算法)，得到若干聚类中心P= ，其中K表示视觉词典的大小(聚类中心个数)，屯为一个列向量，表示一个视觉单词(聚类中心)。然后，用局部线性编码方式对提取的局部特征305进行编码，得到特征编码308。对一个具体的特征fi，其对应的编码的计算方式为<其中Ai =Lf1-C1, ^-C2,..., fJ-C1] a e Rmxi为一个列向量，IcJ为距特征&最近的M个单词，β为正则化系数。令a i为of归一化后的结果，则a i满足lTa i = I。特征的最终表达Vi中距fi最近的M个单词上的响应分别对应Cii的值，其余单词上的响应为零。此处只列出了局部线性编码的情形，其它的编码方式只要把编码算法替换即可，此处不再赘述。在获得特征编码308之后，基于特征编码308得到视觉词典响应309。具体地，沿长宽两个方向将图像分成若干个规则的矩形区域(例如2X2个矩形区域，用Ri表示，i =0,1,2本文档来自技高网...

【技术保护点】
一种基于深度信息的图像分类方法，包括：使用已知深度信息的第一训练图像集训练马尔可夫随机场MRF；使用所述MRF从未知深度信息的第二训练图像集提取深度信息；从所述第二训练图像集提取局部特征；基于所提取的深度信息和所提取的局部特征来训练支持向量机分类器；以及使用经训练的支持向量机分类器来对待分类图像集中的图像进行分类，其中所述第二训练图像集和所述待分类图像集属于同一场景集。

【技术特征摘要】

【专利技术属性】
技术研发人员：谭铁牛，王亮，黄永祯，周振，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：