一种基于2D和3D SIFT特征融合的一般物体识别方法技术

本发明专利技术公开了一种基于2D和3D SIFT特征融合的一般物体识别方法。为了提高一般物体识别的识别正确率，本发明专利技术在尺度不变特征变换(Scale Invariant Feature Transform,SIFT)即2D SIFT的基础上，提出了基于点云模型的3D SIFT特征描述子，进而提出一种基于2D和3D SIFT特征融合的一般物体识别算法。步骤如下：(1)分别提取物体2维图像和3维点云的2D和3D SIFT特征描述子；(2)利用BoW(Bag of Words)模型得到物体特征向量；(3)根据特征级融合将两个特征向量进行融合实现物体描述；(4)运用有监督分类器支持向量机(Support Vector Machine,SVM)实现分类识别，给出最终识别结果。

【技术实现步骤摘要】

本专利技术涉及一种基于2D和3D SIFT特征融合的一般物体识别方法，属于识别方法 的

技术介绍
-般物体识别是近年来国内外研究的热点问题，不同于特定物体识别（Specific Object Recognition)，如人脸识别等，可以通过海量的训练样本进行训练，仅仅处理某种 物体或某类物体；一般物体识别困难的多，因为必须使用物体类间通用的一般特征，而不能 为某个特定类别定义特征，并且该特征需要尽可能的表达出类内共性和类间差异，它必须 能处理多类分类及增量学习，在此前提下无法使用给定类别的海量样本进行训练。 目前一般物体识别的主要研究方法是提取物体特征实现物体描述，利用一定的机 器学习算法进行物体类型学习，最后进行物体分类，实现物体识别。基于图像局部特征的一 般物体识别方法是长久以来的研究重点，并且是目前相对成熟的研究领域，但是基于二维 图像识别主要是针对数字化灰度图像的识别，丢失了实际物体的三维信息，且容易受到光 照等外界条件的影响。点云模型是由物体深度图像经过一定处理得到的物体模型，因为深 度信息仅依赖于物体的几何形状，与物体的亮度和反射等特性无关，不存在使用灰度图像 时的阴影或表面投影问题，所以基于物体点云模型识别物体的过程，比使用灰度图像更为 容易。 在识别目标类内差异大、类间相似度高的情况下单一的特征并不能很好的反应出 类间差异和类内共性。为了解决这个问题，很多研究者提出了基于多特征融合的目标识别 方法，在飞机目标识别、人脸识别、物体识别中都有广泛应用。 然而，在真实环境中的一般物体识别研究是人工智能重要部分，在智能监控、遥测 遥感、机器人、医学图像处理等方面有重要作用。不同于特定物体识别，真实环境中一般物 体种类繁多，存在类间相似度高、类内差异性小的问题，使一般物体识别变得尤其困难。现 有技术中，常采用二维特征方法，但其在物体空间局部特性描述这一方面却是存在缺失的 技术问题。怎么选择合适的特征表示一般物体类间差异和类内共性至关重要，提取稳定而 有效的特征才能在有限的训练样本下得到最好的识别结果，提高识别率。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于2D和3D SIFT 特征融合的一般物体识别方法，结合二维和三维特征的方法融合多种物体信息，可以有效 降低基于单特征的识别算法识别率低下的问题，在类间相似度高、类内差异小的情况下仍 然有较高的识别正确率。 技术方案：为实现上述目的，本专利技术采用的技术方案为： -种基于2D和3D SIFT特征融合的一般物体识别方法，包括以下步骤： 1)特征提取和表示： 对于样本物体，提取所述样本物体的特征描述，所述特征描述包括物体图像和物 体点云；首先提取物体图像2DSIFT特征，完成物体图像特征表示；然后提取物体点云3D SIFT特征，完成物体点云特征表示；即得到样本物体的2D和3DSIFT特征描述子； 2)物体描述： 利用KMeans++聚类的方法得到样本聚类中心即对应的视觉单词库，再利用BoW模 型，采用多维向量进行物体描述，得到样本物体的对应的2D和3DSIFT特征向量； 3)特征融合： 将样本物体的对应的2D和3DSIFT特征向量利用特征级融合的方法进行特征融 合，得到样本物体的串行融合特征向量； 4)分类器设计和训练： 利用支持向量机即SVM学习所述样本物体的目标类型并实现目标分类，训练分类 器以构建多类分类器； 5)待识别物体识别： 将待识别物体的串行融合特征向量输入经所述步骤4)训练好的多类分类器，得 到所述待识别物体属于各个类别的概率，最大概率值所对应的样本物体类别即为所述待识 别物体的识别结果。 进一步的，在本专利技术中，所述物体点云3DSIFT特征的提取方法包括以下步骤： 1-1)关键点检测： 物体的点云模型中点坐标表示为P(X，y，Z)，为实现尺度不变性，定义3D点云的尺 度空间为L(x, y, z, 〇 ): L(x,y,z, 〇) =G(x,y,z, 〇)*P(x,y,z) (1) 其中〇是尺度空间因子，变化尺度的三维高斯核函数为：【主权项】1. 一种基于2D和3DSIFT特征融合的一般物体识别方法，其特征在于：包括以下步 骤： 1) 特征提取和表示： 对于样本物体，提取所述样本物体的特征描述，所述特征描述包括物体图像和物体点 云；首先提取物体图像2DSIFT特征，完成物体图像特征表示；然后提取物体点云3DSIFT 特征，完成物体点云特征表示；即得到样本物体的2D和3DSIFT特征描述子； 2) 物体描述： 利用KMeans++聚类的方法得到样本聚类中心即对应的视觉单词库，再利用BoW模型， 采用多维向量进行物体描述，得到样本物体的对应的2D和3DSIFT特征向量； 3) 特征融合： 将样本物体的对应的2D和3DSIFT特征向量利用特征级融合的方法进行特征融合，得 到样本物体的串行融合特征向量； 4) 分类器设计和训练： 利用支持向量机即SVM学习所述样本物体的目标类型并实现目标分类，训练分类器以 构建多类分类器； 5) 待识别物体识别： 将待识别物体的串行融合特征向量输入经所述步骤4)训练好的多类分类器，得到所 述待识别物体属于各个类别的概率，最大概率值所对应的样本物体类别即为所述待识别物 体的识别结果。2. 根据权利要求1所述的基于2D和3DSIFT特征融合的一般物体识别方法，其特征在 于：所步骤1)中述物体点云3DSIFT特征的提取方法包括以下步骤： 1-1)关键点检测： 物体的点云模型中点坐标表示为P(x，y，z)，为实现尺度不变性，定义3D点云的尺度空 间为L(x，y，z，〇 ): L(x,y,z, 〇 )=G(x,y,z, 〇 )*P(x,y,z) (I)其中〇是尺度空间因子，变化尺度的三维高斯核函数为：利用乘法因子k得到不同尺度，构建点云高斯金字塔，若每组金字当前第1页1 2 本文档来自技高网...

【技术保护点】
一种基于2D和3D SIFT特征融合的一般物体识别方法，其特征在于：包括以下步骤：1)特征提取和表示：对于样本物体，提取所述样本物体的特征描述，所述特征描述包括物体图像和物体点云；首先提取物体图像2D SIFT特征，完成物体图像特征表示；然后提取物体点云3D SIFT特征，完成物体点云特征表示；即得到样本物体的2D和3D SIFT特征描述子；2)物体描述：利用KMeans++聚类的方法得到样本聚类中心即对应的视觉单词库，再利用BoW模型，采用多维向量进行物体描述，得到样本物体的对应的2D和3D SIFT特征向量；3)特征融合：将样本物体的对应的2D和3D SIFT特征向量利用特征级融合的方法进行特征融合，得到样本物体的串行融合特征向量；4)分类器设计和训练：利用支持向量机即SVM学习所述样本物体的目标类型并实现目标分类，训练分类器以构建多类分类器；5)待识别物体识别：将待识别物体的串行融合特征向量输入经所述步骤4)训练好的多类分类器，得到所述待识别物体属于各个类别的概率，最大概率值所对应的样本物体类别即为所述待识别物体的识别结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：李新德，刘苗苗，徐叶帆，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32