一种RGB‑D物体识别方法技术

本发明专利技术公开了一种RGB‑D物体识别方法，所述识别方法包括以下步骤：获取由彩色图像生成的灰度图像、由深度图像生成的表面法向量，将彩色图像、灰度图像、深度图像和表面法向量共同作为多数据模式信息；通过卷积‑递归神经网络分别提取彩色图像、灰度图像和表面法向量中的高层特征；利用卷积‑费舍尔向量‑递归神经网络提取深度图像的高层特征；将上述多个高层特征进行特征融合，得到物体的总特征，将物体的总特征输入特征分类器中实现物体识别任务。本发明专利技术融合多种数据模式，提取更加准确的RGB‑D物体特征，进而提高物体识别的准确率。

【技术实现步骤摘要】
一种RGB-D物体识别方法
本专利技术涉及深度学习、立体视觉
，尤其涉及一种RGB-D物体识别方法。
技术介绍
物体识别是计算机视觉领域的关键技术问题之一，具有重要的研究价值和广泛应用前景。随着传感技术的进一步发展与应用，可以同时获取彩色图像和深度图像的Kinect相机等逐渐成为新一代的主流成像设备。通常，彩色图像可以提供目标的纹理、颜色等信息，深度图像可以提供有效的深度、形状等信息，两种信息互为补充，进而进一步增强各种视觉任务的性能。如何充分挖掘RGB-D数据中的深度信息，探索深度与彩色数据的关系，进一步提高目标识别率是研究的重点和难点。因此，面向RGB-D图像的物体识别技术研究具有十分重要的理论和应用价值。从特征生成的角度，物体识别方法主要分为两类，即基于人工获取特征的方法和基于学习获取特征的方法。这两类方法的主要区别在于特征的获取方式，前者以人工的方式获取特征，而后者则通过学习的方式提取目标特征。将得到的特征输入至分类器(如支持向量机、随机森林等)中进行分类，进而实现识别任务。在基于人工获取特征的方法中，经常使用的特征有SIFT(Scale-invariantFeatureTransform)、SURF(SpeedUpRobustFeature)和纹理基元等，这些特征可以有效地描述彩色图像的颜色及纹理信息和深度图像的三维几何信息。然而，该类方法提取的特征往往具有一定的局限性，仅能获取部分线索，且不容易扩展到不同的数据集或不同的模式中。相比之下，基于学习的方法提取特征可以直接从原始数据中通过学习获得，方式更加灵活、可靠，其中代表性的方法有分层匹配追踪、卷积K均值描述符、分层稀疏编码和局部坐标编码等。上述方法通常只针对彩色图像和深度图像进行处理，而忽略了其他数据模式(如灰度图像、表面法向量等)对识别的有效作用。
技术实现思路
本专利技术针对当前RGB-D物体识别技术存在的识别准确率低、特征描述不完善等问题，提出一种RGB-D物体识别方法，旨在融合多种数据模式，提取更加准确的RGB-D物体特征，进而提高物体识别的准确率，详见下文描述：一种RGB-D物体识别方法，所述识别方法包括以下步骤：获取由彩色图像生成的灰度图像、由深度图像生成的表面法向量，将彩色图像、灰度图像、深度图像和表面法向量共同作为多数据模式信息；通过卷积-递归神经网络分别提取彩色图像、灰度图像和表面法向量中的高层特征；利用卷积-费舍尔向量-递归神经网络提取深度图像的高层特征；将上述多个高层特征进行特征融合，得到物体的总特征，将物体的总特征输入特征分类器中实现物体识别任务。所述将上述多个高层特征进行特征融合的步骤具体为：F＝[Fd；Fc；Fn；Fg]其中，F为表示物体的总特征，Fd为深度图形的特征，Fc为彩色图像的特征，Fn为表面法向量的特征，Fg为灰度图像的特征。所述特征分类器具体为softmax分类器。本专利技术提供的技术方案的有益效果是：1、本专利技术在卷积-递归神经网络基础上引入费舍尔向量模块，以获得更加稠密、完备的深度特征表述；2、本专利技术融合多种数据模式，有效解决了因特征学习不全面而引起的RGB-D物体识别效果差的问题。附图说明图1为一种RGB-D物体识别方法的流程图；图2为定性效果图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1本专利技术实施例结合彩色图像、深度图像、灰度图像和表面法向量等多种数据模式，提出了一种RGB-D物体识别方法，具体操作步骤如下：101：获取由彩色图像生成的灰度图像、由深度图像生成的表面法向量，将彩色图像、灰度图像、深度图像和表面法向量共同作为多数据模式信息；102：通过卷积-递归神经网络分别提取彩色图像、灰度图像和表面法向量中的高层特征；103：利用卷积-费舍尔向量-递归神经网络提取深度图像的高层特征；104：将上述多个高层特征进行特征融合，得到物体的总特征，将物体的总特征输入特征分类器中实现物体识别任务。综上所述，本专利技术实施例通过上述步骤101-步骤104，在卷积-递归神经网络基础上引入费舍尔向量模块，以获得更加稠密、完备的深度特征表述；融合多种数据模式，有效解决了因特征学习不全面而引起的RGB-D物体识别效果差的问题。实施例2下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：201：获取多数据模式信息；为了更加充分的挖掘彩色图像和深度图像信息，本专利技术实施例增加了两种数据模式，即由彩色图像生成的灰度图像和由深度图像生成的表面法向量，以此为物体识别提供更多的有用信息。具体来说，深度图像和表面法向量可以提供物体的几何信息，彩色图像与灰度图像可以提供物体的纹理信息。202：利用卷积-递归神经网络提取彩色图、灰度图和表面法向量的高层特征；其中，卷积-递归神经网络(Convolutional-RecursiveNeuralNetwork，CNN-RNN)模型由卷积神经网络和递归神经网络两部分组成。原始图像数据经过块划分后输入至卷积神经网络进行特征提取，进而得到低维的平移不变特征。为了进一步提高物体识别的准确率，卷积神经网络输出的低维的平移不变特征被输入至递归神经网络中进行进一步特征提取。递归神经网络可以有效地捕获输入数据的层次化特征和物体的结构信息，进而获得更加准确的特征表述。1)卷积神经网络卷积神经网络是一种有效的特征提取结构，其主要利用滤波器对输入图像进行卷积操作提取具有平移不变特性的特征。本专利技术实施例利用的卷积神经网络主要包含卷积运算和池化运算，通过卷积运算可以得到多个特征映射，多个特征映射表示物体不同层次的信息。池化运算作用是基于局部相关性原理对多个特征映射进行亚采样，从而在减少数据量的同时保留有用信息。设输入图像的大小为dI×dI，且有K个大小为dP×dP的滤波器用于卷积运算，那么卷积运算后可以得到K个dI-dP+1维的滤波响应。然后，利用大小为dl×dl、步长为S的窗口对滤波响应进行平均池化操作，得到大小为r×r的池化响应，其中，r＝(dI-dP-dl+1)/s+1。因此，将卷积神经网络应用于一幅图像可以得到大小为K×r×r的三维矩阵。2)递归神经网络递归神经网络的思想是在树结构中通过递归方法利用相同的神经网络来学习得到层次化的特征，进而获得更加详细的结构信息。在之前的递归神经网络研究工作中，树结构的构成方式较为灵活，但其是以运算速度为代价换取的，因而不易进行并行搜索或利用大型矩阵并行运算。因此，本专利技术实施例采用了固定树结构的递归神经网络，并对原始的网络结构进行了扩展，即允许每层合并相邻向量块而不只是向量对。因此，本专利技术实施例采用的递归神经网络结构可以获取更多的邻域信息，进而获取更加准确的物体特征表述。递归神经网络以卷积神经网络的输出作为输入，将卷积神经网络输出的三维矩阵中每组相邻的列向量定义为块，多个块合并形成一个父向量为了方便，本专利技术实施例使用方块进行计算，其大小记为K×b×b，那么其父向量可以表示为：其中，是系数矩阵，f表示非线性运算，常用函数有tanh等，mi(i＝1,2,...,b2)表示子向量。203：利用卷积-费舍尔向量-递归神经网络提取深度图的高层特征；费舍尔向量是一种先进的特征编码方法，它可以通过数据本文档来自技高网...

【技术保护点】
一种RGB‑D物体识别方法，其特征在于，所述识别方法包括以下步骤：获取由彩色图像生成的灰度图像、由深度图像生成的表面法向量，将彩色图像、灰度图像、深度图像和表面法向量共同作为多数据模式信息；通过卷积‑递归神经网络分别提取彩色图像、灰度图像和表面法向量中的高层特征；利用卷积‑费舍尔向量‑递归神经网络提取深度图像的高层特征；将上述多个高层特征进行特征融合，得到物体的总特征，将物体的总特征输入特征分类器中实现物体识别任务。

【技术特征摘要】
1.一种RGB-D物体识别方法，其特征在于，所述识别方法包括以下步骤：获取由彩色图像生成的灰度图像、由深度图像生成的表面法向量，将彩色图像、灰度图像、深度图像和表面法向量共同作为多数据模式信息；通过卷积-递归神经网络分别提取彩色图像、灰度图像和表面法向量中的高层特征；利用卷积-费舍尔向量-递归神经网络提取深度图像的高层特征；将上述多个高层特征进行特征融合，得到物体的总特征，将物体的总特征输入...

【专利技术属性】
技术研发人员：雷建军，倪敏，丛润民，侯春萍，陈越，牛力杰，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12