基于RGB特征与深度特征的原始图像层融合方法及系统技术方案

本发明专利技术涉及一种基于RGB特征与深度特征的原始图像层融合方法及系统，其中所述方法包括如下步骤：第一步，分别采集同一物体同一时刻同一场景的RGB图像与深度图像；第二步，获取单独的基于RGB图像的物体识别准确率与基于深度图像的物体识别准确率；第三步：通过决策树算法为MMSAE算法初始化参数；第四步：MMSAE算法获取融合图像的识别准确率；第五步：判断所述融合图像的识别准确率是否高于系统设定阈值，若所述识别准确率不高于设定阈值，则返回第三步，若所述识别准确率高于设定阈值，则输出识别后的物体图像。本发明专利技术根据不同种类的特征对不同类别的物体的识别贡献差异性，完成了特征的有效融合，提高了物体识别的准确率，提高了运算效率。

Method and system for fusing original image layers based on RGB features and depth characteristics

The invention relates to a fusion method and system based on original image features and depth characteristics of the RGB layer, wherein the method comprises the following steps: the first step, RGB image and depth of the same scene the same object at the same time were collected; the second step, to obtain single object recognition based on RGB image and accuracy object recognition based on depth image accuracy; the third step: the decision tree algorithm MMSAE algorithm initialization parameters; the fourth step: MMSAE algorithm to obtain the fusion image recognition accuracy; the fifth step: identify the image fusion accuracy is higher than the threshold system, if the recognition accuracy is higher than the set threshold. To return to the third step, if the recognition rate is higher than the set threshold, the output after the object image recognition. According to different characteristics of the invention, the invention contributes to the discrimination of different classes of objects, achieves the effective fusion of features, improves the accuracy of object recognition and improves the calculation efficiency.

【技术实现步骤摘要】
基于RGB特征与深度特征的原始图像层融合方法及系统
本专利技术涉及一种机器视觉及图像融合领域，具体的说，是涉及一种基于RGB特征与深度特征的原始图像层融合方法及系统。
技术介绍
图像融合是将两个或两个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或者图像序列信息加以综合，以生成新的有关此场景解释的处理信息，而这种信息无法从单一的图像源中获取，融合后可以获取更可靠，更丰富，更准确的有用信息。深度学习是机器学习领域的一个新的研究热点，其目的是建立多层神经网络，能模仿人脑的机制来分析和解释图像、音频和文本等数据。深度学习通过组合浅层特征形成更加抽象的高层特征，以发现数据的更深层次的分布式特征表示。深度学习引起了计算机视觉领域的一场变革，许多研究者和现代科技公司都将目光投向了如何将深度学习应用到各种工业领域中，并已经取得了一定的效果。目前深度学习在图像识别、场景识别、物体追踪等方面都已经取得了显著的效果，表现出极大的应用价值。图像识别是计算机视觉领域最重要也是最困难的问题之一，在过去的研究工作中，基于RGB图像和灰度图像的图像识别工作取得了极大地进展。但是由于RGB图像和灰度图像自身的局限性，图像识别在计算机视觉领域的应用并不是很成功。例如在室内机器人应用方面，由于识别精度达不到指定的要求，图像识别在室内机器人的应用上一度陷入瓶颈。提高图像识别的准确率对于自主式机器人的普及具有决定性的意义。20世纪初，有学者提出手动特征提取方法，该方法主要借助于基于方向直方图的精心设计的特征，例如SIFT特征和HOG特征，而且这些特征也取得了很好的成果。然而这些手动提取的特征仅仅能够捕捉到少量的识别信息。例如SIFT特征虽然对于旋转、尺度缩放和亮度变化保持一定的不变性，但是忽略了颜色信息而且该方法通过对特征点构造向量，然后对向量进行匹配，这样图像就得满足足够多的纹理，否则构造出来的向量的判别性就不是很大。为了适用于新的数据模态例如RGB-D图像，Lai等人在《Alarge-scalehierarchicalmulti-viewrgb-dobjectdataset》中仅仅对SIFT算法进行一些简单的扩展，使其能够适用于深度图像。后来，有些学者曾提出过无监督特征学习方法。无监督特征学习方法可以从图像数据中学习到更具能力的图像表示。自从Hinton等人在《HintonGE,SalakhutdinovRR.Reducingthedimensionalityofdatawithneuralnetworks》一文中提出信念信息网络(DBN)以及对应的学习算法，紧接着分层稀疏编码以及基于K-means的特征学习算法被相继提出。虽然这些算法在物体识别方面都取得了很大的成功，但是他们通常只是基于RGB图像或灰度图像。虽然可以直接把这些算法运用到RGB-D图像上，但是却不能充分利用多模态图像所携带的信息并且计算复杂。以上所述的文献，都反映了图像融合研究的一个问题，很难设计出一种能够适用于各类图像的融合算法，因此在实际应用中一般针对不同的图像库开发不同的图像融合算法，目前已有的算法无法满足对深度图像和RGB图像的融合。基于以上算法的不足，我们提出一种RGB特征和深度特征原始图像层融合算法。采用新一代传感技术的RGB-D相机(如Kinect相机)能够同时记录高分辨率的RGB图像和深度图像。RGB-D相机可拍摄高分辨率的RGB-D图像同时包含RGB图像和深度图像两种图像。RGB图像包含物体的表面颜色信息和纹理信息，深度图像包含物体的空间形状信息，他不随亮度和颜色的变化而变化。RGB图像和深度图像对彼此是一种有效的补充。研究表明，基于RGB-D图像的物体识别，可明显提高物体识别的准确率。如何利用深度学习技术有效的结合RGB图像和深度图像来提高物体的识别准确率成为了深度学习领域的一个新的研究方向。现有的基于RGB-D图像识别的研究工作过程中，存在一个普遍的现象：由于RGB信息或者深度信息区别力较低或者信息缺失等原因，某些类别物体的基于RGB特征或者深度特征的识别准确率相对较低。这种情况下，将RGB特征和深度特征进行串联并作为物体的最终特征来进行物体识别，不仅不会提升物体的识别准确率，反而会导致最终的识别准确率低于单独的基于RGB特征或者深度特征的识别准确率。。公布号为CN102999892A，名称为《基于区域遮罩的深度图像与RGB图像的智能融合方法》的专利技术专利提出了一种基于区域遮罩的深度图像与RGB图像的智能融合方法，选取深度图像与RGB图像的大区域不变性关联特征，利用大区域不变性关联特征进行图像配准，在配准后的深度图像中，设置感兴趣的深度范围，为目标物体产生遮罩，将遮罩与配准后的RGB图像进行融合。但由于RGB信息或者深度信息区别力较低或者信息缺失等原因，某些类别物体的基于RGB特征或者深度特征的识别准确率相对较低。
技术实现思路
针对上述现有技术中的不足，本专利技术提供一种能够提高物体识别准确率的技术方案。本专利技术所采取的技术方案是：一种基于RGB特征与深度特征的原始图像层融合方法，包括如下步骤：第一步，分别采集同一物体同一时刻同一场景的RGB图像与深度图像；第二步，获取单独的基于RGB图像的物体识别准确率与基于深度图像的物体识别准确率；第三步：通过决策树算法为MMSAE算法初始化参数；第四步：MMSAE算法有差异性地提取RGB图像和深度图像的有效特征并将所述有效特征融合，获取融合图像的识别准确率；第五步：判断所述融合图像的识别准确率是否高于系统设定阈值，若所述识别准确率不高于设定阈值，则返回第三步，若所述识别准确率高于设定阈值，则输出识别后的物体图像。优选的是，第二步具体包括如下步骤：SAE算法提取浅层特征：分别输入深度图像与RGB图像,通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征；SPMP算法提取高层抽象特征：分别输入深度图像的浅层特征及RGB图像的浅层特征，通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征；K交叉验证拆分训练集：将深度图像的高层抽象特征与RGB图像的高层抽象特征输入到softmax分类器，通过交叉验证获得单独的基于RGB图像的识别准确率以及基于深度图像的识别准确率。在上述任一方案中优选的是，RGB的浅层特征至少包括RGB彩色特征或/和边缘特征，所述深度图像的浅层特征至少包括三维空间形状。在上述任一方案中优选的是，通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征具体步骤为：将采集的图片大小缩放至r×r，从RGB图像和深度图像中分别随机提取h个图像块，每个图像块的长和宽均为s；分别使用RGB图像块和深度图像块作为输入，训练两个KSAE算法模型，其中一个用于提取RGB图像的浅层特征，另一个用于提取深度图像的浅层特征；训练完成后，分别使用两个所述KSAE作为映射函数，从每张RGB图像和深度图像中以卷积的方式按像素逐一提取颜色特征和形状特征；设KSAE的隐层节点个数为q，计算卷积后得到颜色特征和形状特征均为一个大小为t×t×q的三维矩阵，其中t＝r-s+1；对所述三维矩阵进行平均池化，降低所述颜色特征和形状特征的维度，获得所述深度图像的浅层特征与RGB图像的浅层特征。在本文档来自技高网...

【技术保护点】
一种基于RGB特征与深度特征的原始图像层融合方法，包括如下步骤：第一步，分别采集同一物体同一时刻同一场景的RGB图像与深度图像；第二步，获取单独的基于RGB图像的物体识别准确率与基于深度图像的物体识别准确率；第三步：通过决策树算法为MMSAE算法初始化参数；第四步：MMSAE算法有差异性地提取RGB图像和深度图像的有效特征并将所述有效特征融合，获取融合图像的识别准确率；第五步：判断所述融合图像的识别准确率是否高于系统设定阈值，若所述识别准确率不高于设定阈值，则返回第三步，若所述识别准确率高于设定阈值，则输出识别后的物体图像。

【技术特征摘要】
1.一种基于RGB特征与深度特征的原始图像层融合方法，包括如下步骤：第一步，分别采集同一物体同一时刻同一场景的RGB图像与深度图像；第二步，获取单独的基于RGB图像的物体识别准确率与基于深度图像的物体识别准确率；第三步：通过决策树算法为MMSAE算法初始化参数；第四步：MMSAE算法有差异性地提取RGB图像和深度图像的有效特征并将所述有效特征融合，获取融合图像的识别准确率；第五步：判断所述融合图像的识别准确率是否高于系统设定阈值，若所述识别准确率不高于设定阈值，则返回第三步，若所述识别准确率高于设定阈值，则输出识别后的物体图像。2.根据权利要求1所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于：所述第二步具体包括如下步骤：SAE算法提取浅层特征：分别输入深度图像与RGB图像,通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征；SPMP算法提取高层抽象特征：分别输入深度图像的浅层特征及RGB图像的浅层特征，通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征；K交叉验证拆分训练集：将深度图像的高层抽象特征与RGB图像的高层抽象特征输入到softmax分类器，通过交叉验证获得单独的基于RGB图像的识别准确率以及基于深度图像的识别准确率。3.根据权利要求2所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于：所述RGB的浅层特征至少包括RGB彩色特征或/和边缘特征，所述深度图像的浅层特征至少包括三维空间形状。4.根据权利要求3所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于：所述通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征具体步骤为：将采集的图片大小缩放至r×r，从RGB图像和深度图像中分别随机提取h个图像块，每个图像块的长和宽均为s；分别使用RGB图像块和深度图像块作为输入，训练两个KSAE算法模型，其中一个用于提取RGB图像的浅层特征，另一个用于提取深度图像的浅层特征；训练完成后，分别使用两个所述KSAE作为映射函数，从每张RGB图像和深度图像中以卷积的方式按像素逐一提取颜色特征和形状特征；设KSAE的隐层节点个数为q，计算卷积后得到颜色特征和形状特征均为一个大小为t×t×q的三维矩阵，其中t＝r-s+1；对所述三维矩阵进行平均池化，降低所述颜色特征和形状特征的维度，获得所述深度图像的浅层特征与RGB图像的浅层特征。5.根据权利要求4所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于：所述通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征具体步骤为：输入所述RGB图像的浅层特征及所述深度图像的浅层特征；通过空间金字塔最大池化算法将所述三维矩阵所有的点划分为C个块，其中C取不同的值；每个块C共包含p个点，则共有p个q维向量，将所述p个q维向量组合成一个大小为p×q维的矩阵：取矩阵每一行最大的值为所述深度图像的高层抽象特征与所述RGB图像的高层抽象特征。6.根据权利要求5所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于,所述交叉验证具体步骤为：将所述深度图像的高层抽象特征与RGB图像的高层抽象特征输入到softmax分类器；将所述深度图像的高层抽象特征与RGB图像的高层抽象特征作为原始训练集进行分组，一部分为真实训练集，用来训练分类器，另一部分为验证集，用来测试训练得到的分类器；将所述真实训练集随机分为K个子集，每次选取一个子集做测试集，其余的子集为训...

【专利技术属性】
技术研发人员：袁家政，刘宏哲，郭燕飞，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：北京,11