一种基于深度相机的双数据流融合物体识别方法技术

本发明专利技术涉及光学成像、光信息处理以及计算机视觉等技术领域，更具体地，其涉及一种深度相机拍摄的深度图像和红外强度图像融合下的静态物体识别方法。该方法需分别建立样本数据集以获得不同材料在不同位置处的强度参考信息，并通过深度相机针对某一场景分别拍摄同一时刻的深度图像和红外强度图像，各自经过规范二值化处理后进行融合，最后利用K均值聚类方法实现对从属于不同物体的像素点的区分，同时利用相机提供的深度信息和红外强度信息，判别物体的材料种类，实现低计算复杂度的物体识别的目的。的目的。的目的。

【技术实现步骤摘要】
一种基于深度相机的双数据流融合物体识别方法


[0001]本专利技术涉及光学成像、光信息处理以及计算机视觉等
，尤其涉及一种基于飞行时间原理深度相机获取的两种图像数据融合的物体识别方法。

技术介绍

[0002]在计算机视觉技术中，物体识别是最基本的任务，也是应用最广泛的方向之一。在自动驾驶、货仓监测、医疗图像分析等场景中，通常需要计算机辅助分析单帧或连续帧图像数据。而在现有技术当中，这项任务往往需要依赖神经网络进行图像内容识别。使用神经网络往往意味着需要使用大量数据用于网络的训练，且因为网络层级繁多、结构复杂，给优化和调试的过程增加了困难，同时，以往以RGB图像为主的单数据流的成像与识别常在光照变化大、照明条件差甚至黑暗等极端条件下表现不佳，甚至失效。

技术实现思路

[0003]基于上述情况，本专利技术提供一种深度相机拍摄的深度图像和红外强度图像融合下的静态物体识别方法。通过使用深度相机来获取同一时刻双数据流的单帧图像，即深度图像和强度图像，而后进行处理、融合，并加强对强度数据流的应用，提取出反射光强度信息，旨在从光学原理出发，减少计算时间、同时提升物体识别的准确度。同时，本方法对环境光也具有较强的鲁棒性，适用于黑暗等多种光照条件下的物体识别。
[0004]本专利技术涵盖的光学原理如下：
[0005]在深度相机的红外发射器探测物体时，理论上材料和距离(深度)都是反射强度的影响因素，可以简单描述为：
[0006]I＝f(d,m)
[0007]其中I代表反射强度，d代表距离(深度)，m代表材料性质。由此，在一定的单调关系下，由探测得到的反射强度I和深度d即可反向判定出被探测物体的材料特征，用于辅助物体识别。
[0008]本专利技术采用的方案如下：
[0009]步骤1：构建反射光强度数据库，即得到每种待识别材料在不同空间位置的红外反射强度情况，简称为强度数据库。为得到强度数据库进行拍摄所建立的数据集称为样本数据集。拍摄到样本数据集中的场景图像后，需要将前景与背景进行分离，此时需要将拍摄得到的深度图和强度图分别进行规范化、二值化并融合，提取出前景物体部分的所有像素，分析对应的强度图特征，建立出强度数据库。
[0010]其具体实现如下：
[0011]首先进行样本数据集的拍摄。拍摄过程中，针对不同的待探测材料，按照等距或近似等距的采样原则，由近及远地用深度相机同时进行深度图和强度图的采集；同时同一距离(深度)平面内不同空间位置的反射情况也会有区别，需要尽可能采集到同一深度X
‑
Y平面内各处的深度，以便参考横向不同位置反射光效果的差异，减小其对材料判定结果带来
的影响。
[0012]而后对得到的深度图像和强度图像进行二值化，实现前景像素和背景像素的区分。
[0013]环境物体对应的像素点在物体识别工作中属无用像素点，因而需要在二值化后对每一组数据的深度图与强度图进行噪声点与其他无用像素去除，其手段主要有两种：
[0014](1)对于大面积无用像素，如背景像素，可以直接采用画幅坐标阈值或深度灰度阈值的方法进行滤除；
[0015](2)对细微噪声点，可以使用的去噪方法包括但不限于中值滤波、高斯滤波，以及由腐蚀和膨胀操作复合而成的开操作和闭操作等。
[0016]深度图和强度图分别进行去噪后即可进行融合，可以使用按位与操作(即只有当两幅图像对应的(i,j)点灰度值都为255时，该点才保留255的灰度值，否则设定为0)。
[0017]得到融合后的二值化图片后，将其作为掩模板，对强度图像进行掩模处理，得到掩模图片。遍历掩模图片的所有像素点，可求得有效平均灰度值：
[0018][0019](非零像素指掩模图片上属于露出部分的像素)其等效操作为：查询所有前景物点的坐标(i
x
，j
x
)，按照坐标对相应的强度图原图进行初始灰度值索引，也可求出所有前景像素平均灰度值：
[0020][0021]同理针对所有非零像素点求灰度标准差，也可以作为灰度值特征。由此即可从强度图像中得到不同材料在不同深度下的反射光特征，强度数据库建立完成。
[0022]步骤2：在建立的强度数据库基础上进行物体识别，先要对待识别场景进行数据采集，采集结果称为测试数据集(与样本数据集相对)。将深度相机摄像头直面场景，对某一时刻某一场景同时进行深度图与强度图的采集。
[0023]其具体拍摄方法与步骤1中类似，只需将平行放置的样本材料替换成待探测的不同目标物体即可。
[0024]步骤3：将待识别场景的深度图与强度图分别进行规范化、二值化、去噪等图像处理，并将处理后的深度图与强度图融合，得到用于进行物体识别的、无噪声像素的二值化图片，完成前景与背景分离。
[0025]不同于样本数据集中每一幅图像中不同物体均为同种材料，真正的物体识别场景每一个物体可能分属不同材料类别，同时物体识别任务客观上也要求分清每一个目标物体，因此，得到二值化图像后需要将所有属于前景的像素归类到不同的类(目标物体)中，本专利技术中使用的K
‑
means(K均值)聚类的方法。
[0026]具体实现如下：
[0027]深度图与强度图分别进行规范化、二值化并融合，得到用于进行物体识别的、无噪声像素的二值化图片，完成前景与背景分离，这一过程与步骤1中相似。而后需要使用K
‑
means聚类的方法将所有属于前景的像素归类到不同的类(目标物体)中。
[0028]经过聚类，在二维图片中距离较近的像素就会被划分到同一个类别中，应用于本专利技术，同一物体对应的像素点相互距离较近，自然被定义为从属于同一物体的像素点，也即图像每一个被判定为前景的像素都贴上标签，使之归属于不同的物体。实际操作中，K
‑
means聚类采用Python的Scikit
‑
learn库中的KMeans类来实现。
[0029]步骤4：将具有同一类标签的像素点向强度图像进行映射，查询每一个目标物体的红外强度特征，也即强度图中对应像素集的灰度值均值或灰度值标准差，并参照深度与先前建立的强度数据库进行比对，寻找强度特征落在的区间，判定出目标物体的材料种类，即可完成物体识别。
附图说明
[0030]图1是本专利技术中使用双数据流进行物体识别的流程框图。
[0031]图2是根据实施例的样本数据采集场景的概念图。
[0032]图3是根据实施例的测试数据采集场景的概念图。
[0033]图4是根据实施例对所得样本数据进行处理的概念图。
[0034]图5是根据实施例对所得测试数据进行处理的概念图。
[0035]图6示出了实施例中针对某一样本材料在第一深度下的探测与数据处理过程。
[0036]图7示出了实施例中针对某一样本材料在第二深度下的探测与数据处理过程。
[0037]图8示出了实施例中针对某一测试场景的探测与数据处理过程以及物体识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相机获取数据融合的物体识别方法，其特征在于：利用深度相机同时得到的深度图像和强度图像数据，并将二者进行融合，由此进行物体识别。2.根据权利要求1所述方法，其特征在于：主要包括识别前准备工作于物体识别两个主要内容，即识别前准备工作主要是构建样本数据集从而提取强度数据库、识别需基于强度数据库的数据进行物体种类的判定。3.根据权利要求1和权利要求2所述方法，其步骤如下：步骤1：针对每种待识别材料，得到其在不同空间位置的红外反射强度情况，称之为反射光强度数据库，简称为强度数据库；为得到强度数据库进行拍摄所建立的数据集称为样本数据集；步骤2：在建立的强度数据库基础上进行物体识别，先要对待识别场景进行数据采集，将深度相机摄像头直面场景，同时对某一时刻进行深度图与强度图的采集；步骤3：将待识别场景的深度图与强度图分别进行规范化、二值化等图像处理并融合，得到用于进行物体识别的、无噪声像素的二值化图片，完成前景与背景分离，而后使用K
‑
means聚类方法将所有属于前景的像素归类到不同的类(目标物体)中，完成从属于不同物体的像素点的区分；步骤4：将具有同一类标签的像素点向强度图像进行映射，查询每一个目标物体的红外强度特征，并参照深度与先前建立的强度数据库进行比对，寻找强度特征落在的区间，判定出目标物体的材料种类，即可完成物体识别。4.根据权利要求1所述的使用的深度相机，其特征在于：探测原理包括但不限于飞行时间(ToF)原理，也即同样适用于双目视觉、结构光等深度相机。5.根据权利要求3所述的物体识别工作步骤1，其特征在于：进行样本数据集的拍摄时针对待探测的不同材料，按照等距或近似等距采样的原则，由近及远地同时用深度相机进行深度图和强度图的采集；同时需要考虑到同一距离(深度)平面内不同空间位置的反射情况也会有区别，尽可能保证采集到同一深度X
‑
Y平面内的各处深度，以便参考横向不同位置反射光效果的差异，减小其对材料判定结果...

【专利技术属性】
技术研发人员：岳洋，许东野，王晓妍，许天旭，安栋，
申请(专利权)人：南开大学，
类型：发明
国别省市：