一种基于RGB‑D图像的人体识别方法技术

本发明专利技术提供了一种基于RGB‑D图像的人体识别方法，该方法通过构建一个面向深度的直方图(HOD)，HOD对深度变化方向进行局部的编码并且依赖于一个深度信息的规模空间搜索；接着将视觉HOG与深度HOD相结合，提出Combo‑HOD检测方法，该方法依赖于深度图和RGB数据并将它们作为传感器输入数据；并与其他检测方法进行对比，结果显示该方法能够实现EER值为85％，是普通传感器直接获得的操作空间的4倍以上，证明图像深度和RGB‑D所提供的图像信息的结合会加宽可靠的人体识别任务的条件，多模态图像也会帮助人体检测并使得在一些单层图像检测器上变得可行。

A human body recognition method based on D image RGB

The invention provides a human body recognition method of RGB based on D images, the method by constructing a histogram of oriented depth (HOD), HOD of depth change direction for local encoding and relies on a depth scale space search; then the visual HOG and depth of HOD combined with Combo is proposed the HOD detection method, this method depends on the depth map and RGB data and use them as the sensor input data; and compared with other methods, the results show that this method can achieve the EER value of 85%, is a common sensor direct access to the operating space of more than 4 times, with that image information in depth and RGB D the body will provide reliable conditions for widening recognition task, multi modal image will help the body and makes the detection in some single image detector becomes feasible.

【技术实现步骤摘要】
一种基于RGB-D图像的人体识别方法
本专利技术属于计算机视觉和模式识别领域，尤其涉及一种基于RGB-D图像的人体识别方法。
技术介绍
对于许多机器人、交互系统以及智能交通，人体识别是一个重要并且基础的部分。在这个项目中，摄像头和测距仪是目前比较通用的传感器。每个传感器的感知通道既有优点也有缺点，因此它们间的区别主要取决于所提供的图像和范围数据的可靠性。许多机器人学方面的研究者对范围数据中识别人体的方法进行了研究。早期工作主要采用2D范围数据来完成这个任务，在3D范围数据中的人体识别及其相关工作又成为一个新的问题。在计算机视觉中，从单个图片识别人体这个问题已经被研究过很长一段时间了。近期的工作主要采用基于部分的投票或者窗口卷动。在前者方法中，人体部分独立为一个人的出现进行投票；后者的窗口卷动方法中，通过在不同图像的尺度空间位置卷动一个固定长度的检测窗口，对窗口下的区域进行分类。其它工作主要是解决多模式的人体识别问题：提出一个可训练的2D范围数据和摄像头系统，采用立体音响系统并结合强图像和低分辨率摄像机来采集不同地图和光流的图像数据。上述检测方法在行人流动十分密集的情况下的检测性能会有所下降，从而导致表现的性能不佳。
技术实现思路
本专利技术的目的在于针对上述技术中存在的缺陷，提出了一种基于RGB-D图像的人体识别方法。首先，构建一个面向深度的直方图(HOD)，HOD对深度变化方向进行局部的编码并且依赖于一个深度信息的规模空间搜索，此搜索方法将将检测过程速度提高到原来的3倍；接着，将视觉HOG与深度HOD相结合提出了Combo-HOD，这个检测方法依赖于深度图和RGB数据并将它们作为传感器输入数据。为了实现上述目的，本专利技术提供的技术方案如下：一种基于RGB-D图像的人体识别方法，主要包括如下步骤：步骤1、构建面向深度的直方图(HOD)步骤1.1、运算法则：首先将固定长度的窗口划分成网格并计算每个网格对应的深度梯度值；接着将这些面向深度的梯度值累积到1D的直方图中；然后将每四个网格相结合形成一个描述信息块；最后将这些描述信息块收集在一起并将直方图标准化成L2-Hys单元长度，使得其在局部深度噪声下表现高水平的稳健性，HOD特征的结果被用于训练柔和的线性支持向量机(SVM)。步骤1.2、深度图像处理：由于原始的深度图像主要由一些对真实的标准深度非常不均匀地编码的值组成，对于很远的物体，一个深度值的差异能够与一个15厘米的跳跃范围相对应，因此，采用公式d＝8BFx/(Vmax-v)对原始范围深度图像数据进行处理来加强前景和后景的区分度；然后，将上述公式得到结果的d值乘上M/Dmax，其中M＝100是一个常量，Dmax＝20是一个以米为单位的最大考虑范围。这个处理步骤旨在提升图像强度的反差，在此，可以充分利用微软KinectRGB-D传感器的优点来取消物理声音模型的非线性。步骤1.3、深度信息的规模空间搜索：采用深度信息作为搜索过程的指导，创建一个快速在深度图的每个位置区分可兼容的范围的方法；步骤1.3.1、计算基于深度范围的回归值s：从训练数集中计算得到平均人体身高Hm，地面位置和每个样本的高度能够被准确地注释，公式如下所示：其中，Fy是IR摄像头的垂直焦距长度，Hm＝1.74米是所监测到人体平均身高，Hw是计算基于深度范围的回归值s中以米为单位的窗口的高度。上述公式的左边部分代表了图像在半平面的投影高度Hm，这与摄像头所处的距离d相垂直。为了限制内存的使用，上述等式每个部分被量化到1/3的规模。然后，计算深度图的每个像素点的范围s来生成一个范围地图，从这个范围地图中，推导出所有使用的范围S的列表，列表只包括图像中与人体表现相兼容的范围，这个方法避免了在一些不均匀搜索(例如图像金字塔)解决方案中对许多范围的考虑。对于给定的范围列表S，S由每个图像计算得到，开始深度信息的规模空间搜索时，只有当搜索窗口的深度信息与S中的值相对应才能被送到SVM分类器进行下一步。在列表S选择一个范围s并检测该窗口下的深度值是否与每个规模空间的位置相符合。步骤1.3.2、采用集成图像技术检测该窗口下的深度值是否与每个规模空间的位置相符合，在检测阶段，从列表S选取范围s，接着，对于每个搜索窗口位置，测试该搜索窗口下集成张量层中对应的s的范围集成：如果结果大于0，那么这里至少有一个在该窗口下兼容的深度像素点并且计算出HOD的值；否则，检测窗口不会被考虑并且继续整个过程。步骤2、RGB-D人体检测：提出一个新型的检测器Combo-HOD，用于结合感知暗示，该检测器对于检测光照强度的变化的深度数据十分稳健，同时对于低信号强度的返回十分敏感并且会受到有限的深度分辨率的影响；图像数据在纹理和颜色方面十分饱满，并且有着高强度的角度分辨率。步骤2.1、Combo-HOD的数据集训练分类：在图像数据训练方面采用的是HOG检测器，而在深度数据训练方面采用的是HOD检测器；依赖于步骤1.3中所述的深度信息的规模空间搜索：每个时刻一个检测窗口有一个兼容的范围，在深度图中计算HOD描述信息块，同时，用同样的窗口在彩色图像中计算HOG描述信息块；当没有可以使用的深度图像后，检测器轻微地降低成为常用的HOG检测器；最后，对外在参数是否在两幅图像之间提供合适对应关系进行校准。步骤2.2、结合HOG和HOD描述信息块：学习的SVM的决定函数为HOD/HOG描述信息块与SVM超平面的点乘加上SVM的偏移值。为了结合这两部分的信息，对于每个SVM的输出建立了一个S形函数，这个函数将这些值映射到一个概率轴上，从HOD检测器得到的概率值记作pD，而从HOG检测器得到的概率值记作pG，那么，通过信息滤波结合的方程如下所示：其中p是检测到人体的概率，是在有效集合中的同等错误率点下的HOD检测器错误的负值的数量与HOG检测器错误的负值数量的比值，并且有本专利技术具有如下有益效果：1)本专利技术构建的面向深度的直方图(HOD)，对深度变化方向进行局部的编码并且依赖于一个深度信息规模空间搜索，此搜索方法将将检测过程速度提高到原来的3倍。2、提出的Combo-HOD检测方法为将视觉HOG与深度HOD相结合，该方法依赖于深度图和RGB数据并将它们作为传感器输入数据；并与其他检测方法进行对比，结果显示该方法能够实现EER值为85％，是普通传感器直接获得的操作空间的4倍以上。附图说明图1为本专利技术所述的基于RGB-D图像的人体识别方法流程图。具体实施方式概要为了全面的理解本专利技术的各种原理，以下首先对本专利技术中用到的术语进行了说明：微软KinectRGB-D传感器该传感器主要由一个红外线摄像头，一个红外线投影仪和一个标准的彩色摄像头组成；为了检测深度，传感器主要服从结构的红外光线的原则。深度图在每个像素的11个比特有640*480像素分辨率，然而并不是所有的比特被用来编码深度图，超出范围的值被标记成Vmax＝1084，最小范围被标记成Vmin＝290，最后只有794个值用于对每个像素点上的深度信息进行编码；原始深度值v和度量深度d计算公式如下：其中，B＝0.075m，为红外线投影仪到红外线摄像头的距离，Fx是红外线摄像头在水平方向上的焦距；d以米为单位，d的负值会被舍弃掉；上述方程是一个双曲线的关系类似本文档来自技高网...

【技术保护点】
一种基于RGB‑D图像的人体识别方法，其特征在于，包括如下步骤：步骤1、构建面向深度的直方图(HOD)步骤1.1、运算法则：首先将固定长度的窗口划分成网格并计算每个网格对应的深度梯度值；接着将这些面向深度的梯度值累积到1D的直方图中；然后将每四个网格相结合形成一个描述信息块；最后将这些描述信息块收集在一起并将直方图标准化成L2‑Hys单元长度，使得其在局部深度噪声下表现高水平的稳健性，HOD特征的结果被用于训练柔和的线性支持向量机(SVM)；步骤1.2、深度图像处理：首先，根据公式d＝8BFx/(Vmax‑v)对原始范围深度图像数据进行处理来加强前景和后景的区分度；然后，将上述公式的结果d值乘上M/Dmax，其中M＝100是一个常量，Dmax＝20是一个以米为单位的最大考虑范围；步骤1.3、深度信息的规模空间搜索：首先计算基于深度范围的回归值s；然后计算深度图的每个像素点的范围s来生成一个范围地图，从这个范围地图中，推导出所有使用的范围S的列表；在给定的范围列表S中选择一个范围s，采用集成图像技术检测该窗口下的深度值是否与每个规模空间的位置相符合，只有当搜索窗口的深度信息与给定的范围列表S中的值相对应才能被送到SVM分类器进行下一步；步骤2、Combo‑HOD：RGB‑D人体检测步骤2.1、Combo‑HOD的数据集训练分类：依赖于步骤1.3中所述的深度信息的规模空间搜索：每个时刻一个检测窗口有一个兼容的范围，在深度图中计算HOD描述信息块；同时，采用同样的窗口在彩色图像中计算HOG描述信息块；当没有可以使用的深度图像后，检测器轻微地降低成为常用的HOG检测器；最后，对外在参数是否在两幅图像之间提供合适对应关系进行校准；步骤2.2、结合HOG和HOD描述信息块：学习的SVM的决定函数为HOD/HOG描述信息块与SVM超平面的点乘加上SVM的偏移值；为了结合这两部分的信息，对于每个SVM的输出建立了一个S形函数，这个函数将这些值映射到一个概率轴上，从HOD检测器得到的概率值记作pD，从HOG检测器得到的概率值记作pG，通过信息滤波结合的方程如下所示：...

【技术特征摘要】
1.一种基于RGB-D图像的人体识别方法，其特征在于，包括如下步骤：步骤1、构建面向深度的直方图(HOD)步骤1.1、运算法则：首先将固定长度的窗口划分成网格并计算每个网格对应的深度梯度值；接着将这些面向深度的梯度值累积到1D的直方图中；然后将每四个网格相结合形成一个描述信息块；最后将这些描述信息块收集在一起并将直方图标准化成L2-Hys单元长度，使得其在局部深度噪声下表现高水平的稳健性，HOD特征的结果被用于训练柔和的线性支持向量机(SVM)；步骤1.2、深度图像处理：首先，根据公式d＝8BFx/(Vmax-v)对原始范围深度图像数据进行处理来加强前景和后景的区分度；然后，将上述公式的结果d值乘上M/Dmax，其中M＝100是一个常量，Dmax＝20是一个以米为单位的最大考虑范围；步骤1.3、深度信息的规模空间搜索：首先计算基于深度范围的回归值s；然后计算深度图的每个像素点的范围s来生成一个范围地图，从这个范围地图中，推导出所有使用的范围S的列表；在给定的范围列表S中选择一个范围s，采用集成图像技术检测该窗口下的深度值是否与每个规模空间的位置相符合，只有当搜索窗口的深度信息与给定的范围列表S中的值相对应才能被送到SVM分类器进行下一步；步骤2、Combo-HOD：RGB-D人体检测步骤2.1、Combo-HOD的数据集训练分类：依赖于步骤1.3中所述的深度信息的规模空间搜索：每个时刻一个检测窗口有一个兼容的范围，在深度图中计算HOD描述信息块；同时，采用同样的窗口在彩色图像中计算HOG描述信息块；当没有可以使用的深度图像后，检测器轻微地降低成为常用的HOG检测器；最后，对外在参数是否在两幅...

【专利技术属性】
技术研发人员：廖鸿宇，陶学宇，孙放，
申请(专利权)人：北京雷动云合智能技术有限公司，
类型：发明
国别省市：北京,11