基于RGB‑D相机和姿态传感器的平面和障碍检测方法技术

本发明专利技术公开了一种基于RGB‑D相机和姿态传感器的平面和障碍检测方法，该方法基于RGB‑D相机和姿态探测器实现了分辨率更高、刷新频率更高、精度更高的环境三维信息识别；能够实现地面通路识别，地面坑洼和各种障碍的判断预警，上下楼梯场景的识别，更接近人的视觉对环境的感知；有姿态传感器的配合，整个系统更加灵活、携带方便，相机不需要与使用者或地面等任何参照物保持固定的相对位置。视障人士出行时，可以将相机放置在身体的任何可以拍摄三维环境的位置，可以选择自己与RGB‑D相机兼容的任何便携式计算机、平板实现同样功能。

【技术实现步骤摘要】

本专利技术属于三维环境识别、盲人辅助
，涉及一种基于RGB-D相机和姿态传感器的平面和障碍检测方法。
技术介绍
视觉信息是人类识别周围环境的最重要信息来源，人类获得的信息中80％左右是从视觉系统输入的。对于缺失视觉感知的盲人，手杖、导盲犬等传统工具无法为他们提供充分的协助。上世纪中期以来，众多研究人员致力于研发电子盲人辅助技术。电子式盲人辅助技术，主要功能是为视障人士出行提供通路提示、危险预警。根据探测三维环境的手段不同，传统的电子盲人辅助技术主要分为有超声波和激光测距辅助、双目立体视觉辅助。基于传统超声波或激光的主动测距技术缺点显而易见，易受干扰、分辨率低、探测范围小、输出信息有限。这类系统实际上仅是一个具有报警功能的距离探测装置，它与使用者交互的内容十分有限，交互形式也较为单一，实际使用中容易出现误判、漏判的情况。基于双目立体视觉技术的盲人辅助设备虽然克服了以上缺点，但是也有一定的不足。首先，得到三维深度信息的特征点提取、匹配算法较为复杂，而且视场中得到的有效点较少、精度有限；其次，它对于处理模块的计算性能和存储要求较高，较难集成化。近来RGB-D相机的流行，为环境三维信息的获取提供了新的思路。它具有主动测距和双目视觉两种探测方法的优势，获取的三维深度信息(D图像)分辨率高、视场大、刷新频率高；结合彩色图像(RGB图像)，可以获得丰富的环境信息，拓展多种功能。RGB-D相机普遍采用TOF或结构光等技术对整个视场进行主动测距，不需要经过双目视觉中的匹配等步骤，即可直接获得深度信息。这一方面简化了后期处理的计算过程，为实现集成化的导盲系统创造了便利；另一方面，获取的深度信息误差较小，能够更好地实现三维环境的识别。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于RGB-D相机和姿态传感器的平面和障碍检测方法，以辅助盲人出行为目标，该方法通过实时获取RGB-D相机和姿态传感器两种数据源的数据，检测现实三维环境中的各种平面和物体的存在，进而实现通路指示、障碍预警功能。本专利技术的目的是通过以下技术方案来实现的：硬件方面，本方法需要RGB-D相机、姿态传感模块与便携式计算机支持。RGB-D相机的作用是拍摄得到可见光波段的彩色图像(RGB图像)和红外测距得到的深度图像(D图像)。姿态传感模块与RGB-D相机固定连接，用来探测RGB-D相机的实时姿态。便携式计算机可以是RGB-D相机支持的笔记本电脑、平板电脑等设备。从RGB-D相机和姿态模块中读取的数据，经过平面和障碍检测处理，输出识别结果。本专利技术方法具体包括以下步骤：(1)环境三维信息的获取，具体包括以下子步骤：(1.1)对RGB-D相机进行初始化，获得彩色相机和深度相机的内部参数，所述内部参数包括水平视场角和竖直视场角，使用轮询方法同时从RGB-D相机获得RGB图像和D图像；D图像像素的灰度即该像素对应的物体在三维环境中距离相机的水平深度值。(1.2)将RGB图像与D图像进行视场匹配，具体为：使用时域修复方法，填补D图像空洞造成的映射后彩色图像不完整，对RGB图像与D图像的原始映射关系β＝R’t(α)进行逐帧修复得到β＝Rt(α)，具体规则如下：当R’t(α)不可用时，进行Rt(α)＝Rt-1(α)处理，否则进行Rt(α)＝γR’t(α)+(1-γ)Rt(α)处理；其中0<γ<1，α为RGB图像的像素集合，β为D图像的像素集合，t为当前帧，t-1为当前帧的前一帧；得到了完整映射关系后，依据该完整映射关系获得与D图像视场相匹配的RGB图像；(1.3)对D图像进行滤波预处理，具体为：采用时空域联合四邻域滤波填补D图像空洞、去除孤立点，对D图像的像素β(i,j)进行修复，规则如下：当β(i,j)＝0时，执行以下公式：β(i,j)＝Average(β(i-1,j),β(i,j-1),β(i+1,j),β(i,j+1))  (1)如果公式(1)中β(i,j)的结果为零，执行β(i,j)|t＝β(i,j)|t-1；当β(i,j)为孤立点时，执行β(i,j)＝0；其中Average()表示对参数中非零值求均值，对像素零值的修复以空域滤波优先，当空域滤波无效时采用时域滤波；(1.4)通过深度相机的内部参数以及D图像获得以相机为原点的相机坐标系下的三维位置信息Xc、Yc，具体为：为了得出空间三维物体到RGB-D相机的二维图像映射关系，首先关注相机坐标系和图像坐标系的关系。对于D图像中的某个像素(u,v)，其像素值即为Zc，由u、v、Zc计算Xc、Yc值，计算公式如下：XcZctan(W1)=2u-WidthWidth]]>YcZctan(W2)=Height-2vHeight]]>其中，(u,v)表示以像素为单位、以图像左上角为原点的图像二维坐标，u是水平方向，v是竖直方向；(Xc,Yc,Zc)表示以相机为原点的相机三维坐标系，Zc是相机的光轴方向，Xc是相机成像面的水平方向，Yc是相机成像面的竖直方向，采集到的二维图像分辨率为Width×Height，水平半视场角W1，垂直半视场角W2；(1.5)通过深度相机的内部参数以及D图像获得以相机为原点的世界坐标系下的三维位置信息(Xw，Yw，Zw)，读取与RGB-D相机固定连接的姿态传感器的姿态角数值，设读数为绕传感器X轴旋转a’，绕传感器Z轴旋转b’，绕传感器Y轴旋转c’，该X、Y、Z三轴的定义与相机坐标的X、Y、Z三轴定义一致；令绕Y轴旋转角的起始轴为光轴(Z轴正向)而非姿态角传感器定义的北方向，所以不考虑c’的数值，那么(Xc,Yc,Zc)绕X轴旋转a＝-a’，绕Z轴旋转b＝-b’，绕Y轴旋转c＝0将得到(Xw,Yw,Zw)；当传感器的角度解算顺序为Z-Y-X时，按照X-Y-Z的顺序将(Xc,Yc,Zc)与旋转矩阵相乘，即得到(Xw,Yw,Zw)，具体公式如下：XwYwZw=cosb-sinb0sinbcosb0001cosc0sinc010-sinc0cosc1000cosa-sina0sinacosaXcYcZc]]>对D图像中所有像素点都按本步骤的方法，求出在世界坐标系下的三维坐标值(Xw,Yw,Zw)；(2)环境信息的检测：选取步骤1.5得到的世界三维坐标中的高度量Yw绘制成Y图像，深度量Zw绘制成Z图像，宽度量Xw绘制成X图像；三个图像的灰度值即表示该像素在三维空间中对应的物体在三个坐标轴(Xw,Yw,Zw)上投影的数值；具体包括以下子步骤：(2.1)水平地面的检测，具体包括以下子步骤：(2.1.1)生长水平面的预处理，具体为：本文档来自技高网...

【技术保护点】
一种基于RGB‑D相机和姿态传感器的平面和障碍检测方法，其特征在于，包括以下步骤：(1)环境三维信息的获取，具体包括以下子步骤：(1.1)对RGB‑D相机进行初始化，获得彩色相机和深度相机的内部参数，所述内部参数包括水平视场角和竖直视场角，使用轮询方法同时从RGB‑D相机获得RGB图像和D图像；D图像像素的灰度即该像素对应的物体在三维环境中距离相机的水平深度值。(1.2)将RGB图像与D图像进行视场匹配，具体为：使用时域修复方法，填补D图像空洞造成的映射后彩色图像不完整，对RGB图像与D图像的原始映射关系β＝R’t(α)进行逐帧修复得到β＝Rt(α)，具体规则如下：当R’t(α)不可用时，进行Rt(α)＝Rt‑1(α)处理，否则进行Rt(α)＝γR’t(α)+(1‑γ)Rt(α)处理；其中0<γ<1，α为RGB图像的像素集合，β为D图像的像素集合，t为当前帧，t‑1为当前帧的前一帧；得到了完整映射关系后，依据该完整映射关系获得与D图像视场相匹配的RGB图像；(1.3)对D图像进行滤波预处理，具体为：采用时空域联合四邻域滤波填补D图像空洞、去除孤立点，对D图像的像素β(i,j)进行修复，规则如下：当β(i,j)＝0时，执行以下公式：β(i,j)＝Average(β(i‑1,j),β(i,j‑1),β(i+1,j),β(i,j+1))       (1)如果公式(1)中β(i,j)的结果为零，执行β(i,j)|t＝β(i,j)|t‑1；当β(i,j)为孤立点时，执行β(i,j)＝0；其中Average()表示对参数中非零值求均值，对像素零值的修复以空域滤波优先，当空域滤波无效时采用时域滤波；(1.4)通过深度相机的内部参数以及D图像获得以相机为原点的相机坐标系下的三维位置信息Xc、Yc，具体为：为了得出空间三维物体到RGB‑D相机的二维图像映射关系，首先关注相机坐标系和图像坐标系的关系。对于D图像中的某个像素(u,v)，其像素值即为Zc，由u、v、Zc计算Xc、Yc值，计算公式如下：XcZctan(W1)=2u-WidthWidth]]>YcZctan(W2)=Height-2vHeight]]>其中，(u,v)表示以像素为单位、以图像左上角为原点的图像二维坐标，u是水平方向，v是竖直方向；(Xc,Yc,Zc)表示以相机为原点的相机三维坐标系，Zc是相机的光轴方向，Xc是相机成像面的水平方向，Yc是相机成像面的竖直方向，采集到的二维图像分辨率为Width×Height，水平半视场角W1，垂直半视场角W2；(1.5)通过深度相机的内部参数以及D图像获得以相机为原点的世界坐标系下的三维位置信息(Xw，Yw，Zw)，读取与RGB‑D相机固定连接的姿态传感器的姿态角数值，设读数为绕传感器X轴旋转a’，绕传感器Z轴旋转b’，绕传感器Y轴旋转c’，该X、Y、Z三轴的定义与相机坐标的X、Y、Z三轴定义一致；令绕Y轴旋转角的起始轴为光轴(Z轴正向)而非姿态角传感器定义的北方向，所以不考虑c’的数值，那么(Xc,Yc,Zc)绕X轴旋转a＝‑a’，绕Z轴旋转b＝‑b’，绕Y轴旋转c＝0将得到(Xw,Yw,Zw)；当传感器的角度解算顺序为Z‑Y‑X时，按照X‑Y‑Z的顺序将(Xc,Yc,Zc)与旋转矩阵相乘，即得到(Xw,Yw,Zw)，具体公式如下：XwYwZw=cosb-sinb0sinbcosb0001cosc0sinc010-sinc0cosc1000cosa-sina0sinacosaXcYcZc]]>对D图像中所有像素点都按本步骤的方法，求出在世界坐标系下的三维坐标值(Xw,Yw,Zw)；(2)环境信息的检测：选取步骤1.5得到的世界三维坐标中的高度量Yw绘制成Y图像，深度量Zw绘制成Z图像，宽度量Xw绘制成X图像；三个图像的灰度值即表示该像素在三维空间中对应的物体在三个坐标轴(Xw,Yw,Zw)上投影的数值；具体包括以下子步骤：(2.1)水平地面的检测，具体包括以下子步骤：(2.1.1)生长水平面的预处理，具体为：对Y图像进行水平和竖直方向的边缘提取，并对边缘处理结果进行二值化处理，阈值选择以灰度直方图为依据，选择峰值对应灰度值小的一端的谷值作为二值化的阈值；对Y图像进行区域分割的预处理，确定水平线(Yw＝0)在视场的位置，并依据水平线位置将视场划分为上下两部分进行区域分割；基于一般使用者佩戴位置，对水平线下方区域按照行间距h个像素的密度进行间隔行扫描，其中0<h<Height/8；在行扫描中，遇到二值化处理得到的边缘像素则在行的同样位置设置分段断点，一次行扫描结束得到断点集合Si，记录断点的位置和个数；所有行扫描结束后，选取任意相邻两行i行和i+1行中Si与Si+1点数更多的断点集合，在两行之间依据断点位置划分出矩...

【技术特征摘要】
1.一种基于RGB-D相机和姿态传感器的平面和障碍检测方法，其特征在于，包括以下步
骤：
(1)环境三维信息的获取，具体包括以下子步骤：
(1.1)对RGB-D相机进行初始化，获得彩色相机和深度相机的内部参数，所述内部参数包
括水平视场角和竖直视场角，使用轮询方法同时从RGB-D相机获得RGB图像和D图像；D图
像像素的灰度即该像素对应的物体在三维环境中距离相机的水平深度值。
(1.2)将RGB图像与D图像进行视场匹配，具体为：使用时域修复方法，填补D图像空
洞造成的映射后彩色图像不完整，对RGB图像与D图像的原始映射关系β＝R’t(α)进行逐帧修复
得到β＝Rt(α)，具体规则如下：
当R’t(α)不可用时，进行Rt(α)＝Rt-1(α)处理，否则进行Rt(α)＝γR’t(α)+(1-γ)Rt(α)处理；
其中0<γ<1，α为RGB图像的像素集合，β为D图像的像素集合，t为当前帧，t-1为当前
帧的前一帧；
得到了完整映射关系后，依据该完整映射关系获得与D图像视场相匹配的RGB图像；
(1.3)对D图像进行滤波预处理，具体为：采用时空域联合四邻域滤波填补D图像空洞、
去除孤立点，对D图像的像素β(i,j)进行修复，规则如下：
当β(i,j)＝0时，执行以下公式：
β(i,j)＝Average(β(i-1,j),β(i,j-1),β(i+1,j),β(i,j+1))       (1)
如果公式(1)中β(i,j)的结果为零，执行β(i,j)|t＝β(i,j)|t-1；
当β(i,j)为孤立点时，执行β(i,j)＝0；
其中Average()表示对参数中非零值求均值，对像素零值的修复以空域滤波优先，当空域滤
波无效时采用时域滤波；
(1.4)通过深度相机的内部参数以及D图像获得以相机为原点的相机坐标系下的三维位置
信息Xc、Yc，具体为：为了得出空间三维物体到RGB-D相机的二维图像映射关系，首先关注

\t相机坐标系和图像坐标系的关系。对于D图像中的某个像素(u,v)，其像素值即为Zc，由u、v、
Zc计算Xc、Yc值，计算公式如下：
XcZctan(W1)=2u-WidthWidth]]>YcZctan(W2)=Height-2vHeight]]>其中，(u,v)表示以像素为单位、以图像左上角为原点的图像二维坐标，u是水平方向，v是
竖直方向；(Xc,Yc,Zc)表示以相机为原点的相机三维坐标系，Zc是相机的光轴方向，Xc是相机
成像面的水平方向，Yc是相机成像面的竖直方向，采集到的二维图像分辨率为Width×Height，
水平半视场角W1，垂直半视场角W2；
(1.5)通过深度相机的内部参数以及D图像获得以相机为原点的世界坐标系下的三维位置
信息(Xw，Yw，Zw)，读取与RGB-D相机固定连接的姿态传感器的姿态角数值，设读数为绕传
感器X轴旋转a’，绕传感器Z轴旋转b’，绕传感器Y轴旋转c’，该X、Y、Z三轴的定义与相
机坐标的X、Y、Z三轴定义一致；令绕Y轴旋转角的起始轴为光轴(Z轴正向)而非姿态角传
感器定义的北方向，所以不考虑c’的数值，那么(Xc,Yc,Zc)绕X轴旋转a＝-a’，绕Z轴旋转b＝-b’，
绕Y轴旋转c＝0将得到(Xw,Yw,Zw)；当传感器的角度解算顺序为Z-Y-X时，按照X-Y-Z的顺
序将(Xc,Yc,Zc)与旋转矩阵相乘，即得...

【专利技术属性】
技术研发人员：程瑞琦，汪凯巍，杨恺伦，祝训敏，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33