一种指尖深度检测方法及系统技术方案

本发明专利技术涉及一种指尖深度检测方法及系统。该方法包括：获取红外双目摄像机系统的左、右摄像机采集的图像；分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第二手部图像；对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置；根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合；对第一手部图像和第二手部图像进行视差匹配，获取指尖点的深度值。本发明专利技术提高了指尖深度检测的精度，利用手部模型采用粗匹配缩小视差搜索范围，提高了处理速度。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，尤其涉及一种指尖深度检测方法及系统。
技术介绍
从图像中恢复深度信息是计算机视觉领域的基础问题，近些年来随着各种技术的发展，也得到了越来越多的关注，并且取得了很大的进展。深度传感器在工业检测、自动驾驶、医学成像和以三维场景理解和检测为基础的新型人机交互方面都有着非常广泛的应用。根据是否采用受控照明，深度传感系统一般可以分为主动深度估计和被动深度估计两种。主动深度估计利用投影仪等设备将某种提前设计好的模式的光线投射到三维场景中，比如提前编码好的结构光图像或散斑图像。通过将重建后的散斑或结构光图像与原始散斑或结构光图像进行对比，最后通过提前设计好的编码进行匹配，计算像素差值，可以得到比较精确的深度信息。这种方法对于缺乏纹理的表面求取深度效果很好，因此比较适合手掌这种缺乏纹理的表面。但是这种方法的缺点是：投射散斑图像的硬件结构较为复杂，功耗也比较大；而且对于指尖这种边界区域，散斑图案的种子点个数普遍偏少，因此在指尖的边界区域深度估计常常是不准确的。被动深度估计常常采用双目立体视觉的理论。用两个平行放置的相机同时拍摄场景图像，通过对两幅图像进行匹配从而得到视差值，再通过三角测量进行换算得到深度值。这种方法结构简单，因此也得到了广泛的关注和研究。目前的方法主要集中于基于彩色图像全局匹配和局部匹配两个方面。局部匹配方法包括对应像素差的绝对值(SumofAbsoluteDifferences，SAD)、对应像素差的平方和(SumofSquaredDifferences，SSD)、改进的rank变换、归一化的互相关方法；全局匹配方法主要考虑这幅图像的深度连续性和像素值的连续性对全局能量函数进行优化。然而采用双目彩色立体视觉算法，准确性严重的依赖于场景的纹理和光照条件，二者都会对图像中的像素值的大小和像素值之间的关联产生很大的影响。对于光照改变的情况，图像中的像素值会改变大小，提取出的特征不具有代表性，而且左右视图很可能匹配点的像素值相差很大影响匹配精度；对于场景纹理缺失的情况，窗口中可以提取出的特征很少，因此也会降低匹配时的精度。因此，采用这种基于彩色双目立体视觉方法处理指尖深度估计问题，得到的估计精度比较低。同时，双目立体匹配过程中，由于缺乏先验信息，待匹配点的搜索范围一般很大，运行速度会比较慢。
技术实现思路
本专利技术所要解决的技术问题是：现有的指尖深度检测结果不准确，且处理速度慢。为解决上述技术问题，本专利技术一方面提出了如下技术方案：一种指尖深度检测方法，包括：获取红外双目摄像机系统的左、右摄像机采集的图像；分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第二手部图像；对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置；根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合；对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值。可选地，在所述获取红外双目摄像机系统的左、右摄像机采集的图像之前，还包括：分别对左、右摄像机进行单个摄像机的标定，获得左、右摄像机的内部参数；对红外双目摄像机系统进行标定获得左、右摄像机之间的外部参数。可选地，在所述分别对左、右摄像机采集到的图像进行二值化处理之前，还包括：分别对左、右摄像机采集到的图像进行极线校正和去畸变。可选地，所述分别对左、右摄像机采集到的图像进行二值化处理，包括：对左、右摄像机采集到的图像利用最大类间方差法进行二值化处理。可选地，所述对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置，包括：对所述手部图像进行距离变换，对距离变换后的手部图像进行阈值化操作得到手掌区域；获取所述手掌区域的质心，将该质心作为掌心；获取掌心到人手轮廓的距离，将其局部最大值作为指尖点的位置。可选地，所述根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合，包括：根据公式一获取第一手部图像与第二手部图像指尖点的匹配组合，该匹配组合使E(i)的值最小；E(i)=Σi=1M(ρi-ρindex(i)),]]>公式一其中，E(i)表示能量值，index(i)表示第一手部图像中第i个指尖对应的第二手部图像中的第index(i)个指尖。ρi表示该指尖相对于掌心的极坐标的角度信息。可选地，所述对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值，包括：对所述指尖点之间的匹配组合利用对应像素差的绝对值SAD算法进行视差匹配，根据左、右摄像机的外部参数，采用三角测量法获取指尖点的深度值。可选地，在所述根据左、右摄像机的外部参数，采用三角测量法获取指尖点的深度值之前，还包括：对经过SAD算法进行视差匹配的结果进行线性亚像素处理。一种指尖深度检测系统，包括：两台红外摄像机、多个红外LED光源、红外图像传感器和芯片；所述两台红外摄像机相互平行设置，用于采集手部图像；所述多个红外LED光源与所述红外摄像机相互平行设置；所述红外图像传感器用于接收所述红外摄像机采集的手部图像，并将所述手部图像发送至所述芯片；所述芯片用于分析所述手部图像，获取指尖深度值。一种指尖深度检测系统，包括：图像采集单元，用于获取红外双目摄像机系统的左、右摄像机采集的图像；手部图像获取单元，用于分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第二手部图像；指尖点位置获取单元，用于对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置；指尖点匹配组合获取单元，用于根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合；深度值获取单元，用于对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值。本专利技术提供的指尖深度检测方法及系统，边缘匹配过程避免了手掌内部纹理不明显部分对深度检测的影响，提高了指尖深度检测的精度，对本文档来自技高网...

【技术保护点】
一种指尖深度检测方法，其特征在于，包括：获取红外双目摄像机系统的左、右摄像机采集的图像；分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第二手部图像；对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置；根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合；对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值。

【技术特征摘要】
1.一种指尖深度检测方法，其特征在于，包括：
获取红外双目摄像机系统的左、右摄像机采集的图像；
分别对左、右摄像机采集到的图像进行二值化处理，获取第一手
部图像和第二手部图像；
对所述手部图像进行距离变换，根据距离变换的结果获取第一手
部图像和第二手部图像中指尖点的位置；
根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第
二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图
像中指尖点之间的匹配组合；
对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度
值。
2.根据权利要求1所述的指尖深度检测方法，其特征在于，在所
述获取红外双目摄像机系统的左、右摄像机采集的图像之前，还包括：
分别对左、右摄像机进行单个摄像机的标定，获得左、右摄像机
的内部参数；
对红外双目摄像机系统进行标定获得左、右摄像机之间的外部参
数。
3.根据权利要求1所述的指尖深度检测方法，其特征在于，在所
述分别对左、右摄像机采集到的图像进行二值化处理之前，还包括：
分别对左、右摄像机采集到的图像进行极线校正和去畸变。
4.根据权利要求1所述的指尖深度检测方法，其特征在于，所述
分别对左、右摄像机采集到的图像进行二值化处理，包括：
对左、右摄像机采集到的图像利用最大类间方差法进行二值化处
理。
5.根据权利要求1所述的指尖深度检测方法，其特征在于，所述
对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图

\t像和第二手部图像中指尖点的位置，包括：
对所述手部图像进行距离变换，对距离变换后的手部图像进行阈
值化操作得到手掌区域；
获取所述手掌区域的质心，将该质心作为掌心；
获取掌心到人手轮廓的距离，将其局部最大值作为指尖点的位
置。
6.根据权利要求1所述的指尖深度检测方法，其特征在于，所述
根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手
部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中
指尖点之间的匹配组合，包括：
根据...

【专利技术属性】
技术研发人员：王贵锦，李文涛，尹玄武，施陈博，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11