基于RGBIR摄像头的单目结构光深度感知方法及装置制造方法及图纸

本发明专利技术提供了一种基于RGBIR摄像头的单目结构光深度感知方法及装置，采用红外激光散斑编码投射器投射红外散斑图像，或利用红外泛光源照射出红外图像，然后用RGBIR摄像头按帧采集RGBIR RAW数据并进行分离，对分离出来的RGB图进行图像信号处理，对红外散斑图进行深度感知解码得到深度值或3D点云，对红外图进行红外图像增强处理，最后可选择输出深度图、RGB图、红外图、RGBD联合数据或XYZRGB点云数据，本发明专利技术的装置结构间凑，可获得多种图像信息，包括深度图、RGB图、红外图或点云信息，且无需进行RGBD配准即可获得一一对应的XYZRGB点云数据。

A Method and Device for Depth Sensing of Monocular Structured Light Based on RGBIR Camera

The invention provides a method and device for depth sensing of monocular structured light based on RGBIR camera. The infrared speckle image is projected by an infrared laser speckle coding projector, or the infrared image is illuminated by an infrared floodlight source. Then the RGBIR camera captures the RGBIR RAW data frame by frame and separates them. The separated RGB image is processed by image signal processing, and the infrared speckle image is processed. Depth perception decoding is used to obtain depth value or 3D point cloud. Infrared image enhancement processing is carried out on infrared image. Finally, the output depth map, RGB image, infrared image, RGBD joint data or XYZRGB point cloud data can be selected. The device of the present invention has compact structure and can obtain a variety of image information, including depth map, RGB image, infrared image or point cloud information, without RGBD registration. The corresponding XYZRGB point cloud data.

【技术实现步骤摘要】
基于RGBIR摄像头的单目结构光深度感知方法及装置
本专利技术属于计算机视觉、人机交互和集成电路
，具体涉及一种基于RGBIR摄像头的单目结构光深度感知方法及装置。
技术介绍
当前虚拟世界正无限接近于现实世界，人机交互技术将成为连接虚拟与现实的“桥梁”。随着计算机性能的不断提升，人们也在不断地探索更加简单便捷的方式与机器交流。其中视觉感官则是人类观察、认识、体验的最直接也是最重要的手段。基于结构光主动视觉的深度感知技术可以获取较为准确的深度信息，且不受环境光的影响、算法和硬件实现相对简单。但目前的结构光深度感知装置中RGB摄像头和IR摄像头是分离的，RGB摄像头可以获得纹理信息，IR摄像头可以获得红外图像和深度信息，两者需要通过同步和RGBD精确配准才能建立一对一的对应关系，参见专利CN204481940U，双目摄像头拍照移动终端，就是利用一RGB彩色摄像头，一IR红外摄像头的双摄像头配置进行深度信息获取。但由于装配精度、标定精度和使用过程的影响，往往很难实现远近不同距离的RGB图像素与深度图或3D点云能一一对应。
技术实现思路
鉴于此，本专利技术提供了一种基于RGBIR摄像头的单目结构光深度感知方法及装置，采用红外激光散斑编码投射器投射红外散斑图像，或用红外泛光源照射出红外图像，用单一的RGBIR摄像头采集RGBIR图，深度感知解码模块对输入的RGBIRRAW数据进行分离，包括RGB图、IR图(红外散斑图或红外图)，其中对RGB图进行传统图像信号处理(ImageSignalProcessing，ISP)，对红外散斑图进行深度感知解码得到深度值或3D点云，对红外图则进行红外图像增强处理，最后可选择输出深度图、RGB图、红外图、RGBD联合数据或XYZRGB点云数据。为实现以上专利技术目的，本专利技术提供了一种基于RGBIR摄像头的单目结构光深度感知方法，具体地包括以下步骤：步骤1：RGBIR图像投射，利用红外激光散斑编码投射器投射红外散斑图像或利用红外泛光源照射出红外图像到目标物体或投射空间上；步骤2：RGBIR图像采集，利用单一RGBIR摄像头将步骤1发出的红外散斑图像或者红外图像，和可见光RGB图像一起采集进来，获得RGBIRRAW数据；步骤3：RGBIR图像分离，将步骤2采集到的RGBIRRAW数据进行图像分离，形成RGB图像，红外散斑图像或红外图像，为后面各自的图像处理做好准备；步骤4：分离后图像处理，将分离出来的RGB图像进行常规信号处理ISP，分离出来的红外图像进行红外增强处理，分离出来的红外散斑图则进行深度感知解码，其处理过程包括：预处理，图像旋转，块匹配，深度计算，后处理，三维点云生成；步骤5：数据选择输出，将经过图像信号处理后的RGB图像、红外图像、深度图或点云进行选择性的输出，可选择输出深度图，RGB图像，红外图像，RGBD数据或者XYZRGB点云数据。此外，本专利技术还提供了一种基于RGBIR摄像头的单目结构光深度感知装置，具体包括：RGBIR图像产生模块，RGBIR图像采集模块，RGBIR图像分离模块，RGBIR图像处理模块，和选择输出模块：RGBIR图像产生模块，用于通过红外激光散斑编码投射器投射出红外散斑图像到目标物体或投射空间，或利用红外泛光源照射出红外图像；RGBIR图像采集模块，用于利用单一RGBIR摄像头将红外激光散斑编码投射器投射的所述红外散斑图像或红外泛光源照射出的所述红外图像，和可见光RGB图像一起采集进来，获得RGBIRRAW数据；RGBIR图像分离模块，用于将采集到的RGBIRRAW数据进行图像分离，形成RGB图像，红外散斑图像或红外图像，分离后的RGB图像、红外散斑图像或红外图像可进行存储或分别送给后续模块进行处理；RGBIR图像处理模块，用于对RGB图像和红外散斑图像，或者红外图像分别处理；选择输出模块，用于将经过处理后的RGB图像、红外图像、深度图或点云进行选择性的输出，可选择输出深度图，RGB图像，红外图像，RGBD数据或者XYZRGB点云数据。本专利技术采用了单目RGBIR摄像头统一采集图像，并对图像分离，最后对分离后的RGB图像和IR图像(红外散斑图像或红外图像)分别处理再融合配准，相比其他现有技术中的双目摄像头结构光深度感知装置，本专利技术的单目结构光深度感知装置可以减少装配精度、标定精度和使用过程的影响，并且可以实现远近不同距离的RGB图像素与深度图或3D点云一一对应。此外，本专利技术对分离后的红外图像采用了改进的红外图像增强方法，可以对红外图像的噪声进行去除，而且很好的保护图像的边缘，轮廓等细节。在对分离后红外散斑图像进行处理的时候，本专利技术还会对图像进行旋转操作，从而使图像方便的读取和储存，解决实际使用中摄像头因为人们的需要而进行旋转时，数据按图像的短边进行读取，会破坏图像的数据结构的问题。上述的多个有益效果将通过以下实施例的阐述而得到具体的体现。附图说明图1是基于RGBIR摄像头的单目结构光深度感知装置结构框架图；图2是基于RGBIR摄像头的单目结构光深度感知方法流程图；图3是RGB图像的图像信号处理ISP流程图；图4是红外散斑图的深度感知解码框架图；图5是新型鱼眼校正模块框架图；图6(a)和图6(b)是图像旋转参考图。具体实施方式下面结合附图1-6对本专利技术进行进一步的详细说明。图1是一种基于RGBIR摄像头的单目结构光深度感知装置的结构框架图，该深度感知装置包括RGBIR图像产生模块，RGBIR图像采集模块，RGBIR图像分离模块，RGBIR图像处理模块，和选择输出模块。RGBIR图像产生模块是利用红外激光散斑编码投射器投射红外散斑图像或利用红外泛光源照射出红外图像，并利用RGBIR摄像头投射出可见光RGB图像。RGBIR图像采集模块是利用单一RGBIR摄像头将红外激光散斑编码投射器投射的红外散斑图像或红外泛光源照射出的红外图像，和可见光RGB图像一起采集进来，获得RGBIRRAW数据。所述的RGBIR摄像头、红外激光散斑编码投射器或红外泛光源处于同一基线上排列，水平排列或垂直排列。RGBIR图像分离模块是将采集到的RGBIRRAW数据进行图像分离，具体地，可以利用滤光片等现有装置将RGBIRRAW数据分离，形成RGB图像，红外散斑图像或红外图像，分离后的RGB图像、红外散斑图像或红外图像可进行存储并/或分别送给后续模块进行处理。RGBIR图像处理模块是将RGBIR图像分离模块分离出的RGB图像，红外散斑图像/或红外图像分开进行图像处理。其中，对RGB图像进行传统的图像信号处理ISP处理，对红外图像进行红外图像增强处理，对红外散斑图像的处理则包括：预处理，图像旋转，块匹配，深度计算，后处理，三维点云生成等处理操作。红外图像增强处理的具体方法和对红外散斑图像的处理具体操作的见后详述。选择输出模块是将经过ISP处理的RGB图像，经过红外图像增强处理的红外图像，以及经过预处理，图像旋转，块匹配，深度计算，后处理，三维点云生成的红外散斑图像进行选择输出。RGB图像经过ISP处理后能够得到效果良好的RGB彩色图，与此同时红外散斑图像通过预处理，图像旋转，块匹配之后再通过结构光单目计算公式得到图像深度值D，结合深度值D和内外相机标定参数三维重建得到XYZ数据。而本文档来自技高网...

【技术保护点】
1.一种基于RGBIR摄像头的单目结构光深度感知装置，其特征在于：该深度感知装置包括：RGBIR图像产生模块，用于通过红外激光散斑编码投射器投射红外散斑图像或利用红外泛光源照射出红外图像，并通过RGBIR摄像头投射出可见光RGB图像；RGBIR图像采集模块，用于通过单一RGBIR摄像头将所述红外散斑图像或所述红外图像，和所述可见光RGB图像一起采集，获得RGBIR RAW数据；RGBIR图像分离模块，将采集到的RGBIR RAW数据进行图像分离，得到分离的RGB图像，红外散斑图像或红外图像；RGBIR图像处理模块，将RGBIR图像分离模块分离出的RGB图像，红外散斑图像或红外图像分开进行图像处理；选择输出模块是将经过RGBIR图像处理模块处理后的RGB图像，红外散斑图像或红外图像，进行选择输出。

【技术特征摘要】
1.一种基于RGBIR摄像头的单目结构光深度感知装置，其特征在于：该深度感知装置包括：RGBIR图像产生模块，用于通过红外激光散斑编码投射器投射红外散斑图像或利用红外泛光源照射出红外图像，并通过RGBIR摄像头投射出可见光RGB图像；RGBIR图像采集模块，用于通过单一RGBIR摄像头将所述红外散斑图像或所述红外图像，和所述可见光RGB图像一起采集，获得RGBIRRAW数据；RGBIR图像分离模块，将采集到的RGBIRRAW数据进行图像分离，得到分离的RGB图像，红外散斑图像或红外图像；RGBIR图像处理模块，将RGBIR图像分离模块分离出的RGB图像，红外散斑图像或红外图像分开进行图像处理；选择输出模块是将经过RGBIR图像处理模块处理后的RGB图像，红外散斑图像或红外图像，进行选择输出。2.如权利要求1所述的单目结构光深度感知装置，其特征在于：优选的，所述红外散斑图像进行的图像处理为预处理，图像旋转，块匹配，深度计算，后处理，三维点云生成。3.如权利要求1所述的单目结构光深度感知装置，其特征在于：所述选择输出模块的选择输出，进一步选择输出深度图，RGBD数据，或XYZRGB数据。4.如权利要求2所述的单目结构光深度感知装置，其特征在于：所述图像旋转具体为当摄像头进行旋转的时候，图像传感器传给所述RGBIR图像处理模块一个信号，使得图像处理时图像进行旋转，否则不旋转。5.如权利要求1所述的单目结构光深度感知装置，其特征在于：所述对红外图像进行的图像处理是红外图像增强操作，具体为：分析加权直方图，剔除零单元，剩下的单元保持前后位置关系不变，构成一个集合{N(i)|1≤i≤K},K为非零单元个数；求出集合N(i)的极大值和最大值；将上一步骤中的值构成另一个集合，{N(i)|1≤i≤L},L为该集合极大值的个数；接着对集合{N(i)|1≤i≤L}再进行极大值和最大值计算，得到一个新的集合{Z(j)|1≤j≤S},S为这个新集合的个数，并且S<L；求出集合{Z(j)|1≤j≤S}的中值平台阈值计算出新加权直方图：其中Pt(k)是新直方图，Pr(k)是原来的直方图，数字图像的灰度级k出现的次数为nkPr(k)＝nkk＝0,1,2……255计算累积直方图并得出灰度映射；累积直方图计算公式为：灰度映射计算公式为：RT(k)是原有k灰度级对应的...

【专利技术属性】
技术研发人员：葛晨阳，邓作为，侯晓琦，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61