单目深度图像采集装置和系统及其图像处理方法制造方法及图纸

一单目深度图像采集装置和系统及其图像处理方法，其中所述单目深度图像采集系统包括：一红外成像单元；一深度转换单元；一散斑投射单元；一彩色成像单元和一控制单元，其中所述散斑投射单元用于投射红外光，所述红外成像单元接收反射的红外光，得到红外图像信息，所述深度转换单元将所述红外图像信息转换为单目深度图像信息，所述彩色成像单元采集RGB图像，所述控制单元将所述RGB图像和所述单目深度图像融合得到彩色单目深度图像。

Monocular depth image acquisition device and system and image processing method thereof

A single eye depth image acquisition device, system and image processing method, in which the monocular depth image acquisition system includes an infrared imaging unit, a depth conversion unit, a speckle projection unit, a color imaging unit and a control unit, in which the speckle projection unit is used to project the infrared light and the red light. The external imaging unit receives the reflected infrared light and obtains infrared image information. The depth conversion unit converts the infrared image information into a monocular depth image information, and the color imaging unit collects the RGB image, and the control unit converts the RGB image and the monocular depth image to the color monocular depth image.

【技术实现步骤摘要】
单目深度图像采集装置和系统及其图像处理方法
本专利技术涉及图像采集及图像处理领域，更进一步，涉及一单目深度图像采集装置和系统及其图像处理方法。
技术介绍
随着光学测量技术以及计算机视觉的发展，光学三维测量技术逐渐成熟，已逐渐应用于手势控制、3D建模、汽车雷达以及机器人视觉系统等领域，也成为当前光学领域中的研究热点。红外散斑单目深度技术是诸多光学三维测量技术中表现较为突出的一种技术。其基本原理是红外投射器发射出固定编码的红外光由被测物体反射后被红外相捕获，由此可计算得出被测物体与红外散斑单目深度相机的距离。与其它光学三维测量技术相比，红外散斑单目深度技术具有计算量小、实时性强、精度高等优点。但是基于传统单目深度图像采集的基本原理，现有的红外散斑单目深度相机采集的图像都是灰度图像，并不是彩色图像。也就是说，这种方式得到的图像并不能像通常的平面图像一样通过彩色图像再现被测物体。这种方式虽然获得深度信息，具有空间立体感，但是损失了色彩信息，得到的图像的分辨率较低，图像的清晰度较差。这种效果使得用户体验较差，因此也限制了红外散斑单目深度相机的应用范围。另一方面，传统的红外散斑单目深度图像中通常含有孔洞，图像质量较差。
技术实现思路
本专利技术的一个目的在于提供一单目深度图像采集装置和系统及其图像处理方法，其中单目深度图像采集系统采集单目深度图像和RGB图像，并且将单目深度图像和RGB图像进行融合，形成彩色单目深度图像。本专利技术的一个目的在于提供一单目深度图像采集装置和系统及其图像处理方法，其中所述单目深度图像采集装置包括至少一彩色成像单元，以便于采集RGB图像。本专利技术的一个目的在于提供一单目深度图像采集装置和系统及其图像处理方法，其中所述单目深度图像采集系统包括一红外成像单元和一散斑投身单元，以便于相互配合采集得到深度图像。本专利技术的一个目的在于提供一单目深度图像采集装置和系统及其图像处理方法，其中在图像处理的过程中，先对采集到的单目深度图像和RGB图像分别进行处理，从而提高单目深度图像和RGB图像合成的精度。本专利技术的一个目的在于提供一单目深度图像采集装置和系统及其图像处理方法，其中所述单目深度图像融合了RGB图像信息，提高了单独深度图像的分辨率，提高了图像的清晰度。本专利技术的一个目的在于提供一单目深度图像采集装置和系统及其图像处理方法，其中所述RGB图像补充单目深度图像，形成彩色单目深度图像，减少了传统的红外散斑单目深度图像中的孔洞。本专利技术的一个目的在于提供一单目深度图像采集装置和系统及其图像处理方法，其中通过补值、去飞点、去噪、边缘检测等技术提高了红外散斑单目深度图像的分辨率，极大地提高了融合后的RGB-D图像的清晰度。为了实现以上至少一目的，本专利技术一方面提供一单目深度图像采集系统，其包括：一红外成像单元；一深度转换单元；一散斑投射单元；一彩色成像单元和一控制单元，其中所述散斑投射单元用于投射红外光，所述红外成像单元接收反射的红外光，得到红外图像信息，所述深度转换单元将所述红外图像信息转换为单目深度图像信息，所述彩色成像单元采集RGB图像，所述控制单元将所述RGB图像和所述单目深度图像融合得到彩色单目深度图像。根据一些实施例，所述的单目深度图像采集系统，其中所述控制单元对所述单目深度图像去飞点处理。根据一些实施例，所述的单目深度图像采集系统，其中所述控制单元对所述RGB图像进行去噪处理后，将所述RGB图像和所述单目深度图像融合。根据一些实施例，所述的单目深度图像采集系统，其中所述控制单元被设置有至少一输出接口，以便于通信连接一电子设备，向所述电子设备输出所述彩色深度图像。根据一些实施例，所述的单目深度图像采集系统，其中所述控制单元向所述红外成像单元、所述彩色成像单元、所述散斑投射单元传送控制信号，以控制所述红外成像单元，所述散斑投射单元以及所述彩色成像单元的工作。根据一些实施例，所述的单目深度图像采集系统，其中所述控制单元向所述红外成像单元、所述彩色成像单元、所述散斑投射单元传送同步信号，以同步所述红外成像单元、所述彩色成像单元以及所述散斑投射单元。根据一些实施例，所述的单目深度图像采集系统，其中所述控制单元在图像融合的过程中，对单目深度图像中丢失深度信息的像素点赋深度初始值。根据一些实施例，所述的单目深度图像采集系统，其中对丢失深度信息的像素点赋初始值的方式为取其周围像素点的深度均值作为其深度值。根据一些实施例，所述的单目深度图像采集系统，其中所述控制单元在融合图像的过程中，将单目深度图像和RGB图像整合得到一整幅图像，将整幅图像分解为有限个图像块(每个图像块大小为m×m)，根据公式找出距离图像块Pr最近的k-1个图像块，其中，Ir和Dr分别是像素块Pr的RGB和深度信息，是平均深度，α和β分别是色彩和深度的权重。根据一些实施例，所述的单目深度图像采集系统，其中所述控制单元在融合图像的过程中，将图像块Pr及这k-1个图像块按列排放构成图像块矩阵假设是的理想矩阵，对彩色图像和单目深度图像中的物体边缘进行检测得到图像块的RGB-D结构关系，使用抛物线回归模型估算出矩阵的秩r。根据一些实施例，所述控制单元在融合图像的过程中，根据r的值可对矩阵进行分解：对使用变更算法得到子矩阵A和B，其中W是掩码矩阵，丢失信息的元素位为0，其余元素为1。根据一些实施例，所述的单目深度图像采集系统，其中所述控制单元在图像融合的过程中，将矩阵A和B相乘得到其各列即为k个图像块对应的深度。根据一些实施例，所述的单目深度图像采集系统，其中所述控制单元在图像融合的过程中，对每个像素p，取覆盖p的所有图像块的深度均值作为该像素的深度，由此得到整幅图像的深度图。本专利技术的另一方面提供一单目深度图像处理方法，其包括步骤：(A)采集至少一RGB图像；(B)采集至少一单目深度图像；和(C)融合所述RGB图像与所述单目深度图像形成一彩色深度图像。根据一些实施例，所述的单目深度图像处理方法，其中所述步骤(B)包括步骤：采集一红外图像，将所述红外图像转换为所述单目深度图像。根据一些实施例，所述的单目深度图像处理方法，其中所述步骤(C)包括步骤：对所述RGB图像进行去噪处理，以得到高质量的所述RGB图像。根据一些实施例，所述的单目深度图像处理方法，其中所述步骤(C)包括步骤：对所述单目深度图像进行去飞点处理。根据一些实施例，所述的单目深度图像处理方法，其中所述步骤(C)包括步骤：对单目深度图像中丢失深度信息的像素点赋初始值。根据一些实施例，所述的单目深度图像处理方法，其中所述赋初始值的方式为：取丢失深度信息的像素点周围像素点的深度均值作为其深度值。根据一些实施例，所述的单目深度图像处理方法，其中所述步骤(C)包括步骤：(C1)找出距离图像块Pr最近的K-1个图像块构成矩阵M；(C2)估算矩阵M的理想矩阵的秩r；(C3)找出子矩A、B；和(C4)运行矩阵分解，得到深度。根据一些实施例，所述的单目深度图像处理方法，其中所述步骤(C1)中，将单目深度图像和RGB图像整合得到一整幅图像，将整幅图像分解为有限个图像块(每个图像块大小为m×m)，根据公式找出距离图像块Pr最近的k-1个图像块，其中，Ir和Dr分别是像素块Pr的RGB和深度信息，是平均深度，α和β是分别是色彩本文档来自技高网...

【技术保护点】
1.一单目深度图像采集系统，其特征在于，包括：一红外成像单元；一深度转换单元；一散斑投射单元；一彩色成像单元；和一控制单元，其中所述散斑投射单元用于投射红外光，所述红外成像单元接收反射的红外光，得到红外图像信息，所述深度转换单元将所述红外图像信息转换为单目深度图像信息，所述彩色成像单元采集RGB图像，所述控制单元将所述RGB图像和所述单目深度图像融合得到彩色单目深度图像。

【技术特征摘要】
1.一单目深度图像采集系统，其特征在于，包括：一红外成像单元；一深度转换单元；一散斑投射单元；一彩色成像单元；和一控制单元，其中所述散斑投射单元用于投射红外光，所述红外成像单元接收反射的红外光，得到红外图像信息，所述深度转换单元将所述红外图像信息转换为单目深度图像信息，所述彩色成像单元采集RGB图像，所述控制单元将所述RGB图像和所述单目深度图像融合得到彩色单目深度图像。2.根据权利要求1所述的单目深度图像采集系统，其中所述控制单元对所述单目深度图像去飞点处理。3.根据权利要求1所述的单目深度图像采集系统，其中所述控制单元对所述RGB图像进行去噪处理后，将所述RGB图像和所述单目深度图像融合。4.根据权利要求1所述的单目深度图像采集系统，其中所述控制单元被设置有至少一输出接口，以便于通信连接一电子设备，向所述电子设备输出所述彩色深度图像。5.根据权利要求1所述的单目深度图像采集系统，其中所述控制单元向所述红外成像单元、所述彩色成像单元、所述散斑投射单元传送控制信号，以控制所述红外成像单元，所述散斑投射单元以及所述彩色成像单元的工作。6.根据权利要求1所述的单目深度图像采集系统，其中所述控制单元向所述红外成像单元、所述彩色成像单元、所述散斑投射单元传送同步信号，以同步所述红外成像单元、所述彩色成像单元以及所述散斑投射单元。7.根据权利要求1至6任一所述的单目深度图像采集系统，其中所述控制单元在图像融合的过程中，对单目深度图像中丢失深度信息的像素点赋深度初始值。8.根据权利要求7所述的单目深度图像采集系统，其中对单目深度图像中丢失深度信息的像素点赋初始值的方式为取其周围像素点的深度均值作为其深度值。9.根据权利要求1至6任一所述的单目深度图像采集系统，其中所述控制单元在融合图像的过程中，将单目深度图像和RGB图像整合得到一整幅图像，将整幅图像分解为有限个图像块(每个图像块大小为m×m)，根据公式找出距离图像块Pr最近的k-1个图像块，其中，Ir和Dr分别是像素块Pr的RGB和深度信息，是平均深度，α和β分别是色彩和深度的权重。10.根据权利要求9所述的单目深度图像采集系统，其中所述控制单元在融合图像的过程中，将图像块Pr及这k-1个图像块按列排放构成图像块矩阵假设是的理想矩阵，对彩色图像和单目深度图像中的物体边缘进行检测得到图像块的RGB-D结构关系，使用抛物线回归模型估算出矩阵的秩r。11.根据权利要求10所述的单目深度图像采集系统，其中所述控制单元在融合图像的过程中，根据r的值可对矩阵进行分解：对使用变更算法得到子矩阵A和B，其中W是掩码矩阵，丢失信息的元素位为0，其余元素为1。12.根据权利要求11所述的单目深度图像采集系统，其中所述控制单元在图像融合的过程中，将矩阵A和B相乘得到其各列即为k个图像块对应的深度。13.根据权利要求12所述...

【专利技术属性】
技术研发人员：刘莎莎，魏曦阳，赵俊能，王城特，
申请(专利权)人：浙江舜宇智能光学技术有限公司，
类型：发明
国别省市：浙江,33