有源双目相机、RGB-D图像确定方法及装置制造方法及图纸

本申请公开了一种有源双目相机、RGB‑D图像确定方法及装置，属于立体视觉领域。所述有源双目相机包括：第一成像系统、第二成像系统和红外散斑器。第一成像系统包括第一透光镜、分光元器件、第一红外光传感器和可见光传感器，第一成像系统用于获取第一红外光图像和可见光图像。第二成像系统包括第二透光镜和第二红外光传感器，第二成像系统用于获取第二红外光图像。红外散斑器的投射范围至少覆盖第一成像系统的拍摄范围和第二成像系统的拍摄范围。由于第一红外光图像与可见光图像均由第一成像系统获取，所以第一红外光图像的视点与可见光图像的视点相同，从而使得确定出的RGB‑D图像中的像素点的深度信息更加完整，准确性更高。

【技术实现步骤摘要】
有源双目相机、RGB-D图像确定方法及装置
本申请涉及立体视觉领域，特别涉及一种有源双目相机、RGB-D(RedGreenBlue-Depth，红绿蓝-深度)图像确定方法及装置。
技术介绍
RGB色彩模式通过对红、绿、蓝三种颜色的变化，以及这三种颜色之间的相互叠加可以得到人眼所能感知的几乎所有颜色。RGB图像即是可以包括人眼能够感知的几乎所有颜色的图像，也可以称作是包含可见光信息的可见光图像。RGB-D图像是包含可见光信息和深度信息的图像。其中，深度信息可以表示实物点与成像平面之间的距离。相关技术中提供了一种基于有源三目相机确定RGB-D图像的方法，该有源三目相机包括两个红外光成像系统、一个可见光成像系统和一个红外散斑器。当确定RGB-D图像时，可以通过红外散斑器向拍摄场景中投射红外散斑，然后通过两个红外光成像系统和可见光成像系统在同一时刻获取拍摄场景的两张红外光图像和一张可见光图像。根据这两张红外光图像可以确定出视差图像，然后根据该视差图像，再确定出可见光图像中的像素点的深度信息。由于可见光图像包含像素点的可见光信息，因此在确定可见光图像中的像素点的深度信息之后，也即可以确定出包含可见光信息和深度信息的RGB-D图像。然而，由于上述有源三目相机中的两个红外光成像系统与可见光成像系统的视点不相同，因此可能存在可见光成像系统的部分拍摄范围与两个红外光成像系统的拍摄范围都不存在交叠。这种情况下，在同一时刻获取的可见光图像中的部分像素点无法根据视差图像确定出深度信息，从而导致确定出来的RGB-D图像中的部分像素点的深度信息缺失，使得RGB-D图像的准确性较低。
技术实现思路
本申请实施例提供了一种有源双目相机、RGB-D图像确定方法及装置，可以解决相关技术中因可见光成像系统的部分拍摄范围与两个红外光成像系统的拍摄范围都不存在交叠，从而导致确定出来的RGB-D图像中的部分像素点的深度信息缺失，使得RGB-D图像的准确性较低的问题。所述技术方案如下：第一方面，提供了一种有源双目相机，所述有源双目相机包括：第一成像系统、第二成像系统和红外散斑器；所述第一成像系统包括第一透光镜、分光元器件、第一红外光传感器和可见光传感器，所述分光元器件位于所述第一透光镜的出光侧，所述第一红外光传感器位于所述分光元器件的红外光出光侧，所述可见光传感器位于所述分光元器件的可见光出光侧，所述第一成像系统用于获取第一红外光图像和可见光图像；所述第二成像系统包括第二透光镜和第二红外光传感器，所述第二红外光传感器位于所述第二透光镜的出光侧，所述第一成像系统的拍摄范围和所述第二成像系统的拍摄范围存在交叠部分，所述第二成像系统用于获取第二红外光图像；所述红外散斑器的投射范围至少覆盖所述第一成像系统的拍摄范围和所述第二成像系统的拍摄范围。可选地，所述可见光传感器与所述分光元器件的分光平面之间的夹角为参考角度，所述参考角度位于30～60度的范围内。第二方面，提供了一种基于上述第一方面提供的有源双目相机的确定红绿蓝深度RGB-D图像的方法，所述方法包括：通过所述第一成像系统获取第一红外光图像和可见光图像，通过所述第二成像系统获取第二红外光图像；根据所述第一红外光图像和所述第二红外光图像确定所述第一红外光图像对应的深度图像；根据所述第一红外光图像和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像；将所述第一红外光图像对应的深度图像中的像素点和校正后的可见光图像中的像素点进行一一对准，以得到RGB-D图像。可选地，所述根据根据所述第一红外光图像和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像，包括：根据所述第一红外光图像和所述可见光图像，确定所述可见光图像投影到所述第一红外光图像上的变换矩阵；根据所述变换矩阵和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像。可选地，所述根据所述第一红外光图像和所述可见光图像，确定所述可见光图像投影到所述第一红外光图像上的变换矩阵，包括：确定至少三个特征点对，每个特征点对中包括所述第一红外光图像和所述可见光图像中相匹配的两个特征点；根据所述至少三个特征点对，确定参考变换矩阵；根据所述参考变换矩阵、每个特征点对包括的所述第一红外光图像的特征点的像素坐标和所述可见光图像的特征点的像素坐标，构建至少三个重投影误差函数；最小化所述至少三个重投影误差函数之和，以得到所述可见光图像投影到所述第一红外光图像上的变换矩阵。可选地，所述通过所述第一成像系统获取第一红外光图像和可见光图像，通过所述第二成像系统获取第二红外光图像之后，所述方法还包括：根据所述第一成像系统的畸变参数，对所述第一红外光图像进行校正；根据所述第二成像系统的畸变参数，对所述第二红外光图像进行校正。第三方面，提供了一种RGB-D图像确定装置，所述装置包括：获取模块，用于通过所述第一成像系统获取第一红外光图像和可见光图像，通过所述第二成像系统获取第二红外光图像；确定模块，用于根据所述第一红外光图像和所述第二红外光图像确定所述第一红外光图像对应的深度图像；第一校正模块，用于根据所述第一红外光图像和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像；对准模块，用于将所述第一红外光图像对应的深度图像中的像素点和校正后的可见光图像中的像素点进行一一对准，以得到RGB-D图像。可选地，所述第一校正模块包括：第一确定子模块，用于根据所述第一红外光图像和所述可见光图像，确定所述可见光图像投影到所述第一红外光图像上的变换矩阵；第一校正子模块，用于根据所述变换矩阵和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像。可选地，所述第一确定子模块包括：第一确定单元，用于确定至少三个特征点对，每个特征点对中包括所述第一红外光图像和所述可见光图像中相匹配的两个特征点；第二确定单元，用于根据所述至少三个特征点对，确定参考变换矩阵；构建单元，用于根据所述参考变换矩阵、每个特征点对包括的所述第一红外光图像的特征点的像素坐标和所述可见光图像的特征点的像素坐标，构建至少三个重投影误差函数；最小化运算单元，用于最小化所述至少三个重投影误差函数之和，以得到所述可见光图像投影到所述第一红外光图像上的变换矩阵。可选地，所述装置还包括：第二校正模块，用于根据所述第一成像系统的畸变参数，对所述第一红外光图像进行校正；第三校正模块，用于根据所述第二成像系统的畸变参数，对所述第二红外光图像进行校正。第四方面，提供了一种RGB-D图像确定装置，所述装置包括：处理器；...

【技术保护点】
1.一种有源双目相机，其特征在于，所述有源双目相机包括：第一成像系统(01)、第二成像系统(02)和红外散斑器(03)；/n所述第一成像系统(01)包括第一透光镜(011)、分光元器件(012)、第一红外光传感器(013)和可见光传感器(014)，所述分光元器件(012)位于所述第一透光镜(011)的出光侧，所述第一红外光传感器(013)位于所述分光元器件(012)的红外光出光侧，所述可见光传感器(014)位于所述分光元器件(012)的可见光出光侧，所述第一成像系统(01)用于获取第一红外光图像和可见光图像；/n所述第二成像系统(02)包括第二透光镜(021)和第二红外光传感器(022)，所述第二红外光传感器(022)位于所述第二透光镜(021)的出光侧，所述第一成像系统(01)的拍摄范围和所述第二成像系统(02)的拍摄范围存在交叠部分，所述第二成像系统(02)用于获取第二红外光图像；/n所述红外散斑器(03)的投射范围至少覆盖所述第一成像系统(01)的拍摄范围和所述第二成像系统(02)的拍摄范围。/n

【技术特征摘要】
1.一种有源双目相机，其特征在于，所述有源双目相机包括：第一成像系统(01)、第二成像系统(02)和红外散斑器(03)；
所述第一成像系统(01)包括第一透光镜(011)、分光元器件(012)、第一红外光传感器(013)和可见光传感器(014)，所述分光元器件(012)位于所述第一透光镜(011)的出光侧，所述第一红外光传感器(013)位于所述分光元器件(012)的红外光出光侧，所述可见光传感器(014)位于所述分光元器件(012)的可见光出光侧，所述第一成像系统(01)用于获取第一红外光图像和可见光图像；
所述第二成像系统(02)包括第二透光镜(021)和第二红外光传感器(022)，所述第二红外光传感器(022)位于所述第二透光镜(021)的出光侧，所述第一成像系统(01)的拍摄范围和所述第二成像系统(02)的拍摄范围存在交叠部分，所述第二成像系统(02)用于获取第二红外光图像；
所述红外散斑器(03)的投射范围至少覆盖所述第一成像系统(01)的拍摄范围和所述第二成像系统(02)的拍摄范围。


2.如权利要求1所述的有源双目相机，其特征在于，所述可见光传感器(014)与所述分光元器件(012)的分光平面之间的夹角为参考角度，所述参考角度位于30～60度的范围内。


3.一种基于权利要求1或2所述的有源双目相机确定红绿蓝深度RGB-D图像的方法，其特征在于，所述方法包括：
通过所述第一成像系统获取第一红外光图像和可见光图像，通过所述第二成像系统获取第二红外光图像；
根据所述第一红外光图像和所述第二红外光图像确定所述第一红外光图像对应的深度图像；
根据所述第一红外光图像和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像；
将所述第一红外光图像对应的深度图像中的像素点和校正后的可见光图像中的像素点进行一一对准，以得到RGB-D图像。


4.如权利要求3所述的方法，其特征在于，所述根据根据所述第一红外光图像和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像，包括：
根据所述第一红外光图像和所述可见光图像，确定所述可见光图像投影到所述第一红外光图像上的变换矩阵；
根据所述变换矩阵和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像。


5.如权利要求4所述的方法，其特征在于，所述根据所述第一红外光图像和所述可见光图像，确定所述可见光图像投影到所述第一红外光图像上的变换矩阵，包括：
确定至少三个特征点对，每个特征点对中包括所述第一红外光图像和所述可见光图像中相匹配的两个特...

【专利技术属性】
技术研发人员：覃骋，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33