一种三维深度感知设备制造技术

本实用新型专利技术公开了一种三维深度感知设备，所述设备包括红外激光编码图案投射器、红外摄像头、RGB摄像头、三维深度感知专用芯片、存储器、压缩编码USB驱动模块；所述红外激光编码图案投射器，用于投射出一定波长范围的编码图案，对有效范围内待测量的投射空间和目标物体进行结构光编码；所述红外激光编码图案投射器的中心光轴与红外摄像头、RGB摄像头的中心光轴平行或形成一定的锐角θ。通过本实用新型专利技术，可以获取更稳定可靠、更宽工作范围的深度图信息，并且本设备不受环境光影响，立体匹配算法也更为简单。

【技术实现步骤摘要】

本技术属于计算视觉、微电子和人机交互
，具体涉及一种三维深度感知设备。
技术介绍
三维深度感知设备是一种新型立体视觉传感器，可实时获取高精度、高分辨率的深度图信息(距离信息)，进行三维图像的实时识别、动作捕捉及场景感知。基于结构光编码的三维深度感知设备可以较为准确地获取深度信息，相比双目立体摄像头和ToF(Time of Flight)方式，具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配算法简单等优势，已成为人机交互、智能设备深度获取的主流。
技术实现思路
为克服现有技术存在的缺陷，本技术提供一种三维深度感知设备，所述设备包括红外激光编码图案投射器、红外摄像头、RGB摄像头、三维深度感知专用芯片、存储器、压缩编码USB驱动模块；所述红外摄像头连接三维深度感知专用芯片，三维深度感知专用芯片连接至压缩编码USB驱动模块；所述RGB摄像头连接至压缩编码USB驱动模块，所述存储器连接至三维深度感知专用芯片；所述三维深度感知专用芯片包括同步触发模块，所述同步触发模块连接至红外激光编码图案投射器、红外摄像头、RGB摄像头；所述红外激光编码图案投射器，用于投射出一定波长范围的编码图案，对有效范围内待测量的投射空间和目标物体进行结构光编码；所述红外激光编码图案投射器的中心光轴与红外摄像头、RGB摄像头的中心光轴平行或形成一定的锐角θ。其中，所述RGB摄像头，用于与红外摄像头同步采集RGB视频流；所述存储器，用于预先存储一幅或多幅参考编码图案；所述红外摄像头，用于实时接收所述红外激光编码图案投射器投射的编码图案，生成输入编码图案，并将输入编码图案以一定的视频格式送入深度感知专用芯片。其中，所述压缩编码USB驱动模块，用于对深度视频流或RGB视频流进行压缩编码USB打包驱动。其中，所述三维深度感知专用芯片包括：存储控制器、预处理模块、块匹配视差计算模块、深度计算模块、深度图后处理模块；所述存储控制器与存储器相连；所述预处理模块与存储控制器相连，预处理模块与存储控制器同时连接至块匹配视差计算模块；所述块匹配视差计算模块连接至深度计算模块，深度计算模块连接至深度图后处理模块。其中，红外激光编码图案投射器、红外摄像头、RGB摄像头在同一基线上排列。其中，红外激光编码图案投射器的中心光轴向红外摄像头侧倾斜，红外激光编码图案投射器的中心光轴与红外摄像头中心光轴之间的锐角θ大小是可调的。通过本技术，可以获取更稳定可靠、更宽工作范围的深度图信息，并且本设备不受环境光影响，立体匹配算法也更为简单。附图说明图1是本技术实施例的三维深度感知设备结构图；图2是本技术实施例的一种投射器与摄像头布局结构俯视图；图3是本技术实施例的一种投射器与摄像头布局结构俯视图；图4是本技术实施例的一种投射器与摄像头布局结构俯视图；图5是本技术实施例的一种投射器与摄像头布局结构俯视图；图6是本技术实施例的深度感知专用芯片功能结构图；图7是本技术实施例的一种激光散斑编码图案示意图。具体实施方式下面结合具体实施例对本技术进一步的详细说明。在一个具体实施例中，本技术公开了一种三维深度感知设备，如图1所示，包括红外激光编码图案投射器、红外摄像头、RGB摄像头、三维深度感知专用芯片、存储器、压缩编码USB驱动模块。所述红外摄像头连接三维深度感知专用芯片，三维深度感知专用芯片连接至压缩编码USB驱动模块；所述RGB摄像头连接至压缩编码USB驱动模块，所述存储器连接至三维深度感知专用芯片。所述三维深度感知专用芯片包括同步触发模块，所述同步触发模块连接至红外激光编码图案投射器、红外摄像头、RGB摄像头。所述红外激光编码图案投射器，用于投射出一定波长范围的编码图案，对有效范围内待测量的投射空间和目标物体进行结构光编码；所述红外激光编码图案投射器的中心光轴可以与红外摄像头、RGB摄像头的中心光轴平行或形成一定的锐角θ，如图2-5所示；图7所示为一种基于激光散斑的红外激光编码图案示意图。所述红外摄像头，用于实时接收所述红外激光编码图案投射器投射的编码图案，生成输入编码图案，并将输入编码图案以一定的视频格式送入深度感知专用芯片，所述一定的视频格式包括贝尔格式Bayer、原始数据RAW、移动处理器接口MIPI、低压差分LVDS等。所述RGB摄像头，用于与红外摄像头同步采集RGB视频流。所述存储器，用于预先存储一幅或多幅参考编码图案，一般为并口或串口SPI Flash。所述压缩编码USB驱动模块，用于对深度视频流或RGB视频流进行压缩编码USB打包驱动。如图6所示，所述三维深度感知专用芯片包括：存储控制器、预处理模块、块匹配视差计算模块、深度计算模块、深度图后处理模块。所述存储控制器与存储器相连；所述预处理模块与存储控制器相连，预处理模块与存储控制器同时连接至块匹配视差计算模块；所述块匹配视差计算模块连接至深度计算模块，深度计算模块连接至深度图后处理模块。所述红外摄像头将输入编码图案输入至预处理模块，所述预处理模块将预处理后的输入编码图案输入至块匹配视差计算模块；存储器将预先存储的参考编码图案输入至存储控制器，存储控制器将参考编码图案输入至匹配视差计算模块；所述预处理后的输入编码图案与参考编码图案经过块匹配视差计算模块的匹配计算得到视差向量，再经深度计算和深度图后处理，输出高精度高分辨率深度图序列；芯片内部的同步触发模块，产生同步触发信号，送到红外激光编码图案投射器、红外摄像头、RGB摄像头。所述预处理包括视频格式转换、一致性增强去噪。就上述实施例而言，该设备的基本功能在于：红外激光编码图案投射器向目标物体或三维空间投射出编码图案，红外摄像头采集所投射的编码图案，红外摄像头将所采集的编码图案输入到三维深度感知专用芯片进行深度解码，经深度解码得到的深度视频流经压缩编码USB驱动模块输出；RGB摄像头同步采集RGB视频流，经压缩编码USB驱动模块输出。其中红外激光编码图案投射器、红外摄像头、RGB摄像头排列在同一基线上，排列方式有多种，如图2-5所示，红外摄像头、RGB摄像头的中心光轴平行，红外激光编码图案投射器的中心光轴可以与红外摄像 头、RGB摄像头的中心光轴平行或形成一定的锐角θ。优选的，红外激光编码图案投射器、红外摄像头、RGB摄像头在同一基线上排列，可以水平排列，也可以垂直排列，三者排列关系不限于图2-5所示的几种关系，其它排列方式也在本技术的权利要求范围内。进一步，优选的，红外激光编码图案投射器的中心光轴向红外摄像头这一侧倾斜，红外激光编码图案投射器的中心光轴与红外摄像头中心光轴之间的锐角θ大小可根据设计要求进行调整。本技术不仅支持不同类型激光源产生的结构光模式，如红外、可见光、紫外线、不可见光等，也支持不同图案组成的编码投射方案，如圆点状、块状、十字状、条纹状、特定符号等图案。因而在不脱离本技术的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。虽然通过实施例描述了本技术，本领域普通技术人员知道，本技术有许多变形和变化而不脱离本技术的精神，希望所附的权利要求包括这些变形和变化而不脱离本技术的精神。本文档来自技高网...

【技术保护点】
一种三维深度感知设备，其特征在于：所述设备包括红外激光编码图案投射器、红外摄像头、RＧB摄像头、三维深度感知专用芯片、存储器、压缩编码USB驱动模块；所述红外摄像头连接三维深度感知专用芯片，三维深度感知专用芯片连接至压缩编码USB驱动模块；所述RＧB摄像头连接至压缩编码USB驱动模块，所述存储器连接至三维深度感知专用芯片；所述三维深度感知专用芯片包括同步触发模块，所述同步触发模块连接至红外激光编码图案投射器、红外摄像头、RＧB摄像头；所述红外激光编码图案投射器，用于投射出一定波长范围的编码图案，对有效范围内待测量的投射空间和目标物体进行结构光编码；所述红外激光编码图案投射器的中心光轴与红外摄像头、RＧB摄像头的中心光轴平行或形成一定的锐角θ。

【技术特征摘要】
1.一种三维深度感知设备，其特征在于：所述设备包括红外激光编码图案投射器、红外摄像头、RＧB摄像头、三维深度感知专用芯片、存储器、压缩编码USB驱动模块；所述红外摄像头连接三维深度感知专用芯片，三维深度感知专用芯片连接至压缩编码USB驱动模块；所述RＧB摄像头连接至压缩编码USB驱动模块，所述存储器连接至三维深度感知专用芯片；所述三维深度感知专用芯片包括同步触发模块，所述同步触发模块连接至红外激光编码图案投射器、红外摄像头、RＧB摄像头；所述红外激光编码图案投射器，用于投射出一定波长范围的编码图案，对有效范围内待测量的投射空间和目标物体进行结构光编码；所述红外激光编码图案投射器的中心光轴与红外摄像头、RＧB摄像头的中心光轴平行或形成一定的锐角θ。2.根据权利要求1所述的设备，其特征在于：所述RＧB摄像头，用于与红外摄像头同步采集RＧB视频流；所述存储器，用于预先存储一幅或多幅参考编码图案；所述红外摄像头，用于实时接收所述红外激光编码图案投射...

【专利技术属性】
技术研发人员：葛晨阳，周艳辉，
申请(专利权)人：宁波盈芯信息科技有限公司，
类型：新型
国别省市：浙江;33