一种融合了深度相机和普通相机的传感器制造技术

一种融合了深度相机和普通相机的传感器。包括光学镜头，分光棱镜，感光芯片和电子电路，整体支撑；光学镜头、分光棱镜、感光芯片和电子电路分别固定在整体支撑上；分光棱镜包含分光镜和棱镜；感光芯片包含TOF深度相机芯片和普通彩色相机芯片；电子电路的供电电路给红外光源、TOF深度相机芯片和普通彩色相机芯片提供电源，TOF深度相机芯片和普通彩色相机芯片分别接收控制信号和发送数据传输给模组对外接口。具有光学系统和整体的结构系统更紧凑，两个传感器芯片共用同一颗镜头，成本更低，避免了标定的过程，不需要消耗外部的计算资源的优点。

A sensor combining depth camera and common camera

【技术实现步骤摘要】
一种融合了深度相机和普通相机的传感器
本技术属于仪器
，涉及一种融合了深度相机和普通相机的传感器。
技术介绍
随着商用机器人，家用机器人，工业机器人的兴起，对机器视觉的需求越来越高。目前普通相机(2D相机)已经广泛的应用到机器人的视觉系统中，完成识别检测等各种功能。同时3D相机(具有深度信息的相机)也越来越多的得到使用，提供深度避障，构建地图等功能。这两种相机传感器往往需要同时使用，提供深度信息，同时提供丰富的颜色和2D信息，以完成复杂的功能，比如像人一样的自然导航。ToF(Timeofflight)原理的深度相机是深度相机中的一种，通过测量光的飞行时间来探测物体到相机的距离。这种深度相机包含光的发射端和接收端。接收端的结构和普通相机非常类似，包含光学镜头和感光芯片。和普通彩色相机不同的是，TOF深度相机通常采用红外光作为主动发射光。目前集成了深度相机和彩色普通相机的一体化模组已经成为趋势。如图4所示，这两种模组单个模组具有各自独立的镜头，并分别成像，然后通过刚体结构绑定在一起。同时因为他们的视野不同，往往需要进行两个相机的外参标定。因为物理上两个相机有一定的距离，在近处会形成盲区；通过标定参数进行像素级别的对准也需要消耗大量的计算资源。在现有技术中，硬件部分一般需要有两套光学系统，一套是彩色普通相机系统，一套是TOF深度相机系统。每个系统有分别有成像的镜头和感光的芯片。这两套系统再通过刚体固定板进行固定，保证之后运行过程中不会有两套系统的位姿变化。如图5所示，这两套光学系统有自己的光路系统，如果希望得到一幅整合了2维颜色信息，和3维深度信息的图像，还需要进行软件的处理。流程如下：1.分别标定两套光学系统的内参；2.标定两套光学系统的外参(旋转和平移矩阵等)；3.结合两套光学系统的内参和外参，通过几何投影关系把两幅数据进行融合，这其中需要进行像素基本的计算，比较消耗外部的计算资源。现有技术有如下缺点：在近距离有盲区；需要进行标定校准；需要消耗外部的计算资源。
技术实现思路
本技术解决现有技术存在的技术问题，从而提供一种融合了深度相机和普通相机的传感器。一种融合了深度相机和普通相机的传感器，包括光学镜头，分光棱镜，感光芯片和电子电路，整体支撑；光学镜头、分光棱镜、感光芯片和电子电路分别固定在整体支撑上；分光棱镜包含分光镜和棱镜；感光芯片包含TOF深度相机芯片和普通彩色相机芯片；电子电路的供电电路给红外光源、TOF深度相机芯片和普通彩色相机芯片提供电源，TOF深度相机芯片和普通彩色相机芯片分别接收控制信号和发送数据传输给模组对外接口。分光棱镜把可见光和红外光分开成两路；分光棱镜包含组合棱镜装置；组合棱镜装置包括红外发射及五棱镜反射装置，红外发射及五棱镜反射装置分别位于透镜分界的地方，光线穿透光学镜头通过红外发射膜，一部分光线穿透红外发射膜打在普通彩色相机芯片上，另一部分光线折射在五棱镜反射装置，通过五棱镜反射装置反射在红外发射上，这一部分光线经过红外发射由TOF深度相机芯片接收。光线穿透光学镜头，透过光学镜头的光线通过五棱镜装置，五棱镜装置上有红外发射及红外发射膜，红外发射膜把可见光和红外光分开成两路；一路红外光折射在红外发射上，通过TOF深度相机芯片接收，另一路可见光穿透红外发射膜由普通彩色相机芯片接收。分光棱镜包括五棱镜装置；通过红外发射膜把红外光反射到和可见光垂直的方向；可见光光路不变，沿行进方向到达普通彩色相机的普通彩色相机芯片上；红外光通过五棱镜两次反射后到达TOF深度相机的TOF深度相机芯片上。光学镜头能够透过400nm-950nm的光，同时在这些光谱上进行像差的优化。本技术提供一种集成了两种相机的传感器模组，可以在减小整体传感器模组的情况下，实现免外参标定，通过光学方法进行光心对准。新型的深度彩色传感器模组没有盲区，同时不需要后端提供像素对准所需的计算资源。本技术通过光学设计，解决了两种模组的光学标定和对准的问题。提升了模组的集成度和外部的计算效率。本技术的优点是整合两套光学系统到一套光学系统上，通过一套光学系统实现深度图像的采集和普通光学图像的采集。相对于传统的方法有如下优点：光学系统和整体的结构系统更紧凑，两个传感器芯片共用同一颗镜头，成本更低，避免了标定的过程；不需要消耗外部的计算资源。附图说明为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。如图其中：图1为本技术的之一结构示意图。图2为本技术的之二结构示意图。图3为本技术的之三结构示意图。图4为现有技术的结构之一示意图。图5为现有技术的结构之二示意图。图6为本技术的控制电路示意图。下面结合附图和实施例对本技术进一步说明。具体实施方式下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。实施例1：如图1、图2、图3及图6所示，一种融合了深度相机和普通相机的传感器，包括光学镜头2，分光棱镜3，感光芯片和电子电路，整体支撑1。光学镜头2、分光棱镜3、感光芯片和电子电路分别固定在整体支撑1上。光学镜头2能够透过400nm-950nm的光，同时在这些光谱上进行像差等的优化。分光棱镜3将可见光和红外光分开成两路，分光棱镜3包含分光镜和棱镜。感光芯片包含TOF深度相机芯片5和普通彩色相机芯片4,TOF深度相机芯片5和普通彩色相机芯片4为现有技术产品。电子电路的供电电路给红外光源、TOF深度相机芯片5和普通彩色相机芯片4提供电源，TOF深度相机芯片5和普通彩色相机芯片4分别接收控制信号和发送数据传输给模组对外接口。实施例2：如图1、图2、图3及图6所示，一种融合了深度相机和普通相机的传感器，包括光学镜头2，分光棱镜3，感光芯片和电子电路，整体支撑1。光学镜头2、分光棱镜3、感光芯片和电子电路分别固定在整体支撑1上。或者整体支撑1连接支撑光学镜头2、分光光路3、感光芯片和电子电路。光学镜头2能够透过400nm-950nm的光，同时在这些光谱上进行像差等的优化。分光棱镜3将可见光和红外光分开成两路，分光棱镜3包含分光镜和棱镜。感光芯片包含TOF深度相机芯片5和普通彩色相机芯片4,TOF深度相机芯片5和普通彩色相机芯片4为现有技术产品。电子电路的供电电路给红外光源本文档来自技高网...

【技术保护点】
1.一种融合了深度相机和普通相机的传感器，其特征在于包括光学镜头，分光棱镜，感光芯片和电子电路，整体支撑；光学镜头、分光棱镜、感光芯片和电子电路分别固定在整体支撑上；分光棱镜包含分光镜和棱镜；感光芯片包含TOF深度相机芯片和普通彩色相机芯片；电子电路的供电电路给红外光源、TOF深度相机芯片和普通彩色相机芯片提供电源，TOF深度相机芯片和普通彩色相机芯片分别接收控制信号和发送数据传输给模组对外接口。/n

【技术特征摘要】
1.一种融合了深度相机和普通相机的传感器，其特征在于包括光学镜头，分光棱镜，感光芯片和电子电路，整体支撑；光学镜头、分光棱镜、感光芯片和电子电路分别固定在整体支撑上；分光棱镜包含分光镜和棱镜；感光芯片包含TOF深度相机芯片和普通彩色相机芯片；电子电路的供电电路给红外光源、TOF深度相机芯片和普通彩色相机芯片提供电源，TOF深度相机芯片和普通彩色相机芯片分别接收控制信号和发送数据传输给模组对外接口。


2.根据权利要求1所述的一种融合了深度相机和普通相机的传感器，其特征在于分光棱镜把可见光和红外光分开成两路；分光棱镜包含组合棱镜装置；组合棱镜装置包括红外发射及五棱镜反射装置，红外发射及五棱镜反射装置分别位于透镜分界的地方，光线穿透光学镜头通过红外发射膜，一部分光线穿透红外发射膜打在普通彩色相机芯片上，另一部分光线折射在五棱镜反射装置，通过五棱镜反射装置反射在红外发射上，这一部分光线经过红外发射由...

【专利技术属性】
技术研发人员：李昌檀，蔡量力，
申请(专利权)人：远形时空科技北京有限公司，
类型：新型
国别省市：北京;11