组合摄像系统、移动终端及图像处理方法技术方案

本发明专利技术公开了一种组合摄像系统、移动终端及图像处理方法，组合摄像系统中，激光投影装置用于向第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；第一摄像装置用于同步采集共有视场中的第一可见光图像和第一不可见光图像；第二摄像装置用于，同步采集共有视场中的第二可见光图像和第二不可见光图像；处理器用于，利用第一不可见光图像计算第一深度图像，利用第二不可见光图像计算第二深度图像，并合成第一深度图像和第二深度图像得到第三深度图像，并利用第二可见光图像进行视觉运动追踪。本发明专利技术可以同步对可见光图像的采集、目标深度图像的采集以及视觉运动追踪，并可以合成深度范围更大、空间分辩率更高的深度图像。

【技术实现步骤摘要】

本专利技术涉及光学测量及电子领域，尤其涉及一种组合摄像系统、移动终端及图像处理方法。
技术介绍
RGB图像能够记录物体的颜色特征，在模式识别方面已经得到广泛的应用，比如人脸识别、物品检测等。近年来随着深度测量技术的发展，特别是基于结构光技术的发展，利用深度相机测量物体深度信息进一步进行体感操控、3D重建、追踪及避障等应用也逐渐得到重视。在计算设备上配备彩色相机以及深度相机使得设备具有更加广泛的功能，但考虑到移动设备像手机、平板等体积较小的计算设备上，设置许多相机是不明智的，一方面占有大量的空间；另一方面也会带来更大的功耗。
技术实现思路
为了克服现有技术的不足，本专利技术提供了一种组合摄像系统、移动终端及图像处理方法，以较少资源实现多种功能的图像采集以及深度图像采集。一种组合摄像系统，包括第一摄像装置、第二摄像装置、激光投影装置和处理器；所述第一摄像装置为广角相机，所述第二摄像装置为长焦相机；所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；所述第一摄像装置用于，同步采集所述共有视场中的第一可见光图像和第一不可见光图像；所述第二摄像装置用于，同步采集所述共有视场中的第二可见光图像和第二不可见光图像；所述处理器用于，利用所述第一不可见光图像计算第一深度图像，利用所述第二不可见光图像计算第二深度图像，并合成所述第一深度图像和第二深度图像得到第三深度图像，并利用所述第二可见光图像进行视觉运动追踪。优选的，所述激光投影装置用于交替地向所述共有视场投射所述结构光图案和关闭投射所述结构光图案；所述第一摄像装置用于，在所述激光投影装置投射所述结构光图案期间采集第一一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第一二不可见光图像；所述第二摄像装置用于，在所述激光投影装置投射所述结构光图案期间采集第二一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二二不可见光图像；所述处理器用于，利用所述第一一不可见光图像与第一二不可见光图像的差分图像计算所述第一深度图像，利用所述第二一不可见光图像与第二二不可见光图像的差分图像计算所述第二深度图像。优选的，在所述激光投影装置交替投射和关闭投射所述结构光图案的周期内，投射所述结构光图案的时长大于关闭投射所述结构光图案的时长。优选的，所述第一摄像装置的透镜焦距与所述第二摄像装置的透镜焦距不同。优选的，所述不可见激光为红外光激光。优选的，所述激光投影装置设置在所述第一摄像装置与第二摄像装置之间。本专利技术还提供了一种移动终端，包括任一所述的组合摄像系统。本专利技术还提供了一种图像获取方法，包括如下步骤：投射步骤：激光投影装置向第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；采集步骤：所述第一摄像装置同步采集所述共有视场中的第一可见光图像和第一不可见光图像，所述第二摄像装置同步采集所述共有视场中的第二可见光图像和第二不可见光图像；其中，所述第一摄像装置为广角相机，所述第二摄像装置为长焦相机；处理步骤：处理器利用所述第一不可见光图像计算第一深度图像，利用所述第二不可见光图像计算第二深度图像，并合成所述第一深度图像和第二深度图像得到第三深度图像，并利用所述第二可见光图像进行视觉运动追踪。优选的，在所述投射步骤中：所述激光投影装置交替地向所述共有视场投射所述结构光图案和关闭投射所述结构光图案；在所述采集步骤中：所述第一摄像装置在所述激光投影装置投射所述结构光图案期间采集第一一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第一二不可见光图像；所述第二摄像装置在所述激光投影装置投射所述结构光图案期间采集第二一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二二不可见光图像；在所述处理步骤中：所述处理器利用所述第一一不可见光图像与第一二不可见光图像的差分图像计算所述第一深度图像，利用所述第二一不可见光图像与第二二不可见光图像的差分图像计算所述第二深度图像。优选的，在所述激光投影装置交替投射和关闭投射所述结构光图案的周期内，投射所述结构光图案的时长大于关闭投射所述结构光图案的时长。本专利技术的有益效果是：相比于现有技术，本专利技术可以同步对可见光图像的采集、目标深度图像的采集以及视觉运动追踪，并可以合成深度范围更大、空间分辩率更高的深度图像。【附图说明】图1是本专利技术一种实施例的组合摄像系统示意图图2是本专利技术一种实施例的摄像装置的结构示意图图3是本专利技术一种实施例的第一摄像装置的滤光片示意图图4是本专利技术一种实施例的第二摄像装置的滤光片示意图图5是本专利技术一种实施例的激光投影装置的投影时序图图6是本专利技术一种实施例的移动终端示意图【具体实施方式】以下对专利技术的较佳实施例作进一步详细说明。如图1所示，一种实施例的组合摄像系统，包括第一摄像装置、第二摄像装置、激光投影装置、处理器和存储器，第一摄像装置为广角相机，第二摄像装置为长焦相机，处理器分别与第一摄像装置、第二摄像装置和激光投影装置电连接。所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；所述第一摄像装置用于，同步采集所述共有视场中的第一可见光图像和第一不可见光图像；所述第二摄像装置用于，同步采集所述共有视场中的第二可见光图像和第二不可见光图像；所述处理器用于，利用所述第一不可见光图像计算第一深度图像，利用所述第二不可见光图像计算第二深度图像，并合成所述第一深度图像和第二深度图像得到第三深度图像，并利用所述第二可见光图像进行视觉运动追踪，存储器可以用于存储第一可见光图像、第一不可见光图像、第二可见光图像和第二不可见光图像。图1中，FOV表示第一摄像装置和第二摄像装置的视角，激光投影装置的投射范围覆盖了第一摄像装置和第二摄像装置的共有视场。如图2所示，摄像装置的典型结构示意图，包括图像传感器1、滤光片2和透镜3，光经过透镜3的汇聚再经过滤光片3后被图像传感器采集。滤光片2用于通过特定波长的光，图像传感器1用于将光转换为数字电信号。普通的RGB相机采用的拜尔滤光片，滤光片具有与图像传感器像素数量相同并一一对应的滤光单元，拜尔滤光片具有用于分别通过红光、绿光以及蓝光的滤光单元，光经过某个滤光单元后入射到与该滤光单元对应的图像传感器的像素。考虑到人眼对绿光更加敏感，因此通常将三者的比例设置为R(25％):G(50％):B(25％)。如图3所示，一种实施例中，第一摄像装置采用RGB-IR相机，其采用的滤光片与拜尔滤光片不同，本实施例的滤光片由四种不同的滤光单元组成，分别可以通过R、G、B以及红外光(IR)分量，四者的比例为R(25％):G(25％):B(25％):IR(25％)，通过采用这种滤光片2，第一摄像装置既可以采集可见光彩色图像，也可以采集不可见的红外光图像。当然，也可以采用其他不可见光的滤光单元替代IR滤光单元，以配合激光投影装置投射的其他不可见激光。本实施例的滤光片的各滤光单元的排列方式及各分量占比并非唯一，也可以有其他的排列及分布方式。第一摄像装置中的图像传感器获取了各个分量(如R、G、B、IR)的光信息之后，由于每一光信息都只占有部分的像素，因而需要通过插值的方式恢复每个像素上的其他三种分量的光本文档来自技高网...

【技术保护点】
一种组合摄像系统，其特征是，包括第一摄像装置、第二摄像装置、激光投影装置和处理器；所述第一摄像装置为广角相机，所述第二摄像装置为长焦相机；所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；所述第一摄像装置用于，同步采集所述共有视场中的第一可见光图像和第一不可见光图像；所述第二摄像装置用于，同步采集所述共有视场中的第二可见光图像和第二不可见光图像；所述处理器用于，利用所述第一不可见光图像计算第一深度图像，利用所述第二不可见光图像计算第二深度图像，并合成所述第一深度图像和第二深度图像得到第三深度图像，并利用所述第二可见光图像进行视觉运动追踪。

【技术特征摘要】
1.一种组合摄像系统，其特征是，包括第一摄像装置、第二摄像装置、激光投影装置和处理器；所述第一摄像装置为广角相机，所述第二摄像装置为长焦相机；所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；所述第一摄像装置用于，同步采集所述共有视场中的第一可见光图像和第一不可见光图像；所述第二摄像装置用于，同步采集所述共有视场中的第二可见光图像和第二不可见光图像；所述处理器用于，利用所述第一不可见光图像计算第一深度图像，利用所述第二不可见光图像计算第二深度图像，并合成所述第一深度图像和第二深度图像得到第三深度图像，并利用所述第二可见光图像进行视觉运动追踪。2.如权利要求1所述的组合摄像系统，其特征是，所述激光投影装置用于交替地向所述共有视场投射所述结构光图案和关闭投射所述结构光图案；所述第一摄像装置用于，在所述激光投影装置投射所述结构光图案期间采集第一一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第一二不可见光图像；所述第二摄像装置用于，在所述激光投影装置投射所述结构光图案期间采集第二一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二二不可见光图像；所述处理器用于，利用所述第一一不可见光图像与第一二不可见光图像的差分图像计算所述第一深度图像，利用所述第二一不可见光图像与第二二不可见光图像的差分图像计算所述第二深度图像。3.如权利要求1所述的组合摄像系统，其特征是，在所述激光投影装置交替投射和关闭投射所述结构光图案的周期内，投射所述结构光图案的时长大于关闭投射所述结构光图案的时长。4.如权利要求1所述的组合摄像系统，其特征是，所述第一摄像装置的透镜焦距与所述第二摄像装置的透镜焦距不同。5.如权利要求1所述的组合摄像系统，其特征是，所述不可见激光为红外光...

【专利技术属性】
技术研发人员：黄源浩，刘龙，肖振中，许星，
申请(专利权)人：深圳奥比中光科技有限公司，
类型：发明
国别省市：广东;44