双摄像机三维立体成像系统和处理方法技术方案

本发明专利技术公开了一种自适应三维立体成像系统，光场摄影部分包括第一成像部分，第一摄像机镜头和第二摄像机或相机镜头；该第一摄像机镜头与该第二摄像机或相机镜头分别位于镜头部分的后部和前部，二者中间放置一个入瞳平面和匹配装置，在第一摄像机镜头和所述入瞳平面和匹配装置之间形成内部反射单元，所述高分辨率摄像部分还包括第二成像部分和第三摄像机镜头；配置所述光场摄像部分与所述高分辨率摄像部分，使所述第三摄像机镜头获得与所述多个次级图像中的正视图垂直方向一致的第二图像，并同时输出所述多个次级图像和所述第二图像。本发明专利技术除了能够获取准确的深度信息，还能获取高分辨率视频对三维影像进行分析。

【技术实现步骤摘要】
双摄像机三维立体成像系统和处理方法
本专利技术属于立体成像领域，特别涉及一种基于光场技术的双摄像机三维立体成像系统和处理方法。
技术介绍
现有技术中用于拍摄三维图像及视频的摄像机有多种设计方案。最普遍的方案是将两个相同规格的摄像模组相隔一定距离，例如大约60至65毫米，作线性排列，模拟人眼的立体视觉原理。两个摄像模组的图像传感器会分别记录各自拍摄所得的二维图像或视频，利用软件处理获得的两个二维图像或两段二维视频就可以建立深度图，再转换为三维图像或三维视频。另一个方案是直接使用立体摄像机去拍摄。立体摄像机的主体内有两个图像传感器分别记录来自摄像机镜头两个镜片组的二维图像或二维视频，之后摄像机附带的系统及软件会把两个二维图像合成三维图像，或将两段二维视频合成为三维视频。但是这两个方案可能有二维图像或视频不同步、或受环境的照明条件等外在因素影响所产生的三维图像及视频质量。比较先进的摄像设备例如光场相机(lightfieldcamera)又称为全光相机(plenopticcamera)，利用微透镜阵列镜片一次捕捉场景的光场图像，通过计算可以提取场景的深度信息以建立深度图并将二维图像转换成三维图像。不过这种光场摄像设备的主要缺点是图像分辨率会显著下跌，视差角度小，而且不太适合拍摄视频。最新型的设计是增加一个反射单元去捕捉目标物体的多角度图像，因为视差角度较大，经过处理后能够产生较清确的深度图及三维立体图像，也适合用于拍摄视频，可是这种尝试仍然未能解决分辨率下跌的问题。
技术实现思路
本专利技术的目的在于提供一种提高三维视频分辨率的双摄像机三维立体成像系统和处理方法。在多个领域，例如医疗、生物科技研究、工业设备制造、半导体产品品质检定等等，该成像系统均有广泛的应用。本专利技术除了能够获取准确的深度信息，还能获取优质视频对三维影像分析。本专利技术提供一种双摄像机三维立体成像系统，其特征在于，包括：获得第一图像的光场摄像部分和获得第二图像的高分辨率摄像部分；其中所述光场摄影部分包括第一成像部分，第一摄像机镜头和第二摄像机或相机镜头；该第一摄像机镜头与该第二摄像机或相机镜头分别位于镜头部分的后部和前部，二者中间放置一个入瞳平面和匹配装置，该入瞳平面和匹配装置能够与第二摄像机或相机镜头的不同焦距相适应，在第一摄像机镜头和所述入瞳平面和匹配装置之间形成内部反射单元，该内部反射单元用于将所述捕获的第一图像分解并折射成具有不同角度偏移的多个次级图像，所述高分辨率摄像部分还包括第二成像部分和第三摄像机镜头，以及至少一个能够调节所述第一摄像机镜头与第二摄像机或相机镜头的双镜头和第三摄像机镜头的单镜头的中轴线调节装置，该中轴线调节装置使所述双镜头和所述单镜头的轴线保持平行；配置所述光场摄像部分与所述高分辨率摄像部分，使所述第三摄像机镜头获得与所述多个次级图像中的正视图垂直方向一致的第二图像，并同时输出所述多个次级图像和所述第二图像。本专利技术的一个方面，其中所述光场摄像部分与所述高分辨率摄像部分距离尽量接近，并且二者中心位于同一垂直平面。本专利技术的一个方面，其中所述具有不同角度偏移的多个次级图像的角度偏移范围为10－20度。本专利技术的一个方面，其中所述多个次级图像中的正视图的角度偏移为0度。所述第一成像部分还包括第一图像传感器和捕获第一图像的复眼透镜；所述复眼透镜将所捕获的第一图像传输至所述第一图像传感器；并且所述第二成像部分还包括第二图像传感器；所述第三摄像机镜头获得的所述第二图像传输至所述第二图像传感器。本专利技术的一个方面，所述复眼透镜为多个微镜头阵列，每个微镜头的半径、厚度和阵列间距与所述第一图像传感器的尺寸相关。本专利技术的一个方面，所述第一摄像机镜头和所述第二摄像机或相机镜头的光圈和焦距可调节，所述第二摄像机或相机镜头和所述第三摄像机镜头为可替换的镜头，并且所述第二摄像机或相机镜头的光圈比内部反射单元的尺寸大。本专利技术的一个方面，所述入瞳平面和匹配装置为瞳镜头，该瞳镜头的直径大于所述内部反射单元的直径，并且允许所述光场图像的入射光线在所述内部反射单元中进行折射。本专利技术的一个方面，每个所述次级图像具有场景的细微不同，基于下列等式(1)和(2)来计算内部反射单元的尺寸和每个次级图像的焦距：其中，FOV是所述第二摄像机或相机镜头的视场；n是所述内部反射单元的折射率；r是内部反射的次数；Z是所述内部反射单元的尺寸；flens是所述第二摄像机或相机镜头的焦距；fsub是所述次级图像的焦距。本专利技术还提供一种双摄像机三维成像的处理方法，其步骤为：通过光场摄像部分获得第一图像的原始深度图数据；对所述原始深度图数据进行修正；利用边缘导向或定向渲染的方法，获得插值产生的高分辨率深度图；同时利用高分辨率摄像部分获得第二图像，利用数据模型，结合作为参考数据的所述第二图像对所述第一图像的原始深度图数据进行修正，直到获得最佳的插值产生的高分辨率深度图。本专利技术提供的三维立体成像系统和处理方法能够提供更高分辨率的二维和三维视频，同时与高分辨率图像传感器的光场摄像机相比，成本增加的非常有限；此外，由于本专利技术的系统不影响光场摄像机部分的功能，因此光场摄像机本身的获得信息仍然能够用来计算物体深度并建立深度图。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实例，对于本领域普通技术人员来讲，在不付出创新性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的三维成像系统的立体图。图2为本专利技术的三维成像系统的结构图。图3为本专利技术三维成像系统获得第一图像120的示意图。图4为根据本专利技术的三维成像系统对所获得的第一图像120进行规范化处理之后的示意图。图5为本专利技术的三维成像系统处理第二图像130的流程图。图6为通过本专利技术的三维成像系统获得目标图像的流程图。具体实施方式现结合相应的附图，对本专利技术的具体实施例进行描述。然而，本专利技术可以以多种不同的形式实施，而不应被解释为局限于此处展示的实施例。提供这些实施例只是为了本专利技术可以详尽和全面，从而可以将本专利技术的范围完全地描述给本领域的技术人员。附图中说明的实施例的详细描述中使用的措辞不应对本专利技术造成限制。图1为本专利技术的三维成像系统的立体图。本专利技术的三维成像系统由获得第一图像120(图1中未示出)的光场摄像部分100和获得第二图像130(图1中未示出)的高分辨率摄像部分140组成，其中光场摄像部分100可以采用中国专利申请201711080588.6中的光场摄像机，其包括第一成像部分110，第一摄像机镜头101和第二摄像机或相机镜头103，其中第一摄像机镜头101为后摄像机镜头；其具有可以调节的光圈和焦距。第二摄像机或相机镜头103为前摄像机或相机镜头，前后摄像机或相机镜头能够调节摄像机的焦距。第一摄像机镜头101和第二摄本文档来自技高网...

【技术保护点】
1.一种双摄像机三维立体成像系统，其特征在于，包括：/n获得第一图像的光场摄像部分和获得第二图像的高分辨率摄像部分；/n其中所述光场摄影部分包括第一成像部分，第一摄像机镜头和第二摄像机或相机镜头；该第一摄像机镜头与该第二摄像机或相机镜头分别位于镜头部分的后部和前部，二者中间放置一个入瞳平面和匹配装置，该入瞳平面和匹配装置能够与第二摄像机或相机镜头的不同焦距相适应，在第一摄像机镜头和所述入瞳平面和匹配装置之间形成内部反射单元，该内部反射单元用于将所述捕获的第一图像分解并折射成具有不同角度偏移的多个次级图像，所述高分辨率摄像部分还包括第二成像部分和第三摄像机镜头，以及至少一个能够调节所述第一摄像机镜头与第二摄像机或相机镜头的双镜头和第三摄像机镜头的单镜头的中轴线调节装置，该中轴线调节装置使所述双镜头和所述单镜头的轴线保持平行；/n配置所述光场摄像部分与所述高分辨率摄像部分，使所述第三摄像机镜头获得与所述多个次级图像中的正视图垂直方向一致的第二图像，并同时输出所述多个次级图像和所述第二图像。/n

【技术特征摘要】
1.一种双摄像机三维立体成像系统，其特征在于，包括：
获得第一图像的光场摄像部分和获得第二图像的高分辨率摄像部分；
其中所述光场摄影部分包括第一成像部分，第一摄像机镜头和第二摄像机或相机镜头；该第一摄像机镜头与该第二摄像机或相机镜头分别位于镜头部分的后部和前部，二者中间放置一个入瞳平面和匹配装置，该入瞳平面和匹配装置能够与第二摄像机或相机镜头的不同焦距相适应，在第一摄像机镜头和所述入瞳平面和匹配装置之间形成内部反射单元，该内部反射单元用于将所述捕获的第一图像分解并折射成具有不同角度偏移的多个次级图像，所述高分辨率摄像部分还包括第二成像部分和第三摄像机镜头，以及至少一个能够调节所述第一摄像机镜头与第二摄像机或相机镜头的双镜头和第三摄像机镜头的单镜头的中轴线调节装置，该中轴线调节装置使所述双镜头和所述单镜头的轴线保持平行；
配置所述光场摄像部分与所述高分辨率摄像部分，使所述第三摄像机镜头获得与所述多个次级图像中的正视图垂直方向一致的第二图像，并同时输出所述多个次级图像和所述第二图像。


2.如权利要求1所述的系统，其中所述光场摄像部分与所述高分辨率摄像部分距离尽量接近，并且二者中心位于同一垂直平面。


3.如权利要求1所述的系统，其中所述具有不同角度偏移的多个次级图像的角度偏移范围为10-20度。


4.如权利要求3所述的系统，其中所述多个次级图像中的正视图的角度偏移为0度。


5.如权利要求1-4所述的系统，其特征在于，
所述第一成像部分还包括第一图像传感器和捕获第一图像的复眼透镜；所述复眼透镜将所捕获的第一图像传输至所述第一图像传感器；并且
所述第二成像部分还包括第二图像传感器；所述第三摄像机镜头获得的所述第二图像传输至所述第二图像传感器。


6.如权利要求5所述的系统，其特征在于，
所述复眼透镜为多个微镜头阵列，每个微镜头的半径、厚度和阵列间距与所述第一图像传感器的尺寸相关。


7.如权利要求1-4，6任意一个所述的系统，其特征在于，
所述第一摄像机镜头和所述第二摄像机或相机镜头的光圈和焦距可调节，所述第二摄像机或相机镜头和所述第三摄像机镜头为可替换的镜头，并且所述第二摄像机或相机镜头的光圈比内部反射单元的尺寸大。


8.如权利要求如权利要求1-4，6任意一个所述的系统，其特征在于，
所述入瞳平面和匹配装置为瞳镜头，该瞳镜头的直径大于所述内部反射单元的直径，并且允许所述光场图像的入射光线在所述内部反射单元中进行折射。


9.如权利要求如权利要求1-4，6任意一个所述的系统，其特征在于，
每个所述次级图像具有场景的细微不同，基于下列等式(1)和(2)来计算内部反射单元的尺寸和每个次级图像的焦距：






其中，FOV是所述第二摄像机或相机镜头的视场；
n是所述内部反射单元的折射率；
r是内部反射的次数；
Z是所述内部反射单元的尺寸；
flens是所述第二摄像机或相机镜头的焦距；
fsub是所述次级图像的焦距。


10.一种双摄像机三维成像的处理方法，其步骤为：
通过光场摄像部分获得第一图像的原始深度图数据；
对所述原始深度图数据进行修正；
利用边缘导向或定向渲染的方法，获得插值产生的高分辨率深度图；
同时利用高分辨率摄像部分获得第二图像，利用数据模型，结合作为参考数据的所述第二图像对所述第一图像的原始深度图数据进行修正，直到获得最佳的插值产生的高分辨率深度图。


11.如权利要求10所述的处理方法，其中，
所述光场摄像部分包括包括第一成像部分，第一摄像机镜头和第二摄像机或相机镜头；该第一摄像机镜头与该第二摄像机或相机镜头分别位于镜头部分的后部和前部，二者中间放置一个入瞳平面和匹配装置，该入瞳平面和匹配装置能够与第二摄像机或相机镜头的不同焦距相适应，在第一摄像机镜头和所述入瞳平面和匹配装置之间形成内部反射单元，该内部反射单元用于将所述捕获的第一图像分解并折射成具有不同角度偏移的多个...

【专利技术属性】
技术研发人员：李应樵，陈增源，
申请(专利权)人：万维科研有限公司，
类型：发明
国别省市：中国香港;81