双鱼眼全景图像信息融合的采集装置制造方法及图纸

本实用新型专利技术公开了一种双鱼眼全景图像信息融合的采集装置，该装置通过对鱼眼镜头成像组的独特设计，在同一组光学镜头系统光路上传输不同的光学信息，并通过合理设计，实现两个鱼眼镜头系统对于不同的光学信息同时成像到同一图像传感器上，保证成像质量的同时，保证不同镜头之间的同步，在不同光学信息的融合方面有着极大的实现便利性。另外，通过不同传感器同时获取两个镜头的同一类型的光学信息，能够简便的实现全景光学信息的快速融合，极大提高全景领域多种光学信息的集成，有效降低全景设备实现成本，扩大全景设备的适用领域。

【技术实现步骤摘要】
双鱼眼全景图像信息融合的采集装置
本技术涉及一种用于全景相机中的双鱼眼全景图像信息融合的采集装置，特别涉及到其中双鱼眼镜头的设计方案，与最终图像的传输与处理。背景技目前，对于现有关于摄像机曝光补偿以及TOF等等光学结构往往也是通过单独镜头与传感器组合的形式来实现，这种实现形式也会导致在产品设计中经常需要预留多个光学镜头位置的问题，从而造成整个产品随着其功能要求增加其结构也会更加复杂。另外，从功能实现上来讲，多个光路分离后需要对其信息进行融合，其融合精度也对结构安装要求及算法实现精度要求很高，并且往往有些误差难以消除。而在全景领域，本身全景的镜头相对复杂，在该光学结构在添加更多的光学通道，实际系统设计会很复杂以致难以实现。全景解决方案中一种主流的光学结构为双鱼眼镜头背靠背组合形式。这种全景图像采集装置有两种主要实现结构。一是两个鱼眼镜头模组分别含有独立的传感器成像元件，这种方式由于需要把独立成像的两套光学系统成像进行处理，必然会引入图像画质不同，时间不同步等问题，无法很好的满足全景实时拍摄的需求。另一种方案是通过双鱼眼+棱镜反射的单传感器方案实现全景图像的采集，这种方式可以解决两个独立传感器成像元件的画质均衡、时间同步及数据量大的问题。而对于双鱼眼+棱镜反射单传感器的全景方案，也只能简单采集到全景实时图像，目前也没有其他如全景曝光、全景深度等方面应用的扩展。
技术实现思路
为克服现有双鱼眼型全景图像采集装置不同光学信息进行融合的目的，本技术提出了一种双鱼眼全景图像信息融合的采集装置，该装置通过对鱼眼镜头成像组的独特设计，在同一组光学镜头系统光路上传输不同的光学信息，并通过合理设计，实现两个鱼眼镜头系统对于不同的光学信息同时成像到同一图像传感器上，保证成像质量的同时，保证不同镜头之间的同步。在不同光学信息的融合方面也有着极大的实现便利性。另外，通过不同传感器同时获取两个镜头的同一类型的光学信息，能够简便的实现全景光学信息的快速融合，极大提高全景领域多种光学信息的集成，有效降低全景设备实现成本，扩大全景设备的适用领域。本技术解决技术问题所采用的技术方案是：将两路的光信号通过两个超广角镜片组和一个棱镜，把光路投射到棱镜上下两侧的传感器。对于单个传感器均能采集到全景的光学图像信息，通过两个全景图像信息融合，从而提升摄像机的成像性能，有效提升全景图像多种需求的应用效果。本技术的有益效果是，通过所使用全景光学镜头模组的特殊设计，实现全景图像采集装置在保证鱼眼镜头成像质量与全景成像拼接效果的同时，保证两个鱼眼镜头之间的同步，增强最终显示的效果减少后期处理算法的复杂程度，并且通过两种光学信息的融合处理得到优越的全景效果。附图说明图1是双鱼眼全景图像信息融合的采集装置的剖面结构示意图(图中11前视场广角镜头，12后视场广角镜头，2为主图像传感器，21为主图像传感器滤光片，3为辅图像传感器，31为辅图像传感器滤光片，4为三棱镜)图2为分光镜片光路示意图(图中401表示平板分光片，402表示双面全反射镜，结构为对称设计)图3为主图像传感器和辅图像传感器分光镜片光路成像示意图(201表示前视场镜头在主图像传感器上对应成像画面，211表示前视场镜头在辅图像传感器上对应成像画面，202表示后视场镜头在主图像传感器上对应成像画面，212表示后视场镜头在辅图像传感器上对应成像画面)图4为图像配准示意图(10表示主图像传感器成像图像，20表示配准后辅图像传感器成像图像，5表示配准后图像)图5为超分辨率构建算法流程图具体实施方式在图1中，鱼眼镜头有两组，其光轴相互重叠，相对布置在同一光轴两端，两组鱼眼镜头模组光心连线上设置有棱镜，棱镜中包含分光镜，可允许光一部分光反射另一部分光透射。光通过镜头结构11、12把光路导入到棱镜4上，棱镜表面为分光镜，把一部分光路导入到棱镜内、一部分光路反射到主图像传感器2上，导入棱镜内的光路通过传输到棱镜内透射及反射后投射到辅图像传感器3上。传感器2、3上方均有对应的滤光片来过滤对应传感器接受的光信号，可以针对实际场景中不同光路的组合，实现不同的功能。其中，鱼眼镜头的前组视场角度大于180度。前视场广角镜头和后视场广角镜头光轴重合。棱镜反射得到的光投射到棱镜上方主图像传感器上形成双圆周鱼眼画面；棱镜透射得到的光经过棱镜内反射及透射后投射到棱镜下方辅图像传感器上，形成双圆周鱼眼画面；两个圆周鱼眼图像之间的间隔通过棱镜的位置来控制，实际成像过程中可以通过设置棱镜部分的位置设置一个小于0.3mm的图像隔离带把两图像分离开。棱镜部分实际结构可以有如下形式：如图2所示，光从两端入射(图中以一端光学传输示意，实际光路左右对称)后经过平板分光镜，分为反射光和透射光。其中反射光直接投射到主图像传感器上进行成像，透射光经过分光镜后为偏移的平行光，经过全反射镜面402后反射(图中以微小错位光路示意反射光路，实际光路沿入射光路垂直反射回来)后经过分光镜401反射后投射到主图像传感器上，分光镜尖端所在位置位于主图像传感器和辅图像传感器成像面同一垂直平分面上。图中杂散光未画出，在实际光路过程中，可以对分光镜材料及制造工艺进行调配可以使得分光镜反射光和透射光按指定比例分配，对于第二次在反光镜上反射光以较高的反射效率得到反射光来对下端传感器进行成像。对于全反射镜面402使其反射率达到高于95％以上。最终得到的图像效果示意图如图3所示，其中两双鱼眼图像左侧画面为前视场镜头采集光路成像，画面内容为二者相对旋转180度；两双鱼眼图像右侧画面为后视场镜头采集光路成像，画面内容为二者相对旋转180度。针对分光镜反射光和透射光分光比例的设置，在现有光路中主图像传感器成像光路经过分光镜反射一次，辅图像传感器成像光路经过分光镜透射一次并反射一次。不考虑分光镜上能量损失设定入射光强为I，分光镜反射率为α，则透射率为1-α。主图像传感器成像光强为I·α，辅传感器成像光强为I·α(1-α)·β，其中0≤α≤1，β为光路其他能量损失为固定比例且0≤β≤1。由于I·α＞I·α(1-α)·β，往往辅传感器成像光强较弱。为了保证辅传感器成像光强达到最大，取α＝0.5，按实际材料特性取值实现β≥0.95。则主图像传感器成像光强为0.5I，辅图像传感器成像光强为0.25I·β。为了增加系统整体成像效果，可以通过光学设计增大镜头光圈参数，实现光强I增大。如原有镜头光圈为F1/2.0,当光圈设计为F1/1.4，光强I增加至原光强两倍；当光圈设计为F1/1.0，光强I增加至原光强四倍。图像传感器上方的滤光片分别为对应传感器能感光的滤光片，如可见彩色光传感器使用红外截止滤光片、亮度传感器使用全通滤光片、红外成像传感器使用红外通过滤光片、TOF解析传感器使用对应红外带通滤光片等等。所成的图像信号通过传输模块与外部系统组建连接。在获取两个图像传感器的画面并对两个画面进行同步调节后，对同步后的画面进行相应的图像信息融合处理，能获得实本文档来自技高网...

【技术保护点】
1.一种双鱼眼全景图像信息融合的采集装置，包括鱼眼镜头模组、主图像传感器、辅图像传感器、滤光片、分光棱镜以及信号传输模块，其特征在于：/n所述鱼眼镜头模组有两组，其光轴相互重叠，相对布置在同一光轴两端，两组鱼眼镜头模组光心连线上设置有棱镜，棱镜中包含平板分光镜，光从两端鱼眼镜头入射后经过平板分光镜，分为反射光和透射光，平板分光镜反射得到的光投射到棱镜上方主图像传感器上形成双圆周鱼眼画面；棱镜透射得到的光经过棱镜内透射及反射到棱镜下方辅图像传感器上，形成双圆周鱼眼画面；传感器通过信号传输模块与外部处理器部件进行连接；/n在获取两个图像传感器的画面并对两个画面进行时间同步调节后，对同步后的画面进行相应的图像信息融合处理，能获得融合多信息的全景视频或全景图像；其中图像融合过程以主图像传感器上的图像为参照图像，辅图像传感器采集的画面融合到主图像传感器采集到的画面上。/n

【技术特征摘要】
1.一种双鱼眼全景图像信息融合的采集装置，包括鱼眼镜头模组、主图像传感器、辅图像传感器、滤光片、分光棱镜以及信号传输模块，其特征在于：
所述鱼眼镜头模组有两组，其光轴相互重叠，相对布置在同一光轴两端，两组鱼眼镜头模组光心连线上设置有棱镜，棱镜中包含平板分光镜，光从两端鱼眼镜头入射后经过平板分光镜，分为反射光和透射光，平板分光镜反射得到的光投射到棱镜上方主图像传感器上形成双圆周鱼眼画面；棱镜透射得到的光经过棱镜内透射及反射到棱镜下方辅图像传感器上，形成双圆周鱼眼画面；传感器通过信号传输模块与外部处理器部件进行连接；
在获取两个图像传感器的画面并对两个画面进行时间同步调节后，对同步后的画面进行相应的图像信息融合处理，能获得融合多信息的全景视频或全景图像；其中图像融合过程以主图像传感器上的图像为参照图像，辅图像传感器采集的画面融合到主图像传感器采集到的画面上。


2.一种如权利要求1所述的双鱼眼全景图像信息融合的采集装置，其特征在于，所述主图像传感器为彩色图像传感器，所述辅图像传感器为黑白图像传感器，通过红外灯源补光增加低照度环境下黑白图...

【专利技术属性】
技术研发人员：张恩泽，赖文杰，胡志发，成茵，
申请(专利权)人：成都易瞳科技有限公司，
类型：新型
国别省市：四川;51