当前位置: 首页 > 专利查询>南京大学专利>正文

一种多光谱光场成像方法技术

技术编号:15635336 阅读:210 留言:0更新日期:2017-06-14 19:09
本发明专利技术公开了一种多光谱光场成像方法,采用的硬件包括:沿光路方向顺次设置宽带滤波片阵列、异构相机阵列、控制板阵列和信息联合处理装置。成像方法为:在异构相机阵列的每个相机镜头和传感器中间放置不同波长的宽带滤波片,使得相机阵列中的每个相机接收固定波段的光谱信息;通过信息联合处理装置对相机阵列获取的多路信息进行基于卷积神经网络的立体匹配以获取入射光线的角度信息,得到全视场范围内的光场信息;根据相机之间的分布位置进行相机校准和视场对齐,通过光谱解复用获取相机阵列中任一相机视角下三倍于相机个数的多波段光谱信息。本发明专利技术能在同一时间获得全视野范围内每一像素的多光谱光场信息,实现光场和光谱信息的动态联合获取。

【技术实现步骤摘要】
一种多光谱光场成像方法
本专利技术涉及计算机摄像学领域,特别涉及到一种多光谱光场成像方法。
技术介绍
计算摄像学是一门将计算机视觉、数字信号处理、图形学等学科深度交叉的新兴研究方向,旨在结合计算、光学系统和智能光照等技术,将成像系统采集能力与计算机的处理能力相结合,从成像机理上来改进传统相机,并将硬件设计与软件计算能力有机结合,突破经典成像模型和数字相机的局限性,增强或者扩展传统数字相机的数据采集能力,全方位地捕捉真实世界的场景信息。开展场景光场光谱信息的相关研究工作,同时获取高空间、时间、光谱和方向分辨率的图像,这对于三维重建、安全侦察、数字娱乐等领域有重要意义。在计算摄像学领域,通常使用7维全光函数f(x;y;z;θ;λ;t)对光信号进行描述:某一时刻t,在三维空间任意位置x;y;z,沿着方向θ;观察到频率为λ、强度为|f(x;y;z;θ;λ;t)|的光线。但是,经典成像模型是7维全光函数的一个2维投影子空间采样,仅在2维空间维度(x;y)上具有高采样能力,并进行RGB三色成像,而对其它维度的信息采样能力极其受限。但是从多光谱与视觉的技术原理来说,包含光线角度、场景深度、光谱等高维度的信息仅仅用RGB三个通道来代替,会失去大量细节,而这些包括深度和光谱的丰富细节往往能够揭示物体和场景光线的很多特性,也能在很多计算机视觉领域的工作获得长足进步。现有高光谱技术对于传统成像技术进行扩展,能够获取多维光谱信息,但是根据技术要求和采集条件不同,采集系统大多都是通过牺牲空间分辨率或者时间分辨率来补偿光谱分辨率,并且丢失了深度信息。Gershun在1936年提出光场的概念,将其定义为光辐射在空间各个位置向各个方向的传播,包含了一系列不同视角对同一场景的二维图像,描述了在常数时间t和波长λ下的全光函数,能够获取全视场范围内光源的空间角度信息,从而能够进一步进行几何重建和深度获取等应用。目前市场上只有单一多光谱相机或者单一深度信息的相机,对于能够联合采集场景深度信息、多光谱信息以及角度信息的相机尚未诞生,而随着光场信息和光谱信息在识别上的重要性越来越大,设计一种能够同时进行光场和光谱信息采集的系统可以极大促进计算摄像学领域中针对场景信息重构的研究。
技术实现思路
针对上述现有技术中存在的缺陷,本专利技术的目的在于提出一种多光谱光场成像方法,可以实现光谱信息与光场信息的同时获取。为达到上述目的,本专利技术采用以下技术方案:一种多光谱光场成像方法,包括沿光路方向顺次设置的宽带滤波片阵列、异构相机阵列、控制板阵列和信息联合处理装置;其中,宽带滤波片阵列与异构相机阵列相互平行对齐;所述宽带滤波片阵列将场景光线进行滤波生成多个波长上的光谱光线,再分别入射到异构相机阵列中的各个相机;控制板阵列与所述异构相机阵列相连,以进行相机参数配置和同步触发控制,实现多路图像或视频信息同时采集并传输到信息联合处理装置;所述信息联合处理装置将获取的多路图像或视频进行存储或实时处理显示;所述信息联合处理装置的处理方法为:根据两两相机之间姿态不同获取的图像对的视差信息,训练基于孪生网络架构的卷积神经网络,对交叉光谱通道的双目图像对进行立体匹配以获取入射光线的角度信息,得到全视场范围内的光场信息;利用视差算法重建全视场范围内的深度信息;根据相机阵列内外参数,结合立体匹配和图像对齐算法进行相机校准和视场对齐,通过光谱解复用算法得到场景中任一像素点在任一相机视角下共3*M*N波段的多光谱信息,从而获取多光谱光场信息,其中M为异构相机阵列中每行的相机个数,N为异构相机阵列的行数,且M、N均为正整数。所述宽带滤波片阵列由相关性最小(条件数最小)的M*N片共平面不同波段的滤波片构成,各滤波片分别置于各相机镜头和传感器中间,以保证最终光谱重建效果;所有滤波片的尺寸均相同。所述异构相机阵列由M*N个共平面的商用彩色或者灰度相机构成,且光轴相互平行。优选地,所有相机的型号均相同。对所述异构相机阵列进行内外参数配准,使得不同相机视场中的对应点位于同一水平或垂直对极线,以消除系统误差。所述异构相机阵列中的相机同时拍摄,一次性获取M*N张图像或动态视频。所述控制板阵列将多路信息以raw格式或者MPEG2视频流格式传输到信息联合处理装置。为了消除传统立体匹配问题中强度一致性约束的影响,所述信息联合处理装置的处理方法中,引入基于孪生网络架构的卷积神经网络,通过遍历KITTI2015立体匹配彩色图像数据集的RGB三通道,获取三倍于原数据的训练集,进行卷积神经网络的参数训练。所述图像对齐算法引入中间图像作为媒介,对于不同行且不同列的图像对来说,任意位置的对应点都可以在中间图像的帮助下进行对齐,而不再需要对角线图像的对极线校准这一复杂过程。所述光谱解复用算法在目标函数中引入非负约束和平滑约束,使用投影梯度法获取光谱重建最优解:s.t.s(i)≥0foralli其中,s=[s1,s2,…sN]T为所求场景表面的重建多光谱信息,P=[p1,p2,…pN]T为相机阵列通过立体配准对齐得到的单像素宽波段信息,表示结合相机响应曲线和滤波片传播曲线的光谱传感矩阵,是求导符号,η表示平滑约束权重。本专利技术的多光谱光场成像方法可以获取全视场范围内任一相机视角的多光谱信息,实现包括光谱和光场的全光信息的动态联合获取,能够弥补传统光场相机缺乏高分辨率光谱信息的问题。通过调整系统装置的参数,可以拥有更高的光谱分辨率和更充足的光场信息;通过采用更高精度的成像设备,可以获得具有重大意义的场景重建所需的高光谱分辨率和更精确的光场信息。因此,本专利技术的方法有着非常重要且广泛的应用。附图说明图1为本专利技术实施例中多光谱光场成像方法的异构相机阵列的硬件结构示意图;图2为本专利技术实施例所使用的滤波片阵列实物图(a),其光谱透射曲线(b)以及所使用异构相机阵列的相机传感器光谱响应曲线(c);图3为本专利技术多光谱光场成像方法的流程框图;图4为本专利技术使用标准色板曲线进行的验证示意图;图5为本专利技术中使用多光谱光场成像方法在室内碘钨灯光照下全部八个相机视角各自的光谱重建示意图。图(a)和(b)分别从光场中重建所得的24个光谱通道中选取了578nm和634nm两个光谱特征波段,并利用相机传感器曲线渲染为RGB图像进行单波段光谱重建效果展示。(a)和(b)的前两行均为整幅场景的重建结果,后两行为前两行方框部分的细节放大图。具体实施方式下面通过参考附图描述的实施例是示例性的,旨在用于解释本专利技术,而不能理解为对本专利技术的限制。如图1,本专利技术的异构相机阵列系统由2*4的宽带滤波片阵列1、2*4的异构相机阵列2、控制板阵列3和信息联合处理装置4四个主要部分组成。所有光学元件相对于基底同轴等高。本专利技术的实例中,2*4的异构相机阵列2由八个相同的PointGreyGS3-U3-51S5C-C相机构成,均使用SonyIMX250CMOS2/3”传感器,镜头焦距25mm,F数为16,分辨率2448*2048,帧率75FPS。这八个相机相互平行放置,固定在3D打印的金属支架上,搭建一个2*4的相机阵列,并允许一定空间内自由旋转平移。相机阵列2中,每个相机传感器和镜头中间都放置了宽带滤波片,构成滤波片阵列1,通过光谱复用以获取同一场景不同波段的彩色图像。图2中(本文档来自技高网
...
一种多光谱光场成像方法

【技术保护点】
一种多光谱光场成像方法,其特征在于,包括沿光路方向顺次设置的宽带滤波片阵列、异构相机阵列、控制板阵列和信息联合处理装置;其中,宽带滤波片阵列与异构相机阵列相互平行对齐;所述宽带滤波片阵列将场景光线进行滤波生成多个波长上的光谱光线,再分别入射到异构相机阵列中的各个相机;控制板阵列与所述异构相机阵列相连,以进行相机参数配置和同步触发控制,实现多路图像或视频信息同时采集并传输到信息联合处理装置;所述信息联合处理装置将获取的多路图像或视频进行存储或实时处理显示;所述信息联合处理装置的处理方法为:根据两两相机之间姿态不同获取的图像对的视差信息,训练基于孪生网络架构的卷积神经网络,对交叉光谱通道的双目图像对进行立体匹配以获取入射光线的角度信息,得到全视场范围内的光场信息;利用视差算法重建全视场范围内的深度信息;根据相机阵列内外参数,结合立体匹配和图像对齐算法进行相机校准和视场对齐,通过光谱解复用算法得到场景中任一像素点在任一相机视角下共3*M*N波段的多光谱信息,从而获取多光谱光场信息,其中M为异构相机阵列中每行的相机个数,N为异构相机阵列的行数,且M、N均为正整数。

【技术特征摘要】
1.一种多光谱光场成像方法,其特征在于,包括沿光路方向顺次设置的宽带滤波片阵列、异构相机阵列、控制板阵列和信息联合处理装置;其中,宽带滤波片阵列与异构相机阵列相互平行对齐;所述宽带滤波片阵列将场景光线进行滤波生成多个波长上的光谱光线,再分别入射到异构相机阵列中的各个相机;控制板阵列与所述异构相机阵列相连,以进行相机参数配置和同步触发控制,实现多路图像或视频信息同时采集并传输到信息联合处理装置;所述信息联合处理装置将获取的多路图像或视频进行存储或实时处理显示;所述信息联合处理装置的处理方法为:根据两两相机之间姿态不同获取的图像对的视差信息,训练基于孪生网络架构的卷积神经网络,对交叉光谱通道的双目图像对进行立体匹配以获取入射光线的角度信息,得到全视场范围内的光场信息;利用视差算法重建全视场范围内的深度信息;根据相机阵列内外参数,结合立体匹配和图像对齐算法进行相机校准和视场对齐,通过光谱解复用算法得到场景中任一像素点在任一相机视角下共3*M*N波段的多光谱信息,从而获取多光谱光场信息,其中M为异构相机阵列中每行的相机个数,N为异构相机阵列的行数,且M、N均为正整数。2.如权利要求1所述的一种多光谱光场成像方法,其特征在于,所述宽带滤波片阵列由相关性最小,即条件数最小的M*N片共平面不同波段的滤波片构成,各滤波片分别置于异构相机阵列中各相机镜头和传感器中间;所有滤波片的尺寸均相同。3.如权利要求1所述的一种多光谱光场成像方法,其特征在于,所述异构相机阵列由M*N个共平面的彩色或者灰度相机构成,且光轴相互平行。4.如权利要求1所述的一种多光谱光场成像方法,...

【专利技术属性】
技术研发人员:岳涛赵杨陈林森曹汛马展
申请(专利权)人:南京大学
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1