一种基于光谱通道摆扫式相机的多光谱视频采集方法技术

本发明专利技术提出一种基于光谱通道摆扫式(SCS)相机的多光谱视频采集方法。具体步骤包括：(1)在三维球面坐标系统上定义复杂光流，复杂光流包括强度和位置传输信息，用于计算不同光谱通道相邻帧之间的对应关系；(2)复杂光流映射被定义在不同光谱通道的邻近帧对上，利用复杂光流映射下的复杂L1范数正则化问题；(3)结合复杂光流映射，通过双边传播从输入的视频中重建得到多光谱视频。本发明专利技术充分利用动态自然场景的时间冗余来获取和重建动态场景的多光谱视频，能够同时具备不牺牲任何分辨率或帧率以及更低的系统复杂度的优点。

【技术实现步骤摘要】
一种基于光谱通道摆扫式相机的多光谱视频采集方法
本专利技术涉及多维信号(图像)处理领域，特别涉及一种基于光谱通道摆扫式(SCS)相机的多光谱视频采集方法。
技术介绍
多光谱图像序列/视频对于许多应用都有着重要意义，比如监督，医学，材料分析等等。尽管这个主题在过去的几十年里被大量学习，但是获取动态场景的多光谱视频依然是一个很具挑战性的工作，因为大部分现存的多光谱成像方法或者依赖于扫描机制，或者需要多倍快照来重建单个帧。近期，一些基于单次快照的多光谱成像方法被提出。其中一些方法是通过将光谱信息多路传输进二维传感器来捕获多光谱图像/视频，比如四维成像光谱仪(4DIS)、计算机断层扫描成像光谱仪(CTIS)和快照成像映射光谱仪(IMS)。然而这些方法牺牲了空间分辨率以换取单个光谱成像的能力。编码孔径快照光谱成像(CASSI)使用自然图像的空间冗余对单次拍照的多光谱信息进行编码从而不牺牲空间分辨率。除此之外，混合光谱成像系统通过额外捕捉一个未编码的灰度图像，被用来改善CASSI的性能。最近，双光谱图像编码(DCSI)技术出现，通过使用空间谱压缩编码来捕获多光谱图像。尽管多光谱成像可以通过单快照获取，但是这些基于编码孔径的系统重建算法却尤其复杂。另外，高计算成本可能在很长一段时间内限制这些系统在视频获取领域的应用。
技术实现思路
本专利技术的目的旨在提出一种基于光谱通道摆扫式(SCS)相机的多光谱视频采集方法，解决上述现有方法无法兼有高分辨率或高帧率和低计算复杂度的缺陷。本专利技术采用的技术方案如下：一种基于光谱通道摆扫式相机的多光谱视频采集方法，包括以下步骤：(1)在三维球面坐标系统上定义复杂光流，复杂光流包括强度和位置传输信息，用于计算不同光谱通道相邻帧之间的对应关系；(2)复杂光流映射被定义在不同光谱通道的邻近帧对上，利用复杂光流映射下的复杂L1范数正则化问题；(3)结合复杂光流映射，通过双边传播从输入的光谱通道摆扫式相机视频中重建得到多光谱视频。本专利技术充分利用动态自然场景的时间冗余来获取和重建动态场景的多光谱视频，能够同时具备不牺牲任何分辨率或帧率以及更低的系统复杂度的优点。具体的，步骤(1)的复杂光流(COF)，包括强度和位置传输信息，用来克服在异谱帧下传统光流的缺陷，从而描述不同光谱通道相邻帧的对应像素；步骤(2)采用迭代加权最小二乘法(IRLS)，通过加权迭代L2范数并且采用一个由粗到细的框架结构确保算法正确收敛进而估计复杂L1范数正则化；步骤(3)的双边传播，从第一个通道(最小波长)到最后一个(最大波长)的帧扫描中，每个帧包含了一个光谱通道并且根据COF映射既向前又向后传播。总体来说，本专利技术在以下三个方面效果显著：(1)没有任何分辨率或者帧率的牺牲；(2)更低的系统复杂度，因此很容易校准；(3)是一种通过利用自然视频中时间冗余的创新型时空采样框架。附图说明图1为本专利技术基于光谱通道摆扫式(SCS)相机的多光谱视频采集系统的流程图；图2为本专利技术一个实施例的基于光谱通道摆扫式(SCS)相机的多光谱视频采集系统的示意图；图3为本专利技术一个实施例的多光谱帧组/视频重建的双边传播框图；图4为本专利技术的一个实施例的实际捕获的动态场景的实验结果。第一行：在时间帧1、6、11和17，光谱波长540nm、590nm、640nm和700nm分别捕获的选定输入帧；中间四行：选定的重建光谱帧；底部：相应时刻重建结果的细节。具体实施方式本专利技术采用逐帧摆扫通带，同时引入帧内复杂光流，从而重建得到动态场景多光谱视频。本实施例所用的采集系统包括一个单色相机(PointGrayGRAS-50S5M-C)和一个液晶可调滤波器(LCTF)。图1是根据本专利技术基于光谱通道摆扫式(SCS)相机的多光谱视频采集方法的流程图，主要包括以下步骤：步骤一，在三维球面坐标系统上定义复杂光流(COF)，描述不同光谱通道相邻SCS帧的变化，复杂光流(COF)由强度和位置传输信息组成。具体地，假设在一个自然视频中，物体或者背景场景出现一段时间并且在这段时间内连续移动。换句话说，视频上的像素点既不在很短的一段拍摄时间内突然出现然后消失，也不会从一个位置不连续地移动到另一个不相邻区域。为了获得不同光谱通道邻近帧的对应关系，在三维球坐标系统(包括一个半径和两个角)上定义复杂光流(COF)，数学公式为：其中，为从时间t到t+1的COF；F为球向量的半径，表示光谱强度传输比；角δx和δy用来描述图像平面在x和y方向上的节点位移；i和j分别为球坐标系统的单元角向量。通过使用类似的指数公式Is1exi+yj(Is1是像素强度，x和y分别是水平和垂直坐标)来描绘时间t下单光谱通道s1的帧Is1上的一个像素，在时间t+1下光谱通道s2的相邻帧中的对应像素可以通过复杂的乘法计算得到：步骤二，COF映射被定义在不同光谱通道的邻近帧对上，利用COF映射下的复杂L1范数正则化问题。基于COF映射的定义，目标函数的保真度项可以被定义为：考虑到包含统一强度的区域充满了自然场景，只通过最小化保真度项的问题仍然是病态的。为了解决这个病态性，COF映射下的复杂的L1范数被引入，形式如下：这里，是COF映射的复合梯度运算。由于COF映射在这里是一个复合矢量场，复合梯度被定义为在x-和y-方向上的复合矢量场中相邻元素的导数：这里，式中的减号是球向量减法，因此会导致矢量求导。上式中的复杂L1范数表示了复合梯度向量模块的总和。完整的目标函数是以上两式的一个加权合并：E＝Ef+λcEc这里λc是复杂L1范数约束在COF上的权重，在本实施例中，λc被设置为0.02。本实施例中，为了解决上式，采用迭代加权最小二乘法(IRLS)。基本思路是通过加权迭代L2范数来逼近复杂的L1范数从而使算法一步步收敛。特殊地，在第k次迭代中，上式中的非二项式项Ec被估计为：这里是最后一次迭代(k-1次)的复合梯度。通过用上式完整的目标函数的再加权二次项来替换Ec，联合目标函数就变成了一个二项式函数并且因此可以通过梯度法(在本实施例中应用的是共轭梯度算法(CG))很容易解出。为了确保算法收敛到正确的解，本实施例采用了一个由粗到细的框架结构。在实际操作中，算法从一个非常粗糙的精度开始(输入帧组大小的1/256)，在每个精度下，COF映射通过迭代计算外层循环(随着k增长再加权迭代)和内层循环(CG迭代来最小化固定权重的目标函数)直到算法收敛。算法在每层精度收敛后，下一层的初始化COF映射通过调整当前COF映射的尺寸获得。在最开始，第一层的COF被常量复合矢量1e0i+0j初始化，相邻层的尺寸比被设置为1.2。步骤三，结合COF映射，通过双边传播从输入的SCS视频中重建得到多光谱视频。在信号扫描帧组的一个周期内，比如从第一个通道(有着最小波长)到最后一个(有着最大波长)的帧扫描中，每个帧包含了一个光谱通道并且根据COF映射既向前又向后传播。如图3所示，实际捕获通道的信息被传播给邻近帧来填满空缺通道，从而重建整个光谱帧组。为了消除不同波段的LCTF透射比和传感器响应不同导致的缺陷，本实施例使用颜色检查器(爱色丽色板)作为参考板，并且使用一阶拟合对每个通道分别进行输出响应修正。在校准之后，所有颜色区域的输出光谱曲线都与groundtruth很好本文档来自技高网...

【技术保护点】
一种基于光谱通道摆扫式相机的多光谱视频采集方法，其特征在于，包括以下步骤：(1)在三维球面坐标系统上定义复杂光流，复杂光流包括强度和位置传输信息，用于计算不同光谱通道相邻帧之间的对应关系；(2)复杂光流映射被定义在不同光谱通道的邻近帧对上，利用复杂光流映射下的复杂L1范数正则化问题；(3)结合复杂光流映射，通过双边传播从输入的光谱通道摆扫式相机视频中重建得到多光谱视频。

【技术特征摘要】
1.一种基于光谱通道摆扫式相机的多光谱视频采集方法，其特征在于，包括以下步骤：(1)在三维球面坐标系统上定义复杂光流，复杂光流包括强度和位置传输信息，用于计算不同光谱通道相邻帧之间的对应关系；(2)复杂光流映射被定义在不同光谱通道的邻近帧对上，利用复杂光流映射下的复杂L1范数正则化问题；(3)结合复杂光流映射，通过双边传播从输入的光谱通道摆扫式相机视频中重建得到多光谱视频。2.如权利要求1所述的一种基于光谱通道摆扫式相机的多光谱视频采集方法，其特征在于，所述步骤(1)中，复杂光流在三维球坐标系统上的数学表达式为：其中，为从时间t到t+1的复杂光流，s1和s2代表不同的光谱通道；F为球向量的半径，表示光谱强度传输比；角δx和δy用来描述图像平面在x和y方向上的节点位移；i和j分...

【专利技术属性】
技术研发人员：岳涛，李涵，林星，曹汛，戴琼海，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32