设备和方法技术

一种设备包括：光谱滤波器(26)，具有可变光谱滤波器透射(FT(λ))；基于事件的成像传感器(27)，被配置为产生测量事件(y

Equipment and methods

【技术实现步骤摘要】
【国外来华专利技术】设备和方法
本公开总体上涉及光谱成像系统领域。
技术介绍
光谱成像是光谱学和摄影的领域，其中，在图像平面的各个位置收集完整的光谱或一些光谱信息。多光谱成像测量多个光谱带中的光。高光谱成像是光谱成像的一个特例，通常有数百个连续的光谱带可用。例如，多光谱/高光谱图像传感对材料分类非常感兴趣。获得高空间、时间和光谱精度的测量非常重要。在这种高精度系统中捕捉的数据量非常大，并且需要对数据进行压缩(例如，从400nm到800nm以1nm步长采样的16位全HD分辨率图像每次捕捉将产生约1.5G字节的数据)。现有的光谱成像系统应用各种方法来获取光谱图像信息。最已知的技术是在图像传感器上应用镶嵌(mosaicking，拼接)(类似于应用红-绿-蓝(即所谓的拜耳图案)的普通成像传感器)，其中，每个图像像素被具有已知光谱灵敏度的不同类型的滤色器覆盖。这种方法降低了依赖于滤色器数量的空间图像精度，并提供了低光谱分辨率能力。为了恢复光谱图像信息，必须应用复信号重建方法。其他系统尝试利用全局变化的滤色器，但是这些系统受到传感器的时间采样限制、相机系统的大形状因数以及由于大量获取数据而面临的数据带宽问题。
技术实现思路
根据第一方面，本公开提供了一种具有可变光谱滤波器透射的光谱滤波器；基于事件的成像传感器，被配置为产生对应于由观察到的光谱产生的滤波器响应变化的测量事件；以及处理器，被配置为控制光谱滤波器的滤波器透射，使得滤波器透射随时间扫过波长，并被配置为基于对应于滤波器响应的测量事件和基于滤波器透射来产生观察到的光谱的估计。根据另一方面，本公开提供了一种方法，方法包括：产生对应于由观察到的光谱产生的光谱滤波器的滤波器响应变化的测量事件；控制光谱滤波器的滤波器透射，使得滤波器透射随时间扫过波长；并且基于对应于滤波器响应的测量事件和基于滤波器透射来生成观察到的光谱的估计。在从属权利要求、以下描述和附图中阐述了其他方面。附图说明通过参考附图的示例来说明实施方式，其中：图1示意性地示出了传统光谱成像系统中的处理；图2示意性示出了基于压缩事件的光谱成像系统的实施方式；图3示意性地示出了滤波器透射FS(t)的扫过；图4示出了在滤波器透射将是如图3所示的不同波长具有不同透射幅度的一系列狄拉克(Dirac)脉冲的情况下，随时间t、相应波长λ的示例性有效滤波器透射FT(t)；图5示意性地示出了滤波器透射FT(t)随时间t、相应波长λ的更真实的行为；图6示意性地示出了根据图4的情况，当光谱滤波器随时间变化时，基于压缩事件的光谱成像系统在存在输入光谱的情况下如何表现；图7a示意性示出了在基于压缩事件的光谱成像系统中事件驱动的光谱成像的原理；图7b示意性地更详细地示出了基于事件的成像传感器如何生成测量事件；图8示出了处理基于事件的传感器数据的实施方式的流程图；以及图9示出了可以用作处理器的电子装置的实施方式。具体实施方式下面描述的实施方式提供了一种设备，设备包括：具有可变光谱滤波器透射(spectralfiltertransmission)的光谱滤波器；基于事件的成像传感器，被配置为产生对应于由观察到的光谱产生的滤波器响应变化的测量事件；以及处理器，被配置为控制光谱滤波器的滤波器透射，使得滤波器透射随时间扫过波长，并被配置为基于对应于滤波器响应的测量事件和基于滤波器透射来产生观察到的光谱的估计。例如，处理器可以被配置为通过生成观察到的光谱的估计来重建观察到的光谱。以这种方式，处理器可以被配置为输出重建的光谱场景体积，该体积包含光谱场景的图像和光谱信息。处理器可以被配置为控制光谱滤波器的光谱滤波器透射，使得光谱滤波器透射随着时间线性或非线性扫过波长。例如，光谱滤波器的光谱滤波器透射可以以光谱滤波器透射的灵敏度最大值随着时间线性或非线性扫过波长的方式被控制扫过。处理器可以被配置为随时间任意地控制光谱滤波器透射特性。基于事件的成像传感器可以被配置为记录由光谱滤波器透射的变化导致的任何强度变化。基于事件的成像传感器可以被配置为以异步方式记录像素强度变化。基于事件的成像传感器可以被配置为根据成像传感器上的入射(incident)来产生指示强度增加或减少的事件。这些事件可以指示预定义阈值的强度增加或减少。阈值可以由处理器固定或适应性地改变。处理器可以被配置为根据检测到的事件来产生滤波器响应。处理器可以被配置为通过数值重建方法从测量的滤波器响应重建观察到的光谱。数值重建方法可以是季霍诺夫(Tikhonov)正则化。数值重建方法可以基于包含光谱滤波器的已知滤波器响应的矩阵。例如，可以用多个测量的组合来建立方程系统，并用已知的方法(例如，季霍诺夫(Tikhonov)正则化)来解决反问题。在数值重建方法中，与时间间隔之间的测量相关的单个事件或事件之和可以被归结为线性(或高阶)组合。在替代实施方式中，数值重建方法可以基于压缩感知(CS)原理。例如，压缩感知原理可用于控制光谱滤波器，并且因此压缩感知方法也可用于原始信号的重建。处理器例如可以是数字信号处理器(DSP器)、计算机、台式计算机、工作站等。处理器也可以在膝上型电脑、平板电脑、智能手机等中实现。电子装置的电路可以包括一个或多个处理器、一个或多个微处理器、专用电路、逻辑电路、存储器(RAM、ROM等)、存储器、输出装置(显示器，例如，液晶、(有机)发光二极管等)、扬声器、接口(例如，触摸屏、无线接口(例如，蓝牙、红外线、音频接口等))等。处理器可以与基于事件的成像传感器和/或光谱滤波器并置，或者可以远离基于事件的成像传感器和/或光谱滤波器。例如，基于事件的成像传感器、光谱滤波器和处理器可以在单个相机装置中实现。或者，相机装置可以仅包括基于事件的成像传感器和光谱滤波器，并且处理器可以被设置成远离基于事件的成像传感器，并且可以被设置成经由诸如以太网、WLAN等数据通信路径接收由基于事件的成像传感器产生的数据。该设备还可以包括透镜系统和带限滤波器(band-limitingfilter)。实施方式还公开了一种方法，方法包括：产生对应于由观察到的光谱生成的光谱滤波器的滤波器响应的测量事件；控制光谱滤波器的滤波器透射，使得滤波器透射随时间扫过整个波长；并且基于对应于滤波器响应的测量事件和基于滤波器透射来生成观察到的光谱的估计。光谱成像图1示意性地示出了传统光谱成像系统中的处理。在传统光谱成像系统中，由具有不同光谱灵敏度的M个不同的滤波器Ti(λ)|i∈{1，2，…，M}获得目标光谱x(λ)。滤波器响应Y(λ)＝{y1，y2，…，yM}基本上是观察到的目标光谱x(λ)和相应滤波器T(λ)的弗雷德霍尔姆(Fredholm)积分：yi＝∫x(λ)·Ti(λ)dλ为了处理的目的，光谱被离散成N个波长段Δλ1，Δλ2，...，ΔλN，并且作为简本文档来自技高网...

【技术保护点】
1.一种设备，包括：/n光谱滤波器，具有可变的光谱滤波器透射；/n基于事件的成像传感器，被配置为产生对应于由观察到的光谱产生的滤波器响应变化的测量事件，以及/n处理器，被配置为/n控制所述光谱滤波器的滤波器透射，使得所述滤波器透射随时间扫过波长，并且/n基于对应于所述滤波器响应的所述测量事件和基于所述滤波器透射，生成所述观察到的光谱的估计。/n

【技术特征摘要】
【国外来华专利技术】20171221 EP 17209808.91.一种设备，包括：
光谱滤波器，具有可变的光谱滤波器透射；
基于事件的成像传感器，被配置为产生对应于由观察到的光谱产生的滤波器响应变化的测量事件，以及
处理器，被配置为
控制所述光谱滤波器的滤波器透射，使得所述滤波器透射随时间扫过波长，并且
基于对应于所述滤波器响应的所述测量事件和基于所述滤波器透射，生成所述观察到的光谱的估计。


2.根据权利要求1所述的设备，其中，所述处理器被配置为控制所述光谱滤波器的所述光谱滤波器透射，使得所述光谱滤波器透射随着时间线性或非线性扫过波长。


3.根据权利要求1所述的设备，其中，所述基于事件的成像传感器被配置为通过记录由所述光谱滤波器透射的变化导致的任何强度变化来产生所述滤波器响应。


4.根据权利要求1所述的设备，其中，所述基于事件的成像传感器被配置为以异步方式记录像素强度变化。


5.根据权利要求1所述的设备，其中，所述基于事件的成像传感器被配置为根据成像传感器上的入射来产生指示强度增加或减少的事件。


6.根据权利要求5所述的设备，其中，所述事件指示由所述处理器固定或适应性改变的预定义阈值的强度增加或减少。


7.根据权利要求5所述的设备，其中，所述处理器被配置...

【专利技术属性】
技术研发人员：亚尔钦·因杰苏，亚历山大·加托，
申请(专利权)人：索尼半导体解决方案公司，
类型：发明
国别省市：日本;JP