用于目标检测和追踪的神经形态视觉与帧速率成像制造技术

本发明专利技术的主题是“用于目标检测和追踪的神经形态视觉与帧速率成像”。提供了一种成像系统和一种成像方法。所述成像系统包括：单个光学器件模块，所述单个光学器件模块被配置用于聚焦从动态场景反射或发出的在红外光谱中的光；以及同步焦平面阵列，所述同步焦平面阵列用于接收所述聚焦光并从所述接收到的聚焦光获取具有高空间分辨率和低时间分辨率的红外图像。所述成像系统还包括：异步神经形态视觉系统，所述异步神经形态视觉系统被配置用于接收所述聚焦光并获取具有高时间分辨率的神经形态事件数据；以及读出集成电路(ROIC)，所述ROIC被配置为读出所述红外图像和所述事件数据两者。

【技术实现步骤摘要】
用于目标检测和追踪的神经形态视觉与帧速率成像
技术介绍
1.公开领域本公开涉及神经形态视觉与帧速率成像，并且更具体地说涉及使用神经形态视觉与帧速率成像的组合来进行目标检测和追踪。2.相关技术的描述帧速率成像系统采用同步(有框架)传感器来按预定帧速率感测和输出强度图像。强度图像具有高空间分辨率和消耗大量功率、内存和带宽的低时间分辨率。时间分辨率的轻微增大可能致使内存和带宽消耗呈指数增加。神经形态视觉采用异步(即，无框架)传感器来进行被动感测，所述被动感测输出由目标的移动在发生之时导致的局部像素级变化。神经形态视觉提供低功率和低带宽解决方案以用于响应于感测到移动而以非常高的时间分辨率输出少量数据。尽管空间分辨率能力在未来可能增大，但目前，神经形态视觉数据具有低空间分辨率。尽管少量数据输出提供关于目标的有限信息，但神经形态视觉提供检测和追踪移动的优点。然而，神经形态视觉的发展已被限于受约束的实验室实验。这类实验往往关于部署条件做出假设，所述部署条件诸如(1)最少场景杂乱，(2)要识别和追踪的单个缓慢移动的物体，(3)窄视野，和/或(4)感兴趣物体的紧密靠近或已知位置。然而，在诸如情报、监视和侦察(ISR)的应用的真实世界情形中，需要从具有可能显著的背景杂乱(诸如由于云、地形和伪装引起)的高海拔追踪多个高速目标。尽管常规方法和系统在其预期目的方面大体上视为令人满意的，但本领域仍然需要可以将帧速率成像系统与用于使用受约束的资源进行ISR的神经形态视觉系统组合的能够在真实世界条件下和从高海拔进行ISR的系统和方法。
技术实现思路
下文描述的所示实施方案的目的和优点将在以下描述中进行阐述并且从以下描述显而易见。所示实施方案的额外优点将通过书面说明书及其权利要求书以及附图中特别指出的装置、系统和方法实现和获得。为了实现这些和其他优点并且根据所示实施方案的目的，根据本公开的一个方面，提供了一种成像系统。所述成像系统包括：单个光学器件模块，所述单个光学器件模块被配置用于聚焦从动态场景反射或发出的在红外光谱中的光；以及同步焦平面阵列，所述同步焦平面阵列用于接收所述聚焦光并从所述接收到的聚焦光获取具有高空间分辨率和低时间分辨率的红外图像。所述成像系统还包括异步神经形态视觉系统，所述异步神经形态视觉系统被配置用于接收所述聚焦光并获取具有高时间分辨率的神经形态事件数据。组合的红外和神经形态系统具有读出集成电路(ROIC)，所述ROIC被配置为读出所述红外图像和所述事件数据两者。根据本公开的另一方面，提供了一种用于成像的方法。所述方法包括：聚焦从动态场景反射或发出的在红外光谱中的光；以及从所述聚焦光同步地获取具有来自接收到的聚焦光的高空间分辨率和低时间分辨率的红外图像。所述方法还包括：从所述聚焦光异步地获取具有高时间分辨率的事件数据；以及读出所述红外图像和所述事件数据两者。根据本公开的另一方面，提供了一种用于对目标成像的成像系统。所述成像系统包括同步焦平面阵列，所述同步焦平面阵列用于接收聚焦光并同步地获取强度图像，其中所述强度图像具有来自所述接收到的聚焦光的高空间分辨率和低时间分辨率。所述成像系统还包括异步神经形态视觉系统，所述异步神经形态视觉系统被配置用于接收所述聚焦光并异步地获取事件数据，所述事件数据具有高时间分辨率。提供了一种ROIC，其中所述ROIC被配置为读出所述强度图像和所述事件数据两者，其中所述焦平面阵列和所述ROIC最初被配置用于以低帧速率获取和读出所述强度图像。所述成像系统还包括被配置用于异步地监测所述事件数据以用于检测事件的至少一个处理模块。响应于检测到所述事件，所述处理模块被进一步配置用于控制所述焦平面阵列和所述ROIC中的至少一者以将获取或读出所述强度图像的所述帧速率从第一帧速率增大为第二帧速率。根据本公开的又一方面，提供了一种用于处理使用模板获取的动态场景的强度图像和异步地获取的事件数据的方法，其中所述事件数据是响应于从场景反射或发出的光而使用神经形态视觉系统获取的，并且所述已获取事件数据具有高时间分辨率。所述方法包括接收模板，其中所述模板由机器学习训练确定。此外，所述模板包括多个条目，每个条目包括与一个或多个已训练强度图像相关的已训练事件数据。所述相关的已训练事件和一个或多个已训练强度图像是响应于从同一场景反射或发出的光而同时获取的，其中所述已训练强度图像与一个或多个相应的可能的感兴趣目标相关联。所述已训练强度图像是从FPA同步地获取的并且具有高空间分辨率和低时间分辨率。所述已训练事件数据是从所述神经形态视觉系统异步地获取的并且具有高时间分辨率。所述方法包括：接收包括查询事件数据或查询强度图像数据的查询；确定包括已训练事件数据或已训练强度图像的所述模板中的与所述查询最相似的条目；以及使用所述条目的所述相关的已训练强度图像或已训练事件数据来识别、检测或追踪目标。附图说明为了使本主题公开所属领域的技术人员将易于在没有过度实验的情况下理解如何制造和使用本主题公开的装置和方法，下文中将参考某些图式详细描述其实施方案，图中：图1是根据本公开的实施方案的部署在操作环境中的视觉系统的示意图；图2是根据本公开的实施方案的视觉系统的框图；图3是根据本公开的另一实施方案的视觉系统的示意图；图4、图5和图8-11是根据本公开的实施方案的由视觉系统及其部件执行的实例方法的流程图；图6是根据本公开的实施方案的强度图像帧速率的调整的示意图；图7A和图7B是根据本公开的实施方案的处于训练模式和已训练模式的视觉系统的融合算法模块的框图；图12A和图12B是训练神经网络的方法的流程图；以及图13是根据本公开的实施方案的被配置为实施视觉系统的部件的示例性计算机系统的框图。具体实施方式现在参考附图更全面地描述所示实施方案，在附图中相似的附图标记标识类似的结构/功能特征。所示实施方案不以任何方式限于所示内容，因为下文描述的所示实施方案仅仅是示例性的，所述实施方案可以各种形式体现，如本领域技术人员所了解。因此，应理解本文中公开的任何结构细节和功能细节不应被解释为限制性的，而是仅仅作为权利要求书的基础和作为教导本领域技术人员以不同方式采用所讨论的实施方案的代表。此外，本文中使用的术语和短语无意为限制性的，而是意在提供所示实施方案的可理解的描述。除非另外定义，否则本文中使用的所有技术和科学术语都具有本公开所属领域的技术人员通常所理解的相同的含义。尽管与本文中描述的方法和材料类似或等效的任何方法和材料也可以用于实践或测试所示实施方案，但是现在描述示例性方法和材料。必须指出，如本文中和所附权利要求书中所使用，除非上下文另外清楚地指示，否则单数形式“一个”、“一种”和“所述”包括复数指称对象。因此，例如，对“所述信号”的提及包括对本领域技术人员已知的一个或多个信号及其等效物的提及等等。应了解，下文讨论的所示实施方案优选地是驻留在计算机可使用的介质上的软件算法、程序或代码，计算机可使用的介质具本文档来自技高网...

【技术保护点】
1.一种成像系统，所述成像系统包括：/n单个光学器件模块，所述单个光学器件模块被配置用于聚焦从动态场景反射或发出的在红外光谱中的光；/n同步焦平面阵列，所述同步焦平面阵列用于接收所述聚焦光并从所述接收到的聚焦光获取具有高空间分辨率和低时间分辨率的红外图像；/n异步神经形态视觉系统，所述异步神经形态视觉系统被配置用于接收所述聚焦光并获取具有高时间分辨率的神经形态事件数据；以及/n读出集成电路(ROIC)，所述ROIC被配置为读出所述红外图像和所述事件数据两者。/n

【技术特征摘要】
20191002 US 16/5913101.一种成像系统，所述成像系统包括：
单个光学器件模块，所述单个光学器件模块被配置用于聚焦从动态场景反射或发出的在红外光谱中的光；
同步焦平面阵列，所述同步焦平面阵列用于接收所述聚焦光并从所述接收到的聚焦光获取具有高空间分辨率和低时间分辨率的红外图像；
异步神经形态视觉系统，所述异步神经形态视觉系统被配置用于接收所述聚焦光并获取具有高时间分辨率的神经形态事件数据；以及
读出集成电路(ROIC)，所述ROIC被配置为读出所述红外图像和所述事件数据两者。


2.如权利要求1所述的成像系统，所述成像系统还包括被配置用于进行以下操作的至少一个处理模块：
在所述事件数据中检测事件；以及
根据对所述事件的检测，在目标数据和所述红外图像中的至少一者中执行目标检测和目标追踪中的至少一者。


3.如权利要求1所述的成像系统，其中所述焦平面阵列在短波红外(SWIR)光谱中操作。


4.一种成像的方法，所述方法包括：
聚焦从动态场景反射或发出的在短波红外光谱中的光；
从所述聚焦光同步地获取具有来自接收到的聚焦光的高空间分辨率和低时间分辨率的红外图像；
从所述聚焦光异步地获取具有高时间分辨率的事件数据；以及
读出所述红外图像和所述事件数据两者。


5.如权利要求4所述的方法，所述方法还包括以下各项中的至少一者：
在神经形态图像中检测事件；以及
根据对所述事件的检测，在所述事件数据和所述红外图像中的至少一者中执行目标检测和目标追踪中的至少一者。


6.一种用于对目标成像的成像系统，所述方法包括：
同步焦平面阵列，所述同步焦平面阵列用于接收聚焦光并同步地获取强度图像，所述强度图像具有来自所述接收到的聚焦光的高空间分辨率和低时间分辨率；
异步神经形态视觉系统，所述异步神经形态视觉系统被配置用于接收所述聚焦光并异步地获取事件数据，所述事件数据具有高时间分辨率；
读出集成电路(ROIC)，所述ROIC被配置为读出所述强度图像和所述事件数据两者，其中所述焦平面阵列和所述ROIC最初被配置用于以低帧速率获取和读出所述强度图像；以及
至少一个处理模块，所述至少一个处理模块被配置用于：
异步地监测所述事件数据以用于检测事件；以及
响应于检测到所述事件，控制所述焦平面阵列和所述ROIC中的至少一者以将获取或读出所述强度图像的所述帧速率从第一帧速率增大为第二帧速率。


7.如权利要求6所述的成像系统，其中所述至少一个处理模块被进一步配置用于当不再追踪到与检测到的所述事件相关联的目标时将所述帧速率减小为第三帧速率。


8.如权利要求6所述的成像系统，其中所述焦平面阵列在短波红外(SWIR)光谱中操作。


9.如权利要求6所述的成像系统，所述成像系统还包括被配置用于聚焦从动态场景反射或发出的光的光学器件模块。


10.如权利要求9所述的成像系统，其中所述光学器件模块是单个光学器件模块。


11.如权利要求6所述的成像系统，其中所述至少一个处理模块被进一步配置为执行场景重构，所述场景重构包括：
处理所述强度图像以用于获得两个连续的强度图像和所述事件数据，其中每个强度图像和事件数据具有其被获取的获取时间，所述两个连续的强度图像的所述获取时间限定时间窗，所述时间窗包括与检测到的事件对应的事件数据的获取时间；以及
通过应用机器学习来生成具有包括在所述窗中的理论获取时间的新的强度图像，其中所述至少一个处理模块是通过机器学习技术使用与已知目标相关联的强度图像和训练事件数据而训练的。


12.如权利要求11所述的成像系统，其中所述至少一个处理模块被进一步配置为：
经历所述机器学习训练，包括接收与所述已知目标相关联的训练强度图像和所述训练事件数据；
估计具有包括在训练窗中的理论训练获取时间的新的训练强度图像，所述训练窗在所述训练强度图像中的两个连续的训练强度图像的获取时间之间；
将所述估计的新的训练强度图像与在所述理论训练获取时间获取的实际图像进行比较；以及
根据所述比较的结果来调整用于机器学习的至少一个参数。


13.如权利要求11所述的成像系统，其中至少一个处理器通过使用所述强度图像作为所述两个连续的强度图像中的一者重复执行所述场景重构来递归地执行所述场景重构。


14.如权利要求6所述的成像系统，其中所述至少一个处理模块被进一步配置用于：
接收通过机器学习训练确定的已训练事件数据的模板，其中所述模板将已训练事件数据与和一个或多个相应的可能的感兴趣目标相关联的已训练强度图像相关；

【专利技术属性】
技术研发人员：SL库克雷加，JV曼特斯，OT奥辛，J利奥贝，JS墨菲，
申请(专利权)人：传感器无限公司，
类型：发明
国别省市：美国;US