基于事件的下采样制造技术

一种基于事件的下采样方法包括接收与地址和时间戳相对应的多个传感器事件。该方法进一步包括基于这些时间戳和地址来对这些地址进行空间下采样。该方法还可包括基于该下采样来更新该多个传感器事件中的每一个传感器事件的像素值。

Event based down sampling

An event based down sampling method includes receiving a plurality of sensor events corresponding to an address and a time stamp. The method further includes spatial sampling of these addresses based on these timestamps and addresses. The method may also include updating the pixel values of each of the sensor events in the plurality of sensor events based on the down sampling.

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请根据35U.S.C.§119(e)要求于2014年9月16日提交的题为“EVENTBASEDDOWNSAMPLING(基于事件的下采样)”的美国临时专利申请号62/051,121的权益，其公开通过引用整体明确地纳入于此。背景
本公开的某些方面一般涉及神经系统工程，尤其涉及用于基于事件的下采样的系统和方法。
技术介绍
机器视觉使得机器能够看见和感知。在常规系统中，传感器(诸如摄像机)被用于机器视觉。摄像机可被称为基于帧的视觉传感器，因为摄像机从光敏元件的二维阵列周期性地采样视觉数据。相反，人类视网膜是基于事件的视觉传感器的示例。也就是说，视网膜中的个体神经元对视场的一部分是灵敏的以使得在视场的该部分存在变化时，每个神经元向大脑发送信号。与常规的基于帧的摄像机不同，不存在对视网膜中的所有神经元的周期性采样。相反，每当存在瞬态视觉事件时，视觉数据就由视网膜传送。与视网膜类似，动态视觉传感器(DVS)包括检测和传送视觉事件的光敏元件阵列。当视觉场景的一部分处的亮度存在变化时，动态视觉传感器的个体光敏元件传送信号。作为示例，事件驱动的对象检测系统可使用动态视觉传感器来检测移动的对象(诸如面部或汽车)，并且基于先前训练来实时地对检测到的对象进行分类。在一些情形中，基于事件的采样被指定成提高时间灵敏度。也就是说，基于帧的传感器可被限于以基于帧的传感器能藉以读取图像数据帧的速度为基础来采样视觉信息。相反，动态视觉传感器内的光敏元件可基于该光敏元件能藉以检测视场的一部分的变化的速度来采样视觉信息。除了提高的时间灵敏度以外，光敏元件与基于帧的传感器相比可平均上消耗更少的功率，因为光敏元件在视觉场景不存在变化时保持不活跃。尽管如此，提高的时间灵敏度和更低的功耗尚未在常规的基于事件的视觉系统中完全实现。具体地，用于基于事件的传感器输出的已知处理技术的数目小于用于基于帧的视觉传感器的机器视觉技术的数目。为基于帧的传感器开发的常用技术包括高效下采样、亚采样、内插、快速傅里叶变换、以及基于神经网络的对象分类。在一些情形中，为了改进已为基于帧的机器视觉系统开发出的技术，动态视觉传感器的输出可被用于周期性地重构图像帧。此外，常规图像处理技术可被应用于结果所得的帧。然而，向图像帧的转换可能降低基于事件的视觉系统的性能。由此，将基于帧的技术转换成基于事件的系统而不降低基于事件的传感器的性能是合乎期望的。概述在本公开的一个方面，公开了一种基于事件的下采样方法。该方法包括接收与地址和时间戳相对应的多个传感器事件。该方法还包括基于这些时间戳和地址来对这些地址进行空间下采样。本公开的另一方面涉及一种设备，其包括用于接收与地址和时间戳相对应的多个传感器事件的装置。该设备还包括用于基于这些时间戳和地址来对这些地址进行空间下采样的装置。在本公开的另一方面，公开了一种其上记录有程序代码的非瞬态计算机可读介质。用于基于事件的下采样的程序代码由处理器执行并且包括用于接收与地址和时间戳相对应的多个传感器事件的程序代码。该程序代码还包括用于基于这些时间戳和地址来对这些地址进行空间下采样的程序代码。本公开的另一方面涉及一种用于基于事件的下采样的装置，其具有存储器以及耦合至该存储器的一个或多个处理器。(诸)处理器被配置成接收与地址和时间戳相对应的多个传感器事件。(诸)处理器还被配置成基于这些时间戳和地址来对这些地址进行空间下采样。本公开的附加特征和优点将在下文描述。本领域技术人员应该领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。附图简要说明在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。图1解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)来设计神经网络的示例实现。图2解说了根据本公开的各方面的系统的示例实现。图3解说了根据本公开的某些方面的事件驱动的对象检测系统的组件的示例。图4解说了经由基于事件的传感器生成的多个像素的示例。图5解说了根据本公开的一方面的级联下采样和卷积的示例。图6和7是解说根据本公开的各方面的用于基于事件的下采样的方法的流程图。详细描述以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。事件驱动的对象检测系统如先前所讨论的，事件驱动的对象检测系统可使用动态视觉传感器(DVS)来检测移动的对象(诸如面部或汽车)，并且基于先前训练来实时地对检测到的对象进行分类。系统中的计算可由传感器事件来触发。事件驱动的对象检测系统可被称为检测系统。本公开的各方面涉及将图像处理技术应用于基于事件的传感器的输出。图像处理技术可以执行基本上类似于应用于基于帧的视觉系统的技术的功能。更具体地，本公开的各方面涉及改进事件驱动的对象检测的基于事件的处理技术。在一种配置中，动态视觉传感器输出被下采样并且与可重用的内核进行卷积。根据本公开的一方面，当事件被生成时，检测系统处理视觉输入。也就是说，当事件未从动态视觉传感器输出时，检测系统不执行处理。例如，动态视觉传感器可以是监视系统的一部分并且可被指向走廊和门。如果场景中不存在变化，则动态视觉传感器将不发送任何输出，并且因此，检测系统将不执行任何计算。当场景中存在变化时，动态视觉传感器可产生输出，并且基于事件的检测系统可执行计算。例如，当人穿过门时，聚焦在门道上的动态视觉传感器可产生输出。基于事件的系统的处理负荷与传感器事件速率呈线性比例关系。相反，基于帧的系统的处理负荷与本文档来自技高网...

【技术保护点】
一种基于事件的下采样方法，包括：接收与地址和时间戳相对应的多个传感器事件；以及至少部分地基于所述时间戳和所述地址来对所述地址进行空间下采样。

【技术特征摘要】
【国外来华专利技术】2014.09.16 US 62/051,131;2015.09.14 US 14/853,9911.一种基于事件的下采样方法，包括：接收与地址和时间戳相对应的多个传感器事件；以及至少部分地基于所述时间戳和所述地址来对所述地址进行空间下采样。2.如权利要求1所述的方法，其特征在于，进一步包括，至少部分地基于所述下采样来更新所述多个传感器事件中的每一个传感器事件的像素值。3.如权利要求1所述的方法，其特征在于，对所述地址进行空间下采样包括将原始坐标系映射到下采样出的坐标系。4.如权利要求3所述的方法，其特征在于，对所述地址进行空间下采样包括丢弃所述地址的至少一个最低有效位。5.如权利要求1所述的方法，其特征在于，进一步包括，通过将时间戳值计算为正被下采样的分组内的时间戳的函数来在时间上进行下采样。6.如权利要求1所述的方法，其特征在于，进一步包括，在预定时间跨度内在具有共同地址的多个传感器事件具有不同时间戳时通过选择与特定时间戳相对应的特定传感器事件来在时间上进行下采样。7.一种用于基于事件的下采样的设备，包括：用于接收与地址和时间戳相对应的多个传感器事件的装置；以及用于至少部分地基于所述时间戳和所述地址来对所述地址进行空间下采样的装置。8.如权利要求7所述的设备，其特征在于，进一步包括，用于至少部分地基于所述下采样来更新所述多个传感器事件中的每一个传感器事件的像素值的装置。9.如权利要求7所述的设备，其特征在于，所述用于对所述地址进行空间下采样的装置通过将原始坐标系映射到下采样出的坐标系来进行下采样。10.如权利要求9所述的设备，其特征在于，所述用于对所述地址进行空间下采样的装置通过丢弃所述地址的至少一个最低有效位来进行下采样。11.如权利要求7所述的设备，其特征在于，进一步包括，用于通过将时间戳值计算为正被下采样的分组内的时间戳的函数来在时间上进行下采样的装置。12.如权利要求7所述的装置，其特征在于，进一步包括，用于在预定时间跨度内在具有共同地址的多个传感器事件具有不同时间戳时通过选择与特定时间戳相对应的特定传感器事件来在时间上进行下采样的装置。13.一种用于基于事件的下采样的装置，包括：存储器单元；以及耦合至所述存储器单元的至少一个处理器，所述至少...

【专利技术属性】
技术研发人员：V·兰甘，W·H·康斯坦伯，X·王，M·拉斯托奇，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US