一种异步时域视觉信息成像方法技术

本发明专利技术公开了一种异步时域视觉信息成像方法，该方法使用像素级的缓冲栈数据结构，包括如下步骤：依据时间局部性原理，对像素缓冲栈进行动态刷新，从而达到时间分辨率可调；依据时间和空间局部性原理进行背景噪声确认及消除；依据时间局部性原理，通过正负事件匹配的方法消除拖尾；模拟生物神经的刺激衰减机理，启动基于事件量的遗忘机制，删除过时事件。本发明专利技术为使用ATVS进行机器视觉应用提供了一种灵活有效的集成图像生成方法。由于ATVS采用变化采样、异步输出、地址事件表示的成像原理，因此具有极低数据冗余、高实时性与时间分辨率的独特优势，非常适合应用于高速运动目标的定位、测速与跟踪。

【技术实现步骤摘要】

本专利技术属于图像传感器设计以及机器视觉
，涉及一种异步时域视觉信息成像方法。
技术介绍
目前，硅基半导体图像传感器（包括CCD以及CMOS图像传感器）已经取代传统的卤化银照相胶片，成为最主要的可见光成像器件。硅基半导体图像传感器的核心工作原理是使用势阱收集光电二极管产生的电子来测量光照强度。根据采样工作方式，目前图像传感器都是基于“帧采样”方式的：1、所有像素同时复位后开始感光（收集光电荷），达到设定曝光时间后停止感光；2、依次读出每个像素所收集的光电荷，并将其转换为电压；3、该电压经模数转换后变为数字量，输出后存储。该量即为该点的亮度值。所有像素亮度值组成的二维矩阵即为所拍摄图像。在使用上述“帧采样”图像传感器（相机）的计算机视觉系统中，计算机依次处理相机拍摄的图像序列（通常为25—30帧/秒），执行各种图像处理算法，达到图像处理、识别以及理解等多种目的。与之不同，在生物视觉系统中，不是以“帧”方式进行图像采集和处理的：视觉感光细胞只对视场中的变化敏感，并将这种变化以神经脉冲的方式传递到大脑视皮层进行处理。与生物视觉系统相比，“帧采样”成像方式存在以下缺点：（1）、数据冗余。相邻两帧间存在大量冗余信息，与上一帧完全相同的背景区域被重复采样读出。这些冗余信息同时对机器视觉系统带来了巨大的处理和存储压力；（2）、高延迟。场景中发生的变化并不能被马上感知并输出，而必须按照曝光时间内累计的方式采样输出。这种“变化—感知”间的高延迟对于运动目标的跟踪与识别显然是不利的，拍摄帧频越低且运动速度越快，则检测效果的间断性越明显。而如果采用更高帧频的拍摄速度，则处理与存储压力会更大。近年来，研究者依据生物视觉“变化采样”的原理，提出了采用超大规模集成电路（VLSI）技术实现的“视觉传感器（VisionSensor,VS）”。原理包括：(1)、VS像素只对场景中的“变化事件（ActivityEvent，AE）”敏感并采样输出。按其性质，AE可分为空间变化（某像素与其周边像素的亮度关系发生变化）和时间变化（像素自身的亮度发生变化）两类。对时域变化敏感的视觉传感器中最重要的一类是异步时域视觉传感器（AsynchronousTemporalVisionSensor，ATVS）；（2）ATVS中的各像素自主地检测所感受的光强是否发生变化。如果发生变化，则像素产生的AE通过芯片级的串行总线异步输出，像素间互不关联。AE表示为AE=（x,y,P）,其中（x,y）为该像素在VS像素阵列中的地址，P表示该AE的极性，光强增加为“1”，光强减小为“0”。这种采用地址来表示AE的方法称为地址事件表示（Address-Event-Representation，AER）。对于运动目标来说，AE主要是由目标边界（轮廓）产生的。（3）与生物视觉系统大规模并行的传输方式不同，由于集成电路管脚数量的限制，ATVS中所有像素均使用同一组串行总线输出AE，因此需要使用仲裁器来判决同时发生AE的像素的输出顺序。属于一个移动目标的AE并不是被连续输出的，即相邻输出的AE可能并不属于同一个运动目标。（4）ATVS输出的每一个AE被相机系统的接口控制器赋予一个时间戳T，该时间戳指出事件的具体输出时间，因此AE重新表示为AE=（x,y,P,T）。综上所述，ATVS具有数据量小、实时异步响应的特点，适合于各类动态场景的目标定位、跟踪、测速以及形状分析等应用，对于系统的处理速度与存储量要求也大为降低。虽然ATVS与“帧采样”模式相比具有实时响应以及低数据量等优点，但由于其只输出表示变化的离散视觉事件序列，目前已经开发出的大量各类图像处理算法都是基于“帧图像”的，不能直接用于ATVS信息处理，因此必须先将过去一段时间内的视觉事件进行累积，组合为一幅“集成图像”，进而对此集成图像进行分析处理。ATVS的“集成图像”与“帧图像”的区别是：（1）帧图像中所有像素的采样是同步的，而“集成图像”中各像素的变化是异步的；（2）帧图像的积分时间是固定的，而集成图像的累计时间是可调的；（3）每帧图像中的所有像素点都是重新采样的，而集成图像只包括了一段时间内部分像素的变化，突出了运动目标的信息，但不能替代帧图像。根据ATVS的工作原理，由运动目标引起的正极性事件和负极性事件应当是成对出现的(顺序与光线方向有关)，因此将ATVS事件组合为集成图像的最简单方法是全部事件进行累加。目前“集成图像”生成方法分为基于事件数量的方法和基于时间段的方法：（1）、基于事件数量的方法是从ATVS输出事件序列中出去固定数量的事件来生成集成图像；（2）基于时间段的方法是抽取时间戳在某一时间段的全部事件来产生集成图像。由于ATVS结构以及电路方面存在的缺陷，上述两种集成方法虽然简单，但集成图像的质量并不高，会严重影响到后续处理算法的效能。这些缺点包括：1）ATVS的所有像素共用一组AER总线，同时产生的事件由AER仲裁器后顺序输出，同一运动物体产生的事件在输出时间上并不连续；2）由于电路失配的原因，由同一空间点产生的正极性事件和负极性并不总是成对出现，运动目标容易形成“拖尾”现象；3）ATVS噪声水平（包括随机噪声和固定模式噪声）较高，因此需要进行消噪。由于以上因素的影响，简单的事件累加方法得到的集成图像比较模糊，无法准确提取场景的细节内容。
技术实现思路
本专利技术针对上述现有技术中存在的技术问题，提供了一种异步时域视觉信息成像方法，该方法采用时空双向滤波的思想，将ATVS离散视觉事件转换为时间分辨率可调的“集成图像”。本专利技术为解决这一问题所采取的技术方案是：一种异步时域视觉信息成像方法，该方法使用像素级的缓冲栈数据结构，该方法包括如下步骤：依据时间局部性原理，对像素缓冲栈进行动态刷新，从而达到时间分辨率可调；依据时间和空间局部性原理进行背景噪声确认及消除；依据时间局部性原理，通过正负事件匹配的方法消除拖尾；模拟生物神经的刺激衰减机理，启动基于事件量的遗忘机制，删除过时事件。背景噪声确认及消除的步骤为：通过检测事件的位置孤立性来消除背景噪声，判断新事件周边8邻域像素在过去一段时间内是否发生过事件，如果周边8邻域像素均未有事件发生，则认为是背景噪声。该方法通过统计过去一段时间内一个像素点产生的正负事件的数量差来判断是否存在拖尾。遗忘机制模拟生物神经系统中对于脉冲刺激随时间衰减的过程，像素的累计变化值随时间流逝而逐渐消退。本专利技术具有本文档来自技高网...

【技术保护点】
一种异步时域视觉信息成像方法，该方法使用像素级的缓冲栈数据结构，其特征在于，该方法包括如下步骤：依据时间局部性原理，对像素缓冲栈进行动态刷新，从而达到时间分辨率可调；依据时间和空间局部性原理进行背景噪声确认及消除；依据时间局部性原理，通过正负事件匹配的方法消除拖尾；模拟生物神经的刺激衰减机理，启动基于事件量的遗忘机制，删除过时事件。

【技术特征摘要】
1.一种异步时域视觉信息成像方法，该方法使用像素级的缓冲栈数据结构，其特征在
于，该方法包括如下步骤：
依据时间局部性原理，对像素缓冲栈进行动态刷新，从而达到时间分辨率可调；
依据时间和空间局部性原理进行背景噪声确认及消除；
依据时间局部性原理，通过正负事件匹配的方法消除拖尾；
模拟生物神经的刺激衰减机理，启动基于事件量的遗忘机制，删除过时事件。
2.根据权利要求1所述的异步时域视觉信息成像方法，其特征在于，背景噪声确认及消
除的步骤为：通过...

【专利技术属性】
技术研发人员：胡燕翔，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：天津;12