一种基于光流分析的TVS事件分簇方法技术

本发明专利技术公开了一种基于光流分析的TVS事件分簇方法，该方法通过计算TVS事件的光流来对其进行分簇，继而根据簇的信息提取运动目标的准确位置与形状信息；其特征在于：该方法首先采用逐事件的光流分析方法获取各点的光流速度，进而依据速度、位置、输出时间的相似性进行事件分簇，再根据簇速度进行来对簇中已有事件进行动态更新。本发明专利技术根据事件的产生时间、空间位置及光流速度进行分簇，具有如下优点：空间运动目标在二维成像平面上具有相同的投影速度，这一特性与空间‑时间相似性结合，可以有效解决目标重叠遮挡等问题，使得分簇算法具有更高的准确性；根据簇速度能够有效地对簇中已有事件进行更新。

【技术实现步骤摘要】

本专利技术涉及计算机视觉、图像处理以及图像传感器设计等多个
，具体涉及一种基于光流分析的TVS事件分簇方法。
技术介绍
半导体硅基图像传感器（CCD及CMOS）已成为最主要的可见光成像设备，与最初的碘化银胶片一样，都是采用“帧采样”方式完成光强测量：所有像素同步复位后开始收集光电荷，在达到设定曝光时间后读出每个像素所收集的光电荷，并将其转换为电压；该电压经模数转换后变为数字量，输出后存储。所有像素亮度值组成的二维矩阵即为所拍图像。通常的视频拍摄速度为30帧/秒，即电荷收集时间为33ms，最终每个像素的输出值是33ms的感光量总和，而与此过程中的具体变化无关。“整帧采样”图像采集方式的主要优点一是能够获取场景中每一像素点的光强值（灰度、颜色），二是像素只实现被动的光电荷收集，电路结构相对简单，尺寸很小，因此空间分辨率很高。然而这种采样方式同样存在着突出的缺点：一是静止背景重复采样，数据冗余度高，给实时图像处理和传输存储带来很大压力；二是时间分辨率低，像素无法分辨电荷收集时间内光强内的任何变化，而只测量此期间内的光电荷累积总和，故不利于高速运动目标的跟踪与识别。而如果使用高帧频帧采样相机，则带来的海量视觉信号无法做到实时处理。近年来出现了一种模仿生物视觉感知与处理原理、采样超大规模集成电路技术实现的新型光电感知器件--视觉传感器（Vision Sensor, VS）。原理包括：(1)、模仿生物视觉的成像机理，VS像素只对场景中的光强变化（称之为Active Event，AE）敏感并采样输出。 按照变化性质可分为空间变化（与其周边像素比较）和时间变化（自身亮度变化）两类。其中对时间变化敏感的VS称为时域视觉传感器（Temporal Vision Sensor，TVS）；(2)、TVS各像素独立检测所感受的光强变化--每个像素周期测量单位时间内的光生电流变化量。当单位时间内光生电流变化量超过设定的阈值时发出一个。像素产生的通过串行总线异步输出，像素间互不关联；(3)、输出采用“地址事件表示（Address-Event-Representation，AER）”的方法，即=,其中为像素在像素阵列中的行列地址，表示变化的属性（例如光强增加为“1”，减小为“0”）；与TVS接口的后端系统赋予每个一个时间戳指出的输出时间，即 。TVS所采用的“变化采样”方式的优点包括：（1）数据量小，极低数据冗余，数据量通常为“整帧采样”方式的5~10%；（2）时间分辨率高，亮度变化可以被实时感知并输出，微秒级的时间精度相当于几千~几万帧的拍摄速度；（3）宽动态范围，由于只是检测亮度变化而非其累计值，因此量程宽，通常动态范围大于100DB。附图1给出了“整帧采样”图像传感器与时域视觉传感器的拍摄效果比较。由于工作模式完全不同，因此TVS的信息处理方法与当前基于“帧采样”的图像处理技术具有很大差别，现有的各类经典处理技术无法直接用于TVS，需要开发专用算法。与目前“整帧采样”的照相方式不同，TVS依据生物视觉的变化采样、异步传输原理，各像素只对场景中的光强变化敏感，并且自主异步地以AER方式输出这些信息。由于TVS所具有的高时间分辨率、低数据冗余等特点，使其非常适合应用于高速运动目标的捕获与分析。但是由于其与“整帧采样”图像完全不同的特点，因此现有的各类图像处理、分析和理解算法无法（直接）应用于TVS视觉信息。在机器视觉应用中，图像（目标）分割是主要的基础步骤，它的任务是将目标从图像背景中捡取出来，对其形状、边界等信息进行分析，从而进行识别分析等。在“整帧采样”图像中，通常通过边缘检测、基于阈值的二值化等技术来完成图像分割和目标区域提取。图3给出了图像（目标）分割的示意性说明。但是由于TVS的输出不包括场景的亮度信息，而只是目标运动时由目标边界引起的事件，无法使用上述针对“帧图像”的目标提取算法。已有的分簇方法等都是依据事件的空间--时间特性来进行分簇，即位置相近、时间相近的事件属于一个簇的可能性更高。单纯依赖时空相似性的分簇方法存在的不足：（1）属于同一个目标的事件在输出时间上可能存在较大的离散性，原因是TVS采用串行AER输出，同时产生的多个事件需要通过仲裁，空间相邻两点同时产生的事件的输出时间变化差较大；（2）当场景中存在多个运动目标时，会出现重叠遮挡的问题，具有时空相似性的事件有可能不属于同一目标。（3）异形目标。上述方法都依据与簇中心的几何距离来判断事件的分簇，因此只适合于具有对称规则形状的目标。
技术实现思路
本专利技术针对上述现有技术中存在的技术问题，提供了一种基于光流分析的TVS（Temporal Vision Sensor，时域视觉传感器）事件分簇方法。本专利技术为解决这一问题所采取的技术方案是：一种基于光流分析的TVS事件分簇方法，该方法通过计算TVS事件的光流来对其进行分簇，继而根据簇的信息提取运动目标的准确位置与形状信息；其特征在于：该方法首先采用逐事件的光流分析方法获取各点的光流速度，进而依据速度、位置、输出时间的相似性进行事件分簇，再根据簇速度进行来对簇中已有事件进行动态更新。逐事件的光流分析方法采用微分光流计算方法，包括空间梯度计算、时间梯度计算和基于TVS的光流计算。事件分簇的具体方法为：所有TVS事件组成事件列表，每个事件包括产生位置、产生时间和属性；使用簇列表记录当前所有簇的属性；分簇算法依据事件的时间、位置和速度进行分簇，簇的属性如下：簇中心 簇中所有事件位置的几何平均值：簇速度簇中事件具有相近移动速度，取所有事件的速度平均值作为簇速度：簇事件的生命周期簇中的事件随目标运动是一个不断更新的过程，随着新事件的加入旧事件被丢弃；为设定参数；簇事件链表：按加入时间排序的事件链表；更新时间：将簇中最新事件的时间戳作为簇的当前时间；步骤1：读入一个事件；根据其地址计算该点及其周围小区域内各点的空间梯度和时间梯度，按照局部平滑假定使用区域内的最小均方误差法求解其光流，并将计算得到的速度向量计入该事件；步骤2：自事件列表顺序读出一个事件按照步骤5进行背景噪声消除；若为非噪声事件，使用步骤1计算速度并加入事件列表；否则返回步骤1；根据其速度、位置及时间戳按照步骤3进行分簇；按照步骤4对所有簇进行更新；返回步骤1；步骤3：若簇列表为空，建立新簇，将此事件加入新簇；否则按照事件位置与簇中心的距离，由近及远搜索簇列表，若满足以下全部条件则将事件加入簇：(1)速度：使用向量内积比较速度一致性：为事件速度，为簇速度，为速度一致性；(2) 距离：事件周围 邻域内有属于簇的事件； (3) 时间：事件时间戳与簇更新时间之差小于阈值成反比；若以上条件均不满足，建立新簇并将此事件加入；步骤4：当前事件加入簇事件链表；更新簇中心点；更新簇速度；更新簇时间；删除过时事件，即如果簇当前时间-事件时间>簇事件生命周期，删除该事件；步骤5：读入一个事件，事件总个数加1；若事件总个数小于消噪起始个数，结束；否则转步骤3；检查此事件的8个邻域位置、在过去 时间内是否发生过事件；若无，判断为噪声事件，并在事件列表中进行标注；若有，判断为非噪声事件；结束。本专利技术具有的优点和积极效果是：本专利技术中，一个“事件簇”代表由同一个运动目标所产生的事本文档来自技高网...

【技术保护点】
一种基于光流分析的事件分簇方法，该方法通过计算事件的光流来对其进行分簇，继而根据簇的信息提取运动目标的准确位置与形状信息；其特征在于：该方法首先采用逐事件的光流分析方法获取各点的光流速度，进而依据速度、位置、输出时间的相似性进行事件分簇，再根据簇速度进行来对簇中已有事件进行动态更新。

【技术特征摘要】
1.一种基于光流分析的事件分簇方法，该方法通过计算事件的光流来对其进行分簇，继而根据簇的信息提取运动目标的准确位置与形状信息；其特征在于：该方法首先采用逐事件的光流分析方法获取各点的光流速度，进而依据速度、位置、输出时间的相似性进行事件分簇，再根据簇速度进行来对簇中已有事件进行动态更新。2.根据权利要求1所述的基于光流分析的事件分簇方法，其特征在于：逐事件的光流分析方法采用微分光流计算方法，包括空间梯度计算、时间梯度计算和基于事件的光流计算；具体方法为：所有事件组成按产生时间排序的列表，每个事件包括产生位置、产生时间和属性；使用簇列表记录当前所有簇的属性；簇的属性如下：簇中心簇中所有事件位置的几何平均值：簇速度簇中事件具有相近移动速度，取所有事件的速度平均值作为簇速度：簇事件的生命周期簇中的事件随目标运动是一个不断更新的过程，随着新事件的加入旧事件被丢弃；为设定参数；簇事件链表：按加入时间排序的事件链表；簇更新时间：将簇中最新事件的时间戳作为簇的当前时间；算法步骤1：读入一个事件；根据其地址计算该点及其周围小区域内各点的空间梯度和时间梯度，按照局部平滑假定使用区域内的最小均...

【专利技术属性】
技术研发人员：胡燕翔，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：天津;12