一种应用于异步时域视觉传感器的Harris角点检测方法技术

本发明专利技术公开了一种基于新型光电成像器件—异步时域视觉传感器的角点检测方法，并给出具体实现步骤。这种新型成像器件只对拍摄场景中的光强变化敏感，因此其输出的视觉信息具有实时、极低冗余和小数据量的特点，运算量和存储需求较传统的“帧采样成像”大为降低，因此更加适合高速视觉应用。本发明专利技术的核心思路是首先使用视觉传感器输出的“异步事件流”构造一个持续变化的“速度表面”，进而使用Harris角点检测原理，在速度表面上实现事件驱动的角点检测。

A Harris Corner Detection Method for Asynchronous Time-Domain Vision Sensors

The invention discloses a corner detection method based on a novel photoelectric imaging device - asynchronous time-domain vision sensor, and gives the concrete implementation steps. This new type of imaging device is only sensitive to the change of light intensity in the shooting scene, so its output visual information has the characteristics of real-time, very low redundancy and small amount of data. Compared with the traditional \frame sampling imaging\, the computational and storage requirements are greatly reduced, so it is more suitable for high-speed visual applications. The core idea of the present invention is to construct a continuously changing \speed surface\ by using the \asynchronous event flow\ output from the visual sensor, and then realize event-driven corner detection on the speed surface using Harris corner detection principle.

【技术实现步骤摘要】
一种应用于异步时域视觉传感器的Harris角点检测方法
本专利技术属于机器视觉
，尤其是涉及一种应用于异步时域视觉传感器的Harris角点检测方法。
技术介绍
在人类的所有信息来源中，图像信息占到80％以上。目前硅基半导体图像传感器(包括CCD以及CMOS图像传感器)已经完全取代碘化银胶片，成为最主要的光电成像器件。以其产生的数字图像为基础，计算机视觉、机器视觉获得了越来越广泛的使用，业已成为人工智能的一支重要组成部分。根据成像原理，当前使用的图像都是基于“帧采样”方式产生的：1、所有像素同时复位后开始感光(收集光电荷)，在达到设定曝光时间后停止感光；2、依次读出每个像素所收集的光电荷，并将其转换为电压；3、该电压经模数转换后变为数字量，输出后存储。该数字量即为该点的亮度值。所有像素亮度值组成的二维矩阵即为所拍摄图像。在使用上述“帧采样”图像传感器(相机)的机器视觉系统中，计算机依次处理相机拍摄的图像序列(通常为30帧/秒)，采用各种图像处理算法提取图像中的特征、目标并进行各种识别、分析和理解。当上述“帧采样”方式应用于高速视觉处理时存在以下显著的缺点：(1)、数据冗余。相邻两帧间存在大量冗余信息，与上一帧完全相同的背景区域被重复采样读出。这些冗余信息同时对系统的处理和存储造成巨大压力；(2)、高延迟。场景中发生的变化必须按照逐帧的方式进行采样和输出。这种“变化—感知”间的高延迟对于高速运动目标的识别和跟踪显然是不利的。而如果采用高速相机进行拍摄，则由(1)带来的处理与存储压力会更加巨大。在生物视觉系统中不存在“帧”的概念，视觉感光细胞只对变化敏感，并将这种变化以神经脉冲的方式传递到大脑视皮层进行处理。近年来，神经工程学研究者根据生物视觉“变化采样”的原理，提出采用超大规模集成电路(VLSI)技术实现仿生视觉传感器。其工作原理包括：(1)、只对场景中的“变化事件(ActivityEvent，AE)”敏感并采样输出。按其性质，AE可分为空间变化(像素与其周边像素的亮度关系发生变化)和时间变化(像素亮度发生变化)两类。目前仿生视觉传感器中最重要的一个分类是异步时域视觉传感器(AsynchronousTemporalVisionSensor，ATVS)；(2)ATVS像素自主检测所受光照的变化：如果没有变化(小于设定阈值)，则保持无输出；否则像素产生的AE通过芯片级的串行总线异步输出，像素间互不关联。AE表示为AE＝(x,y,P),其中(x,y)为该像素在VS像素阵列中的地址，P表示该AE的极性，例如光强增加为“1”，光强减小为“0”。这种采用地址来表示AE的方法称为地址事件表示(Address-Event-Representation，AER)。对于运动目标来说，AE主要是由目标边界(轮廓)产生的。(3)由于ATVS中所有像素均使用同一组串行总线输出AE，因此需要使用仲裁器来判决同时发生AE的输出顺序，这意味着属于一个移动目标的AE并不是被连续输出的，即两个相邻输出的AE可能并不属于同一个运动目标。(4)ATVS输出的每一个AE被外部接口控制器赋予一个时间戳T，该时间戳指出事件输出的具体时间，因此AE完整表示为AE＝(x,y,P,T)。综上所述，ATVS由于只对场景中的变化敏感，因此具有数据量小、实时响应的特点，非常适合于各类机器视觉中的目标定位、跟踪、测速以及形状分析等应用，同时在相同分辨率的情况下，对于系统的处理速度与存储量要求也大为降低。传统的使用Harris原理进行事件域角点检测的方法是在时间表面(事件到达时间形成的空间曲面)上计算各个到达事件的时间梯度，进而计算角点，这种方法存在的问题是当存在物体互相遮挡时，不能区分边界交叉造成的虚假角点，不利于准确的目标跟踪。
技术实现思路
有鉴于此，本专利技术旨在提出一种应用于异步时域视觉传感器的Harris角点检测方法，使得输出的视觉信息具有实时、极低冗余和小数据量的特点，处理时间和资源需求较传统的“整帧成像”大为降低，更加适合高速视觉应用。为达到上述目的，本专利技术的技术方案是这样实现的：一种应用于异步时域视觉传感器的Harris角点检测方法，具体包括如下步骤：(1)构建时间表面TS、速度表面VS数据结构；(2)读入指定数量的事件用于初始化TS和VS；(3)计算该事件点处的光流并将该值和时间t记录在VS的相应位置；(4)更新VS其他位置处的光流值；(5)使用VS进行角点检测；(6)还有后续事件则返回步骤(2)继续，否则结束。进一步的，所述步骤(1)中，设ATVS的像素阵列大小为M*N，事件AE(x,y,P,t)表示地址为(x,y)的像素产生了P属性变化(P＝1或0，光强增加或减少)，该变化在t时刻被输出；其中，时间表面TS：与ATVS像素阵列同样大小的二维数组，记录每个像素最近一次发生指定类型事件(增加或减小)的时间，当一个像素新发生事件的时间与其上次发生事件时间之差小于不应期阈值Tref时，丢弃此新事件；速度表面VS：与ATVS像素阵列同样大小的二维数组，记录每个像素最近一次计算得到的光流值，光流值包括大小和方向角θ。进一步的，所述步骤(2)具体包括如下步骤，(21)TS及VS数组的所有位置均置0；(22)如果已读入事件数小于指定值(参考值M*N*10)，读入下一个AE；否则转步骤(24)；(23)如果已读入事件的输出时间与其上次产生同类型属性事件的时间差小于不应期阈值Tref(参考值100us)，丢弃该事件，返回步骤(22)；否则将其输出时间以100us为单位记录在TS的相应位置，返回步骤(22)；(24)使用TS计算VS上每个非边缘点的光流值，并记入VS。进一步的，所述步骤(3)中具体包括如下步骤：在t时刻，使用TS按以下步骤计算位置点(x,y)的光流值：(31)在TS上以(x,y)为中心，查找其8邻域内与t相差小于1ms的点集：(32)如果PS中点的数目小于3，结束；否则转(33)；(33)使用最小二乘法或特征值分解方法求解PS的空间拟合平面：L:ax+by+ct+d＝0,s.t.min(distance(PS,L))(2)使得PS中所有点到平面L的距离之和最小；(34)平面L的法线方程为：该法向量在(X-Y)平面上的投影：即为点(x,y)点的光流，其方向角为：θ＝actan(b/a)(5)。进一步的，所述步骤(4)中，当点(x,y)处的光流值被更新后，其他位置的光流值大小按照下式进行更新，方向角θ不变：VS(m,n)＝VS(m,n)*e-k(t-t0),s.t.m≠x&n≠y(6)k为衰减速度参数，当t/t0的单位为0.1ms时，参考值10～20。进一步的，所述步骤(5)中，当收到事件AE(x,y,P,t)并依次更新TS和VS后，对于VS上以(x,y)为中心的3*3小窗口w＝VS[x-1:x+1,y-1:y+1]：(51)速度方向角一致性检查：设(x,y)点的光流为(V,θ)，V为光流大小，θ为速度方向角，检查(x,y)周围8邻域点的速度方向角是否与其一致：Tθ速度方向角的一致性阈值，参考值20°。(52)进行高斯平滑卷积：上式的作用是平滑w内各点的速度值，降低噪声或缺失点的干扰。(53)计算w内每个点的水平梯度wx和垂直梯度wy:本文档来自技高网...

【技术保护点】
1.一种应用于异步时域视觉传感器的Harris角点检测方法，其特征在于：具体包括如下步骤：(1)构建时间表面TS、速度表面VS数据结构；(2)读入指定数量的事件用于初始化TS和VS；(3)计算该事件点处的光流并将该值和时间t记录在VS的相应位置；(4)更新VS其他位置处的光流值；(5)使用VS进行角点检测；(6)还有后续事件则返回步骤(2)继续，否则结束。

【技术特征摘要】
1.一种应用于异步时域视觉传感器的Harris角点检测方法，其特征在于：具体包括如下步骤：(1)构建时间表面TS、速度表面VS数据结构；(2)读入指定数量的事件用于初始化TS和VS；(3)计算该事件点处的光流并将该值和时间t记录在VS的相应位置；(4)更新VS其他位置处的光流值；(5)使用VS进行角点检测；(6)还有后续事件则返回步骤(2)继续，否则结束。2.根据权利要求1所述的一种应用于异步时域视觉传感器的Harris角点检测方法，其特征在于：所述步骤(1)中，设ATVS的像素阵列大小为M*N，事件AE(x,y,P,t)表示地址为(x,y)的像素产生了P属性变化(P＝1或0，光强增加或减少)，该变化在t时刻被输出；其中，时间表面TS：与ATVS像素阵列同样大小的二维数组，记录每个像素最近一次发生指定类型事件(增加或减小)的时间，当一个像素新发生事件的时间与其上次发生事件时间之差小于不应期阈值Tref时，丢弃此新事件；速度表面VS：与ATVS像素阵列同样大小的二维数组，记录每个像素最近一次计算得到的光流值，光流值包括大小和方向角θ。3.根据权利要求2所述的一种应用于异步时域视觉传感器的Harris角点检测方法，其特征在于：所述步骤(2)具体包括如下步骤，(21)TS及VS数组的所有位置均置0；(22)如果已读入事件数小于指定值(参考值M*N*10)，读入下一个AE；否则转步骤(24)；(23)如果已读入事件的输出时间与其上次产生同类型属性事件的时间差小于不应期阈值Tref(参考值100us)，丢弃该事件，返回步骤(22)；否则将其输出时间以100us为单位记录在TS的相应位置，返回步骤(22)；(24)使用TS计算VS上每个非边缘点的光流值，并记入VS。4.根据权利要求3所述的一种应用于异步时域视觉传感器的Harris角点检测方法，其特征在于：所述步骤(3)中具体包括如下步骤：在t时刻，使用TS按以下步骤计算位置点(x,y)的光流值：(31)在TS上以(x,y)为中心，查找其8邻域内与t相差小于1ms的点集：(...

【专利技术属性】
技术研发人员：胡燕翔，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：天津,12