对两列TAE图像传感器输出进行优化的方法技术

本发明专利技术涉及图像传感器领域，为提出一种对两列TAE图像传感器输出进行优化的方法，使得沿像素列方向的光强变化在后处理中以X事件的形式输出出来，从而得到连续的单像素宽的目标轮廓。这种方法可以用FPGA、DSP等硬件实时实现。为此，本发明专利技术采取的技术方案是，对两列TAE图像传感器输出进行优化的方法，包括如下步骤：一、重新时间标记：即用较大时间隔点的时间标记代替原有的时间标记；二、细化；三、产生X事件：X事件表示的是在目标和传感器相对运动方向的垂直方向上的光强变化。本发明专利技术主要应用于硅基发光电子器件设计制造。

【技术实现步骤摘要】

本专利技术涉及图像传感器领域，尤其涉及一种对两列TAE图像传感器输出进行优化的方法。 技术背景近年来，事件-地址-表达(AER)图像传感器开始出现并得到初步发展。这种图像传感器抛弃了传统成像系统中“帧”的概念，而是基于事件，异步地对光强变化进行感知，采集和输出。 两列时间-地址-事件(TAE)图像传感器，作为一种特殊的列级AER图像传感器，具有结构简单，速度快，冗余小，时间分辨率高等优点。光强变化超过阈值的像素位置会产生事件，并以TAE的方式进行编码，即将事件的发生时间、地址以及事件类型对应保存起来。这里，事件表示光强变化剧烈的点，事件有两种类型：ON事件和OFF事件，分别表示在目标和传感器的相对运动方向上，光强由暗变亮和由亮变暗两种情况。这样，在合适的时间-地址坐标系中，可以得到表示运动目标边沿的二值图像。然而，由于两列TAE图像传感器所采集的事件是基于光强变化的，目标中与像素列方向垂直的边缘由于不能产生光强变化而无法被采集，同时，许多倾斜方向的边缘也会出现断点。而完整连续的目标轮廓对于后续处理以及最终的目标识别是十分重要的。 
技术实现思路
两列TAE图像传感器探测光强变化，在光强变化剧烈的时刻和地址，产生两种事件：ON事件和OFF事件，分别表示在目标和传感器的相对运动方向上，光强由暗变亮和由亮变暗两种情况。时间标记I按照当前时刻对产生的ON事件和OFF事件进行时间标记，从而得到TAE信息。时间标记I具有很高的时间分辨率，即时间间隔很低，可至100ns左右。速度估计模块通过测得的两列像素事件峰值的时间差，以及两列像素的间隔和放大系数，估测到运动目标的速度v。进而根据速度v控制时间标记和细化过程。 传统的两列TAE图像传感系统只有传感器部分(包括两列像素、时间标记I)、速度估计、细化和后续图像处理模块。为了克服现有技术的不足，提出一种对两列TAE图像传感器输出进行优化的方法，使得沿像素列方向的光强变化在后处理中以X事件的形式输出出来，从而得到连续的单像素宽的目标轮廓。这种方法可以用FPGA、DSP等硬件实时实现。为此，本专利技术采取的技术方案是，对两列TAE图像传感器输出进行优化的方法，包括如下步骤： 一、重新时间标记：即用较大时间隔点的时间标记代替原有的时间标记；设放大系数为A，像素间距为dx，图像传感器与拍摄目标的相对速度为v，则重新时间标记的时间间隔即时间分辨率为t＝dx/Av；重新标记过程中，若同一像素在新设置的同一时间间隔内存在多个事件，这些事件会被合并为一个事件作为最后的输出；同时，原始时间标记TAE信息也给予保留； 二、细化：重新时间标记之后若某一像素产生一种事件，即ON事件或者OFF事件，则在 这个事件的产生时间之后的n个时间间隔内，同类型即同为ON或者OFF事件的事件会被屏蔽，以达到细化边界的目的，但是，与之类型不同的事件会给予保留，这里，n为大于等于1的整数，是使用者设定的参数，需根据所拍摄目标的速度选取，速度越小，n越大； 三、产生X事件：ON事件和OFF事件分别表示在目标和传感器的相对运动方向上，光强由暗变亮和由亮变暗的点；而X事件表示的是在目标和传感器相对运动方向的垂直方向上的光强变化；通过对原始图像的分析，确定X事件的产生起点和产生终点，从而确定X事件的位置。 通过对原始图像的分析，确定X事件的产生起点和产生终点，具体为：设目标点为P0，对目标点及其周边5×5范围内的邻域点命名，从目标点的左上角开始按照由内至外、顺时针顺序由小到大命名为P1----P24；对存在事件即ON、OFF或者X事件的每一个像素点P0进行以下操作： 1遍历像素点P0的八邻域内的所有点，若其中存在且只存在一个事件，并且该事件所在的像素位置不是P4，则设该像素为Pe，e为1—24的整数，且e≠4，继续进行第2步；否则判定结束，目标点P0不是X事件的产生起点； 2遍历点Pe的八邻域内的所有点，统计存在事件的个数，若总数为2，则判定P0点为X事件的产生起点，则P0点对应的地址被记录下来，在之后的时间段中，相应的X事件会一直产生，这个产生过程一直持续到满足终止条件为止；若不满足任何一个条件，则判定结束，目标点P0不是X事件的产生起点； 3当某点被确定为X事件的产生起点，其地址会被记录下来，在之后的时间段内，每个时刻都需判断该地址对应的点是否满足终止条件；如果满足，则在下一时刻，此地址不再产生X事件，否则，X事件继续产生。 具体的终止条件是，若目标像素点的上、下、右、右上、右下五个位置的邻域点即P2-P6中存在至少一个事件，则终止条件满足；不过，也有四种特殊情况，在这些情况下，X事件的产生会继续进行；前两种情况只关心P0-P8、P22-P24共12个点，5×5范围内其他点无需考虑和判断，具体分别为：目标点上方点P2和左侧点P8为1，其他点为0；目标点下方点P6和左侧点P8为1，其他点为0；后两种情况只关心P0-P8和P15共9个点，5×5范围内其他点无需考虑和判断；具体分别为：P3和P15点为1，其他点为0；P5和P15点为1，其他点为0；在判断终止条件是否满足的过程中，需要判断是否是这四种情况的一种，如果不是，终止条件才达成，否则，终止条件不满足，则X事件会继续产生，P0-P24是指：中心像素点为P0，P0左上角为像素点P1，按顺时针围绕P0依次排列P2-P8像素点；像素点P1左上角为像素点P9，按顺时针在P1-P8像素点外侧围绕P0依次排列P9-P24像素点。 对两列TAE图像传感器输出进行优化的装置，包括：感光像素、时间标记结构、细化模块、速度估计模块和输出模块，此外还包括两片先进先出FIFO、m×n寄存器阵列、二次时间标记模块，二次时间标记模块根据速度估计模块的输出给出二次时间标记，经过第二次时间标记的图像信息以串行方式传输至FIFOA中暂存，即FIFOA中保存着实时得到的地址事件信息；FIFOA以列为单位对m×n寄存器阵列中保存的信息进行更新，m×n寄存器阵列存放着最新m列像素的图像信息，而FIFO A保存着最新m-2列像素中的地址事件信息；匹配单元根 据FIFO A中输出的事件信息从寄存器中读取待处理事件周围m×m范围内的像素信息，之后进行多次模板匹配产生相应的X事件，X事件保存在FIFO B中，控制模块受匹配单元控制，决定着FIFO A和FIFO B的读写操作，最终FIFO A和FIFO B共同写入输出模块，以TAE的方式输出。 二次时间标记模块与时间标记结构相同，主要由计时器、TAE编码器以及辅助电路构成。其中计时器的计时精度低于时间标记结构，并且能够在一定范围内调节。 与已有技术相比，本专利技术的技术特点与效果： 通过对两列TAE图像传感器输出图像进行自动修补，得到连续的、单像素宽的目标边界信息。 附图说明图1整体设计图； 图2目标点的5×5邻域； 图3终止条件； 图4终止条件中的特例情形； 图5：X-事件生成模块结构； 图6：(a)拍摄目标； (b)原始TAE图像 本文档来自技高网...

【技术保护点】
一种对两列TAE图像传感器输出进行优化的方法，其特征是，包括如下步骤：一、重新时间标记：即用较大时间隔点的时间标记代替原有的时间标记；设放大系数为A，像素间距为dx，图像传感器与拍摄目标的相对速度为v，则重新时间标记的时间间隔即时间分辨率为t＝dx/Av；重新标记过程中，若同一像素在新设置的同一时间间隔内存在多个事件，这些事件会被合并为一个事件作为最后的输出；同时，原始时间标记TAE信息也给予保留；二、细化：重新时间标记之后若某一像素产生一种事件，即ON事件或者OFF事件，则在这个事件的产生时间之后的n个时间间隔内，同类型即同为ON或者OFF事件的事件会被屏蔽，以达到细化边界的目的，但是，与之类型不同的事件会给予保留，这里，n为大于等于1的整数，是使用者设定的参数，需根据所拍摄目标的速度选取，速度越小，n越大；三、产生X事件：ON事件和OFF事件分别表示在目标和传感器的相对运动方向上，光强由暗变亮和由亮变暗的点；而X事件表示的是在目标和传感器相对运动方向的垂直方向上的光强变化；通过对原始图像的分析，确定X事件的产生起点和产生终点，从而确定X事件的位置。

【技术特征摘要】
1.一种对两列TAE图像传感器输出进行优化的方法，其特征是，包括如下步骤：
一、重新时间标记：即用较大时间隔点的时间标记代替原有的时间标记；设放大系数
为A，像素间距为dx，图像传感器与拍摄目标的相对速度为v，则重新时间标记的时间间
隔即时间分辨率为t＝dx/Av；重新标记过程中，若同一像素在新设置的同一时间间隔内存
在多个事件，这些事件会被合并为一个事件作为最后的输出；同时，原始时间标记TAE信
息也给予保留；
二、细化：重新时间标记之后若某一像素产生一种事件，即ON事件或者OFF事件，
则在这个事件的产生时间之后的n个时间间隔内，同类型即同为ON或者OFF事件的事件
会被屏蔽，以达到细化边界的目的，但是，与之类型不同的事件会给予保留，这里，n为
大于等于1的整数，是使用者设定的参数，需根据所拍摄目标的速度选取，速度越小，n
越大；
三、产生X事件：ON事件和OFF事件分别表示在目标和传感器的相对运动方向上，光强由
暗变亮和由亮变暗的点；而X事件表示的是在目标和传感器相对运动方向的垂直方向上的
光强变化；通过对原始图像的分析，确定X事件的产生起点和产生终点，从而确定X事件
的位置。
2.如权利要求1所述的对两列TAE图像传感器输出进行优化的方法，其特征是，通过对原始
图像的分析，确定X事件的产生起点和产生终点，具体为：设目标点为P0，对目标点及
其周边5×5范围内的邻域点命名，从目标点的左上角开始按照由内至外、顺时针顺序由
小到大命名为P1----P24；对存在事件即ON、OFF或者X事件的每一个像素点P0进行以
下操作：
1)遍历像素点P0的八邻域内的所有点，若其中存在且只存在一个事件，并且该事件
所在的像素位置不是P4，则设该像素为Pe，e为1—24的整数，且e≠4，继续进行第2
步；否则判定结束，目标点P0不是X事件的产生起点；
2)遍历点Pe的八邻域内的所有点，统计存在事件的个数，若总数为2，则判定P0
点为X事件的产生起点，则P0点对应的地址被记录下来，在之后的时间段中，相应的X
事件会一直产生，这个产生过程一直持续到满足终止条件为止；若不满足任何一个条件，
则判定结束，目标点P0不是X事件的产生起点；
3)当某点被确定为X事件的产生起点，其地址会被记录下来，在之后的时间段内，
每个时刻都需判断该地址对应的点是否满足终止条件；如果满足，则在下一时刻，此地址
不再产生X事件，...

【专利技术属性】
技术研发人员：徐江涛，张梦醒，史再峰，姚素英，高志远，聂凯明，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12