一种基于帧差型传感器的片上实时光流检测系统技术方案

本发明专利技术公开了一种基于帧差型传感器的片上实时光流检测系统，包括帧计数器、缓冲区阵列、存储器阵列以及片上处理器，帧计数器，用于产生事件的时间标签；缓冲区阵列，用于暂存传感器阵列的事件输出；存储器阵列，用于暂存传感器阵列中对应像素位置的事件数据、标志位数据以及该事件的时间标签；片上处理器，用于完成检测系统的计算与控制；本发明专利技术的优点在于：实时准确地进行光流方向的估计，精度高。精度高。精度高。

【技术实现步骤摘要】
一种基于帧差型传感器的片上实时光流检测系统


[0001]本专利技术涉及光流检测与分析领域，更具体涉及一种基于帧差型传感器的片上实时光流检测系统。

技术介绍

[0002]近年来，随着像无人机导航、自主式机器人以及辅助驾驶系统这类嵌入式系统的不断普及，应用在其中的光流检测系统也逐渐朝着小型化、集成化和低功耗的方向发展。现阶段绝大多数的片上光流检测系统采用前端传感器+存储器+处理器的架构，前端传感器使用有源像素图像传感器，随着图像传感器的分辨率和帧频的提高，传感器输出的数据量也会同比增长，与此同时，处理器采用的光流算法多为Lucas and Kanade(L&K)或Horn and Schunck(H&S)算法，例如中国专利公开号CN102999759A，公开的基于光流的车辆运动状态估计方法，采用的是L&K算法，而中国专利公开号CN103871076A，公开的基于超像素分割和光流法的运动目标提取方法，采用的是H&S算法，二种算法都是基于梯度的算法，计算复杂度较高。巨量的数据与高计算复杂度使得整个系统需要具备高计算能力的处理器和大量的硬件资源，同时也增大了功耗。相比于传统的有源像素图像传感器对光强的绝对量进行量化，文献《Chen S,Tang W,Zhang X,et al.A 64
×
64 Pixels UWB Wireless Temporal
‑
Difference Digital Image Sensor[J].IEEE Transactions on Very Large Scale Integration(VLSI)Systems,2012,20(12):2232
‑
2240.》公开的帧差型传感器仅对相邻两帧光强的变化方向进行量化，从传感器源头减少输出的数据量与功耗，因此采用帧差型传感器作为光流检测系统的前端，可以有效节省系统的资源，实现光流检测系统的小型化、集成化与低功耗。
[0003]但目前基于帧差型传感器的片上光流检测方法，例如文献《Park S,Lee K,Song H,et al.Low
‑
Power,Bio
‑
Inspired Time
‑
Stamp
‑
Based 2
‑
D Optic Flow Sensor for Artificial Compound Eyes of Micro Air Vehicles[J].IEEE Sensors Journal,2019,19(24):12059
‑
12068.》记载的方法，存在着“孔径问题”，所谓的孔径问题是指在进行局部光流估计时，只能确定地检测出光流的局部法向分量，但是实际的光流方向并不一定是法向分量，这就导致了对光流方向估计不准的现象，降低了精度。该问题限制了基于帧差型传感器的片上光流检测的发展与应用。

技术实现思路

[0004]本专利技术所要解决的技术问题在于现有技术基于帧差型传感器的片上光流检测方法存在光流方向估计不准的现象，降低了精度的问题。
[0005]本专利技术通过以下技术手段实现解决上述技术问题的：一种基于帧差型传感器的片上实时光流检测系统，包括帧计数器、缓冲区阵列、存储器阵列以及片上处理器，
[0006]所述帧计数器，用于产生事件的时间标签；
[0007]所述缓冲区阵列，用于暂存传感器阵列的事件输出；
[0008]所述存储器阵列，用于暂存传感器阵列中对应像素位置的事件数据、标志位数据以及该事件的时间标签；
[0009]所述片上处理器，用于完成检测系统的计算与控制；
[0010]传感器阵列的第N行像素的事件数据被并行传输至缓冲区阵列的一行，然后该行与存储器阵列中对应像素第N行的位置对准后，片上处理器按照顺序处理邻域像素的时间标签并根据时间标签的时域相关性逐个地计算光流信息，与此同时，缓冲区阵列的另一行储存着像素阵列第N
‑
1行的事件数据，该行与存储器阵列中对应像素阵列的第N
‑
1行位置对齐后，存储器阵列逐个位置进行更新，在第N行计算完成的同时，第N
‑
1行的更新也随后完成，然后对第N+1行进行计算，对第N行进行更新，直至完成整个阵列的实时计算与更新。
[0011]本专利技术使用一个帧计数器为像素所触发的事件标记时间标签，按照一定的顺序处理邻域像素的时间标签，同时利用相邻位置处像素的时间标签的时域相关性来计算光流的大小，获得相对准确的光流方向的估计，有效地抑制了孔径问题，配合存储器阵列的更新，能够实时计算光流的大小，从而实时准确地进行光流方向的估计，精度高。
[0012]进一步地，所述标志位为1则表示事件数据未被使用，标志位为0则表示事件数据已被使用。
[0013]更进一步地，所述传感器阵列的事件输出包括ON事件、OFF事件及无事件，ON事件代表该像素位置处的光强由暗变亮，OFF事件代表该像素位置处的光强由亮变暗，无事件代表该像素位置处的光强不变。
[0014]更进一步地，所述计算光流信息的过程为：
[0015]1)如果缓冲区阵列对应像素(m,n)位置处的事件是无事件，则直接将存储器阵列中对应(m,n)位置处的光流输出置零；
[0016]2)如果缓冲区阵列对应像素(m,n)位置处的事件为ON事件，则顺序检测存储器阵列中与像素(m,n)位置相邻的所有储存单元中的未使用过的ON事件，根据标志位数据来判断是否被使用，当在存储器阵列的某个位置处首次检测到未使用的ON事件后，计算出该位置的光流幅值大小；
[0017]3)如果缓冲区阵列对应像素(m,n)位置处的事件为OFF，则顺序检测存储器阵列中与像素(m,n)位置相邻的所有储存单元中的未使用过的OFF事件，计算出该位置的光流幅值大小，每次计算过后，将计算所用到的储存单元中的标志位数据置0。
[0018]更进一步地，所述光流幅值大小的计算方法为：
[0019]通过公式获取光流的幅值大小；
[0020]其中，i与j分别表示第i行第j列位置处的储存单元，(i,j)对应在存储器阵列中首次检测到未使用的ON事件的位置，stp(i,j)表示(i,j)所在单元的时间标签，stp_counter表示当前帧计数器中的时间标签，MAX为帧计数器计数范围的上限值。
[0021]进一步地，所述存储器阵列进行数据更新的过程为：
[0022]存储器阵列中对应像素(a,b)位置处的更新开始后，首先根据该位置对应的储存
单元中的标志位来判断数据是否被使用过，若被使用过则执行覆盖操作结束更新，若(a,b)位置处的数据未被使用过，则进行储存时间是否超时的判断，若超时，执行覆盖操作完成更新；若未超时，保留(a,b)位置处的数据并结束更新。
[0023]更进一步地，所述执行覆盖操作的方法为：
[0024]将缓冲区阵列对应像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于帧差型传感器的片上实时光流检测系统，其特征在于，包括帧计数器、缓冲区阵列、存储器阵列以及片上处理器，所述帧计数器，用于产生事件的时间标签；所述缓冲区阵列，用于暂存传感器阵列的事件输出；所述存储器阵列，用于暂存传感器阵列中对应像素位置的事件数据、标志位数据以及该事件的时间标签；所述片上处理器，用于完成检测系统的计算与控制；传感器阵列的第N行像素的事件数据被并行传输至缓冲区阵列的一行，然后该行与存储器阵列中对应像素第N行的位置对准后，片上处理器按照顺序处理邻域像素的时间标签并根据时间标签的时域相关性逐个地计算光流信息，与此同时，缓冲区的另一行储存着像素阵列第N
‑
1行的事件数据，该行与存储器阵列中对应像素阵列的第N
‑
1行位置对齐后，存储器阵列逐个位置进行更新，在第N行计算完成的同时，第N
‑
1行的更新也随后完成，然后对第N+1行进行计算，对第N行进行更新，直至完成整个阵列的实时计算与更新。2.根据权利要求1所述的一种基于帧差型传感器的片上实时光流检测系统，其特征在于，所述标志位为1则表示事件数据未被使用，标志位为0则表示事件数据已被使用。3.根据权利要求2所述的一种基于帧差型传感器的片上实时光流检测系统，其特征在于，所述传感器阵列的事件输出包括ON事件、OFF事件及无事件，ON事件代表该像素位置处的光强由暗变亮，OFF事件代表该像素位置处的光强由亮变暗，无事件代表该像素位置处的光强不变。4.根据权利要求3所述的一种基于帧差型传感器的片上实时光流检测系统，其特征在于，所述计算光流信息的过程为：1)如果缓冲区阵列对应像素(m,n)位置处的事件是无事件，则直接将存储器阵列中对应(m,n)位置处的光流输出置零；2)如果缓冲区阵列对应像素(m,n)位置处的事件为ON事件，则顺序检测存储器阵列中与像素(m,n)位置相邻的所有储存单元中的未使用过的ON事件，根据标志位数据来判断是否被使用，当在存储器阵列的某个位置处首次检测到未使用的ON事件后，计算出该位置的光流幅值大小；3)如果缓冲区阵列对应像素(m,n)位置处的事件为OFF，则顺序检测存储器阵列中与像素(m,n)位置相邻的所有储存单元中的未使用过的OFF事件，计算出该位置的光流幅值...

【专利技术属性】
技术研发人员：杨政绪，谢继勇，高志远，徐江涛，
申请(专利权)人：安徽谱名电子有限公司，
类型：发明
国别省市：