一种基于时空内容相关性的自适应阈值事件相机去噪方法技术

本发明专利技术提供了一种基于时空内容相关性的自适应阈值事件相机去噪方法，方法包括：事件相机输出带有地址

【技术实现步骤摘要】
一种基于时空内容相关性的自适应阈值事件相机去噪方法


[0001]本专利技术涉及计算机视觉
，特别涉及一种基于时空内容相关性的自适应阈值事件相机去噪方法
。

技术介绍

[0002]神经形态的事件相机因为其高灵敏度，高动态范围，低功耗的优点广泛应用于计算机视觉领域，在许多领域产生了巨大的应用前景；神经形态视觉传感器就是事件相机的一个别名
。
近年来，以事件相机为代表的
iniVation
神经形态视觉系统
‑“
事件相机”，与传统的机器视觉系统相比，是受生物启发的智能技术，因此具有前所未有的优势：超低响应延迟，低数据速率，高动态范围和超低功耗
。
为了获得更高质量的输出，一般会对事件相机进行去噪
。
大部分现有的去噪算法都基于时空相关性理论，并用一个固定阈值滤除噪声
。
但在暗光条件下，事件相机会产生大量的噪声，此时传统的去噪算法已经不足以在滤除噪声的同时保留信号，这限制了事件相机在暗光下的实际应用
。
[0003]现有技术一，无帧动态数字视觉，德尔布鲁克，
T(2008)。
无帧动态数字视觉
。
见：安全寿命电子产品国际专题讨论会，日本东京，6年
2008
月7日至
2008
年
21
月
26
日
。
东京大学，
2008
‑
<>。<>
年
(Tobi Delbruck.Frame
‑
free dynamic digital vision.In Proceedings of Intl.Symposium on Secure
‑
Life Electronics,Advanced Electronics for Quality Life and Society,pages 6
–
7)
，传统的图像传感器会产生大量冗余数据，并且时间分辨率受到帧速率的限制
。
最近在开发完全抛弃帧概念的高性能尖峰事件动态视觉传感器
(DVS)
方面的突破，然后描述了基于
DVS
尖峰事件的高效低级过滤和特征提取以及高级对象跟踪的新型数字方法
。
这些方法筛选事件
、
标记事件或将其用于对象跟踪
。
筛选减少了事件数，但提高了信息性事件的比率
。
标签对事件附加了额外的解释，例如方向或局部光流
。
跟踪使用事件来跟踪移动对象
。
处理基于事件进行，并使用事件时间和标识作为计算的基础
。
用于筛选和标记的常见内存对象是最近过去事件时间的空间映射
。
处理方法通常将这些过去的事件时间与整数分支逻辑中的当前事件一起使用，以筛选
、
标记或合成新事件
。
这些方法在串行数字硬件上直接计算，从而产生了一种新的基于事件和时序的视觉计算方法，虽然有效地将神经计算风格与数字硬件集成在一起
。
所有代码都是在
jAER
项目
(jaer.wiki.sourceforge.net)
中开源的，但是一般会对事件相机进行去噪
。
大部分现有的去噪算法都基于时空相关性理论，并用一个固定阈值滤除噪声
。
但在暗光条件下，不能在滤除噪声的同时保留信号
。
[0004]现有技术二，基于事件的传感器时空相关滤波器设计
(Hongjie Liu,Christian Brandli,Chenghan Li,Shih
‑
Chii Liu,and Tobi Delbruck.Design of a spatiotemporal correlation filter for event
‑
based sensors.In 2015IEEE International Symposium on Circuits and Systems(ISCAS),pages 722
–
725)
，公开了在
1.10
μ
m CMOS
中设计了一个
0mW、18ns
延迟的混合信号系统，该系统能够滤除基于事件的神经形态传感器中不相关的背景活动
。
动态视觉传感器输出中的背景活动是由作用于像素
中连接到浮动节点的开关上的热噪声和结漏电流引起的
。
报告的芯片为时空相关事件生成一个通过标志，用于后处理，以减少通信
/
计算负载并提高信息速率
。
设计了一种具有
128
×
128
阵列和
20
×
20
μ
m2电池的芯片
。
每个滤波单元将可编程空间子采样与基于电流积分的时间窗口相结合
。
功率门控用于通过仅激活接收输入事件的单元中的阈值检测和通信电路来最小化功耗
。
虽然这种相关滤波器芯片针对嵌入式神经形态视觉和听觉系统，其中低平均功耗和低延迟至关重要
。
但是在暗光条件下，不能在滤除噪声的同时保留信号
。
[0005]现有技术三，空间时空滤波器，用于降低神经形态视觉传感器的噪声
(Alireza Khodamoradi and Ryan Kastner.O(N)
‑
Space Spatiotemporal Filter for Reducing Noise in Neuromorphic Vision Sensors.pages 1
–
1)
，公开了神经形态视觉传感器是一种受视网膜处理图像方式启发的新兴技术，神经形态视觉传感器仅在像素值变化时报告，而不是像图像传感器那样每帧连续输出该值“普通”主动像素传感器
(ASP)
；这种从连续采样系统到异步事件驱动系统的转变有效地实现了更快的采样率；它还从根本上改变了传感器接口；特别是，这些传感器是高度对噪声敏感，因为任何额外的事件都会降低带宽，从而有效地降低采样率
。
介绍了一种具有
0(N)
记忆复杂度的时空滤波器，用于降低神经形态视觉传感器中的背景活动噪声
。
虽然与以前的设计相比，设计消耗的内存减少了
10
倍，错误减少了
100
倍，过滤器也能够恢复真实事件，并可以传递高达
180
％的真实事件；但是不能在滤除噪声的同时保留信号，影响了信号的精度
。
[0006]现有技术四，基于事件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，包括以下步骤：事件相机输出带有地址
、
极性及时间戳信息的待判别事件；控制模块计算某一事件与待判别事件的空间距离及时间间隔，确定判别真实事件的概率；判断模块根据概率与卷积结果得到通过内容相关性的自适应阈值，结合真实事件概率和自适应阈值，完成待判别事件是真实事件和噪声的判断
。2.
如权利要求1所述的基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，待判别事件为事件相机输出图像局部像素级亮度变化的异步信号
。3.
如权利要求1所述的基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，事件相机输出带有地址
、
极性及时间戳信息的待判别事件的过程，包含以下步骤：根据事件相机设置阈值，每个像素独立的检测亮度变化，当亮度超过一个阈值，输出带有被激活像素坐标
、
极性及时间戳的事件
。4.
如权利要求3所述的基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，通过两个事件横坐标和纵坐标之差的绝对值判断，确定两个事件具有空间相关性，通过两个事件时间戳之差的绝对值判断，确定两个事件具有时间相关性
。5.
如权利要求3所述的基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，被激活像素坐标代表事件发生的位置，时间戳指明事件发生的时间，极性表示了事件的性质，性质表示为
+1
和
‑1，
+1
为变亮事件，
‑1为变暗事件
。6.
如权利要求1所述的基于时空内容相关...

【专利技术属性】
技术研发人员：黄宇杰，王明宇，
申请(专利权)人：上海宇勘科技有限公司，
类型：发明
国别省市：