一种动态视觉传感器的地址事件流数据去噪方法技术

本发明专利技术提出了一种动态视觉传感器的地址事件流数据去噪方法，主要解决了现有技术对动态视觉传感器输出的地址事件流数据进行去噪的不足，包括如下步骤：构造概率无向图模型；获取概率无向图模型的能量函数；对地址事件流数据进行事件区域划分；对每一个事件区域进行去噪处理。本发明专利技术利用动态视觉传感器输出的地址事件流数据中事件之间的相关性，构建包含有事件行地址信息、列地址信息和激活时间信息的概率无向图模型，然后将地址事件流数据划分为多个事件区域从而进行去噪，旨在保证动态视觉传感器输出的地址事件流数据信息的完整性的同时，提高地址事件流数据的去噪效率，可用于动态视觉传感器输出的地址事件流数据去噪。

【技术实现步骤摘要】
一种动态视觉传感器的地址事件流数据去噪方法
本专利技术属于计算机视觉
，涉及一种动态视觉传感器的地址事件流数据去噪方法，可用于动态视觉传感器输出的地址事件流数据去噪。
技术介绍
随着科技领域的突破与飞跃，计算机视觉研究不断深入，图像及视频处理近些年来取得了巨大的成果，生活中处处可见各式各样的相机，相机所使用的传感器是决定相机图像质量的关键。目前传统图像传感器如CCD和CMOS传感器已经在日常生活中得到了非常广泛的应用，简单来说，CCD图像传感器主要通过光敏元件阵列和电荷转移器件完成信号电荷的产生及转移，从而将光学信号转化成数字信号；CMOS图像传感器将具有特定功能的元件集成在一块硅片上实现光学信号到数字信号的转换。以上两种传感器均是以一定的帧率记录拍摄的场景，从而形成一系列帧图像。然而，这种方式得到的帧图像包含了大量的冗余信息，并且增加了相机的响应时间，使得相机难以捕捉快速移动的目标，容易出现成像模糊的情况，并且传统的图像传感器难以处理暗光和强光的场景。动态视觉传感器(DynamicVisionSensor,DVS)是能够解决以上问题的一种新型传感器，它能够实现像素级别的并行信号处理，以及基于事件驱动的读出方式。传感器芯片是由一个个独立的感光像素组成的，每个像素单元在未激活状态时都可以独立的监测光照强度随时间的变化，并且在光照强度变化达到预设的阈值的时候进入激活状态并且向外部电路发送请求。被激活的像素单元地址，亮度和时间戳信息被同时以地址事件流的形式读出来。动态视觉传感器读出的地址事件流数据形式为AER事件流的形式，即(x,y,t,p)，单个事件包含以下几种信息：检测到亮度变化的像素的地址x(行地址)和y(列地址)；像素单元激活的时间t；像素感光变化量的极性p。根据亮度变化量的符号可确定亮度变化的极性：ON或OFF，产生ON事件表明亮度增加，而产生OFF事件表明亮度减少，由于极性信息对地址事件流数据的去噪没有任何的影响，现有技术在进行地址事件流数据去噪的时候，往往忽略掉极性信息。动态视觉传感器读出地址数据流数据信息可以反映出物体的运动轨迹、运动方向和运动速度。动态视觉传感器的速度不仅限于传统概念例如曝光时间、帧速率等。它可以监测到在传统方法中需要以数万帧每秒的速率运行的昂贵的高速相机捕捉的高速动作，而且输出的数量减少了上千倍，这大大的减少了后续信号处理的成本。该技术可以应用到航空航天、汽车自动驾驶、消费电子、工业视觉和安全等领域。但是，动态视觉传感器读出的地址事件流数据中往往包含一定数量的噪声，噪声来源主要包含以下几种：动态视觉传感器硬件本身会带来一定的噪声，如热噪声、散粒噪声、低频噪声、固定模式噪声等；拍摄场景会带来一定的噪声；拍摄时硬件抖动会产生一定的噪声。另外，由于地址事件流数据与传统的帧图像数据是完全不同的，所以传统的图像去噪方法不适合地址事件流的去噪。为了解决地址事件流的去噪问题，现有技术往往首先将地址事件流数据转化为帧图像，然后利用传统的图像去噪方法进行去噪，比如，申请公布号为107610069A，名称为“基于共享K-SVD字典的DVS可视化视频去噪方法”的专利申请，公开了一种基于共享K-SVD字典的DVS可视化视频去噪方法，该方法利用动态视觉传感器捕获地址事件流数据；将事件流转为轮廓清晰的DVS图像，并进行图像分组，然后通过K-SVD算法得到每组的第一帧图像的优化字典，并用每组的第一帧图像获得的学习字典对其余所有图像进行去噪处理；设置视频帧率和帧数，对经过去噪处理的DVS图像进行转视频处理。但存在的缺陷是，该方法通过将动态视觉传感器输出的三维地址事件流数据转为二维帧图像，并将该二维帧图像作为待去噪图像，不仅因为丢失了地址事件流数据中的时间属性导致数据信息的完整性降低，同时降低了去噪效率。
技术实现思路
本专利技术的目的在于克服上述现有技术存在的缺陷，提出了一种动态视觉传感器的地址事件流数据去噪方法，首先利用动态视觉传感器输出的地址事件流数据中事件之间的相关性，构建包含有事件行地址信息、列地址和激活时间信息的概率无向图模型，然后将地址事件流数据划分为多个事件区域从而进行去噪，旨在保证地址事件流信息完整性的同时，提高地址事件流数据的去噪效率。为实现上述目的，本专利技术采取的技术方案包括如下步骤：(1)构造概率无向图模型：(1a)假设动态视觉传感器输出的地址事件流数据X包含M个事件，该X经过去噪之后的地址事件流数据为Y，且X中的每一个事件xi,j,t与其时空邻域内的事件xi±Δi,j±Δj,t、xi,j,t±Δt、xi±Δi,j±Δj,t±Δt具有相关性，xi,j,t与Y中对应的事件yi,j,t具有相关性，其中i、j和t分别代表单个事件的行地址、列地址和激活时间，Δi、Δj和Δt分别为行地址的偏移量、列地址的偏移量和激活时间的偏移量，M≥2；(1b)将X中的每一个事件xi,j,t与Y中的每一个事件yi,j,t构成的联合概率分布P(X,Y)作为概率无向图模型，该概率无向图模型包含有四个团块：{xi,j,t,yi,j,t}、{xi,j,t,xi±Δi,j±Δj,t}、{xi,j,t,xi,j,t±Δt}和{xi,j,t,xi±Δi,j±Δj,t±Δt}；(2)获取概率无向图模型的能量函数E(X,Y)：根据概率无向图模型每个团块内部变量之间的相关性，设置团块{xi,j,t,yi,j,t}、{xi,j,t,xi±Δi,j±Δj,t}、{xi,j,t,xi,j,t±Δt}和{xi,j,t,xi±Δi,j±Δj,t±Δt}的能量函数分别为Exy、Espace、Etime和Est，并将该四个团块的能量函数组合为概率无向图模型的能量函数E(X,Y)；(3)对地址事件流数据X进行事件区域划分：(3a)将去噪之后的地址事件流数据Y初始化为地址事件流数据X；(3b)按照输出顺序将地址事件流数据X中包含的M个事件划分为N个事件区域R1,R2，,Rl，…,RN，前N-1个事件区域包含的事件数量均为Δm，第N个事件区域包含的事件数量为mN，其中Rl表示第l个事件区域，l＝1,2,...,N，Δm≥2，mN＝M-(N-1)×Δm；(3c)将第l个事件区域Rl包含的事件表示为其中表示第l个事件区域Rl中的第p个事件，p＝1,2,...,m，m表示Rl内的事件的总数：(4)对每一个事件区域Rl进行去噪处理：(4a)令l＝1；(4b)读入事件区域Rl，利用概率无向图模型的能量函数E(X,Y)计算事件区域Rl的能量(4c)令p＝1；(4d)利用与团块能量Exy、Espace、Etime和Est计算事件区域Rl中除事件之外的区域的能量(4e)判断是否小于若是，则标记事件为噪声事件，并执行步骤(4f)，否则，标记事件为有效事件，并执行步骤(4f)；(4f)判断p是否小于等于m，若是，令p＝p+1，并执行步骤(4d),否则，执行步骤(4g)；(4g)判断l是否小于等于N，若是，令l＝l+1，并执行步骤(4b)，否则，将所有标记为噪声事件的事件进行删除，得到去噪之后的地址事件流数据Y。本专利技术与现有技术相比，具有如下优点：1.本专利技术由于在获取去噪之后的地址事件流数据时所构建的概率无向图模型中，包含有事件的行地址信息、列地址信息和激活时间本文档来自技高网...

【技术保护点】
1.一种动态视觉传感器的地址事件流数据去噪方法，其特征在于，包括如下步骤：(1)构造概率无向图模型：(1a)假设动态视觉传感器输出的地址事件流数据X包含M个事件，该X经过去噪之后的地址事件流数据为Y，且X中的每一个事件xi,j,t与其时空邻域内的事件xi±Δi,j±Δj,t、xi,j,t±Δt、xi±Δi,j±Δj,t±Δt具有相关性，xi,j,t与Y中对应的事件yi,j,t具有相关性，其中i、j和t分别代表单个事件的行地址、列地址和激活时间，Δi、Δj和Δt分别为行地址的偏移量、列地址的偏移量和激活时间的偏移量，M≥2；(1b)将X中的每一个事件xi,j,t与Y中的每一个事件yi,j,t构成的联合概率分布P(X,Y)作为概率无向图模型，该概率无向图模型包含有四个团块：{xi,j,t,yi,j,t}、{xi,j,t,xi±Δi,j±Δj,t}、{xi,j,t,xi,j,t±Δt}和{xi,j,t,xi±Δi,j±Δj,t±Δt}；(2)获取概率无向图模型的能量函数E(X,Y)：根据概率无向图模型每个团块内部变量之间的相关性，设置团块{xi,j,t,yi,j,t}、{xi,j,t,xi±Δi,j±Δj,t}、{xi,j,t,xi,j,t±Δt}和{xi,j,t,xi±Δi,j±Δj,t±Δt}的能量函数分别为Exy、Espace、Etime和Est，并将该四个团块的能量函数组合为概率无向图模型的能量函数E(X,Y)；(3)对地址事件流数据X进行事件区域划分：(3a)将去噪之后的地址事件流数据Y初始化为地址事件流数据X；(3b)按照输出顺序将地址事件流数据X中包含的M个事件划分为N个事件区域R1,R2，…,Rl，…,RN，前N‑1个事件区域包含的事件数量均为Δm，第N个事件区域包含的事件数量为mN，其中Rl表示第l个事件区域，l＝1,2,...,N，...

【技术特征摘要】
1.一种动态视觉传感器的地址事件流数据去噪方法，其特征在于，包括如下步骤：(1)构造概率无向图模型：(1a)假设动态视觉传感器输出的地址事件流数据X包含M个事件，该X经过去噪之后的地址事件流数据为Y，且X中的每一个事件xi,j,t与其时空邻域内的事件xi±Δi,j±Δj,t、xi,j,t±Δt、xi±Δi,j±Δj,t±Δt具有相关性，xi,j,t与Y中对应的事件yi,j,t具有相关性，其中i、j和t分别代表单个事件的行地址、列地址和激活时间，Δi、Δj和Δt分别为行地址的偏移量、列地址的偏移量和激活时间的偏移量，M≥2；(1b)将X中的每一个事件xi,j,t与Y中的每一个事件yi,j,t构成的联合概率分布P(X,Y)作为概率无向图模型，该概率无向图模型包含有四个团块：{xi,j,t,yi,j,t}、{xi,j,t,xi±Δi,j±Δj,t}、{xi,j,t,xi,j,t±Δt}和{xi,j,t,xi±Δi,j±Δj,t±Δt}；(2)获取概率无向图模型的能量函数E(X,Y)：根据概率无向图模型每个团块内部变量之间的相关性，设置团块{xi,j,t,yi,j,t}、{xi,j,t,xi±Δi,j±Δj,t}、{xi,j,t,xi,j,t±Δt}和{xi,j,t,xi±Δi,j±Δj,t±Δt}的能量函数分别为Exy、Espace、Etime和Est，并将该四个团块的能量函数组合为概率无向图模型的能量函数E(X,Y)；(3)对地址事件流数据X进行事件区域划分：(3a)将去噪之后的地址事件流数据Y初始化为地址事件流数据X；(3b)按照输出顺序将地址事件流数据X中包含的M个事件划分为N个事件区域R1,R2，…,Rl，…,RN，前N-1个事件区域包含的事件数量均为Δm，第N个事件区域包含的事件数量为mN，其中Rl表示第l个事件区域，l＝1,2,...,N，Δm≥2，mN＝M-(N-1)×Δm；(3c)将第l个事件区域Rl包含的事件表示为其中表示第l个事件区域Rl中的第p个事件，p＝1,2,...,m，m表示Rl内的事件的总数：(4)对每一个事件区域Rl进行去噪处理：(4a)令l＝1；(4b)读入事件区域Rl，利用概率无向图模型的能量函数E(X,...

【专利技术属性】
技术研发人员：吴金建，马传威，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61