一种事件相机与传统光学相机的时空匹配方法组成比例

针对事件相机与传统光学相机观测系统存在的视场差异与时间不同步的问题，本发明专利技术提供了一种事件相机与传统光学相机的时空匹配方法。该方法基于场景结构相似性指标分别将事件相机输出的图像帧、事件流数据与传统光学相机输出的图像帧数据进行匹配搜索，得到最佳匹配视场区域与时差，从而实现事件相机与传统光学相机的时空匹配。本发明专利技术利用了事件流的高时间分辨率优势，将时间连续的事件流数重表示为与传统相机帧率同步的事件帧序列，通过提取和匹配场景结构特征实现高精度的时间匹配，解决了相机之间由于输出帧率不同步导致无法有效时间匹配的问题。间匹配的问题。间匹配的问题。

【技术实现步骤摘要】
一种事件相机与传统光学相机的时空匹配方法


[0001]本专利技术属于图像处理领域，特别涉及事件相机和传统光学相机的跨模态相机时空匹配。

技术介绍

[0002]现实生活中，在机器人、遥感、目标检测与跟踪等计算机视觉领域常使用可见光、红外、深度等多模态传感器来采集多模态数据并进行融合，从而获得关于目标场景的完整信息，提高后续算法的精度。近年来，一种基于生物视网膜原理的新型动态视觉传感器(事件相机) 孕育而生，事件相机感知和测量每一个像素点在对数域的亮度变化，每当像素点的亮度变化超过阈值时则激发包含像素坐标、极性、时间戳的事件点，进而组成包含大量事件点的事件流数据。与逐帧输出图像的传统相机相比，逐像素点异步输出的特性使事件相机具有很高的时间分辨率，在高速场景中也不会出现动态模糊，并且对数域感知亮度变化的性质能使相机具有更高的动态范围，在一些极端光照场景中也可以正确成像。目前，基于事件相机与传统相机融合的成像系统被广泛应用于高速、高帧率以及高动态的场景成像与重建中。
[0003]由于目前事件相机的分辨率普遍较低，因此常使用事件相机与高分辨率传统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种事件相机与传统光学相机的时空匹配方法，其特征在于，包含以下步骤：步骤1，在静态场景中获取事件相机和传统光学相机输出的图像帧后，首先利用双线性插值将传统相机的图像分辨率与事件相机的图像分辨率相同，并基于结构相似性SSIM，利用事件相机输出的图像帧和下采样后传统光学相机输出的图像帧进行视框匹配搜索；步骤2，使用Sobel边缘提取算子对传统光学相机输出的图像帧序列进行场景结构提取，并根据步骤1搜索得到的视框区域进行裁剪以及双线性插值，得到关于场景的结构特征图序列；步骤3，在假定的时间偏移量下，通过将事件流重表示为与传统光学相机帧率相同、时间同步的事件帧序列，并根据步骤1中的视框区域进行裁剪，得到场景的结构特征图序列；步骤4，在一定时间范围内匹配搜索时差，在不同假定时差下重复步骤3生成事件流的结构特征图序列，并与步骤2中得到的结构特征图序列计算平均结构相似度指标，从而得到精确的时间偏移量，输出最佳的时差匹配结果。2.根据权利要求1所述事件相机与传统光学相机的时空匹配方法，其特征在于：步骤1中所述的事件相机图像帧I
E
与传统光学相机图像帧I
F
表示为：表示为：其中，(H
E
，W
E
)为事件相机图像尺寸，(H
F
，W
F
)为传统光学相机图像尺寸。3.根据权利要求1所述事件相机与传统光学相机的时空匹配方法，其特征在于：步骤1中的双线性插值表示为：中的双线性插值表示为：中的双线性插值表示为：其中，I指图像，P＝(x，y)为待插值点坐标，R1＝(x，y1)，R2＝(x，y2)为x方向上的第一次插值坐标，Q
11
＝(x1，y1)，Q
12
＝(x1，y2)，Q
21
＝(x2，y1)，Q
22
＝(x2，y2)，为邻近的四个像素点坐标，由于该系统传统光学相机的图像分辨率是事件相机的两倍，因此使用双线性插值对传统光学相机图像帧进行1/2倍的下采样。4.根据权利要求1所述事件相机与传统光学相机的时空匹配方法，其特征在于：在步骤1中结构相似度可以被表示为：SSIM(X，Y)＝[L(X，Y)
a
]
×
[C(X，Y)
b
]
×
[S(X，Y)
c
]其中，SSIM为结构相似度计算函数，其中，SSIM为结构相似度计算函数，a＞0，b＞0，c＞0为各分量的加权系数；μ
X
和μ
Y
分别代表X和Y的均值，σ
X
、σ
Y
和σ
XY
分别代表图像X和Y的方差以及二者的协方差，C1，C2，C3为用来维持运算稳定的常数，避免除零，其表示为：
C1＝(k1L)2C2＝(...

【专利技术属性】
技术研发人员：余磊，廖伟，张翔，
申请(专利权)人：武汉大学，
类型：发明
国别省市：