一种事件相机间启动延迟的估计方法技术

本发明专利技术提供了一种事件相机间启动延迟的估计方法，属于计算机视觉领域，其包括如下步骤：首先，获取多个事件相机采集的数据，接着，按照设定的方法选取多个事件的对应数据，再接着，先对选取的对应数据进行预处理，然后进行归一化处理和高斯滤波处理，得到分布函数，最后，根据分布函数获得最小化目标函数，结合相关性的负值计算最小化目标函数从而完成启动延迟估计。本发明专利技术提出的事件相机时间同步方法可以仅依靠事件流进行事件相机的时间同步，获得事件相机间的启动延迟，使同步过程更简便，易于推广且适用于任何事件相机间的同步。易于推广且适用于任何事件相机间的同步。易于推广且适用于任何事件相机间的同步。

【技术实现步骤摘要】
一种事件相机间启动延迟的估计方法


[0001]本专利技术属于计算机视觉领域，更具体地，涉及一种事件相机间启动延迟的估计方法。

技术介绍

[0002]近年来一种受生物视网膜启发的新型传感器(事件相机)逐渐发展，其关注图像变化，输出时间戳、x、y坐标、以及该坐标点的极性，最终得到包含这四组数据的事件流。
[0003]事件相机是近年来影响力逐渐增大的传感器，又称动态视觉传感器，其受生物视网膜启发，能关注图像变化。当亮度变化超过一定阈值后，产生一个“事件”，事件包含三要素：像素位置、产生时间、极性(变亮/暗)，芯片将事件流通过AER总线输出到相机板卡，相机板卡通过USB3.0传输到电脑。事件相机有极低延迟、无运动模糊、高动态范围、极低功耗等特性，在目标检测、无人驾驶等等领域有着广泛的应用。具体应用场景还包括数据编码储存、超分辨率、图像降噪、视频重建、目标识别、光流估计、电机控制、SLAM等。而这些场景往往需要多个事件相机形成双目或多目，此时需要对多传感器进行同步，即获取几个事件相机间的启动延迟。事件相机大多支持硬件同步，比如两部相机同时接受一个高频电信号，但需要额外的同步电路，且不同型号的事件相机同步的原理不尽相同，这带来了硬件成本上升与采集系统复杂等问题。
[0004]公开号为CN110740227A的专利申请提出的“基于GNSS授时和图像显示信息编码方式的相机时间同步装置及方法”，该装置能够接收GNSS时间作为装置内部时间基准并实时校准内部时间，对相机等光学图像传感器使用拍摄显示屏和LED灯组编码的方式实现GNSS时间戳标记功能。虽然该专利技术不对相机做任何硬件连接和软件编程，不需相机具有额外触发控制电路和功能，但事件相机并不支持GNSS授时，故无法采用此类方法进行启动延迟的估计。
[0005]公开号为CN115147753A的专利申请提出了“基于人体姿态的多相机时间同步方法”，基于人体姿态的多相机时间同步方法，实现对视频拍摄时时间差的确定，根据匹配矩阵，帧与帧之间的匹配向量，依据匹配向量，确定拍摄时的时间差，以实现视频同步的目标。该方法不使用任何硬件但是对于拍摄对象有限定，且普通相机的图像和事件相机发出的数据流的数据模态不同，无法直接应用。
[0006]公开号为CN114463399A的专利申请提出了“一种事件相机与传统光学相机的时空匹配方法”，基于场景结构相似性指标分别将事件相机输出的图像帧、事件流数据与传统光学相机输出的图像帧数据进行匹配搜索，得到最佳匹配视场区域与时差，从而实现事件相机与传统光学相机的时空匹配。该方法进一步的完成了相机与事件相机间的时空匹配，但是仍未解决事件相机间启动延迟估计的问题。
[0007]因此，需要提出一种事件相机间启动延迟的估计方法，以解决现有技术的以上缺陷。

技术实现思路

[0008]针对现有技术的缺陷，本专利技术的目的在于提供一种事件相机间启动延迟的估计方法，其将不同事件相机一段时间内拍摄的数据进行比较，寻找能够使二者同步的偏移时间，完成不同事件相机录取数据的启动延迟估计。
[0009]为实现上述目的，本专利技术提供了一种事件相机间启动延迟的估计方法，其包括如下步骤：
[0010]S1：获取多个事件相机采集的数据，
[0011]S2：按照设定的方法选取多个事件的对应数据，
[0012]S3：先对选取的对应数据进行预处理，然后进行归一化处理和高斯滤波处理，得到分布函数，
[0013]S4：根据分布函数获得最小化目标函数，结合相关性的负值计算最小化目标函数从而完成启动延迟估计。
[0014]进一步的，步骤S2具体为：
[0015]S2：截取第i个事件相机启动后时间长度T内的数据作为标定的对应数据，规定最小时间单位为Δt，当事件相机自身记录的时间为nΔt时，该段时间内第i个事件相机发生的事件数量为m
i
(n)，其中，i为正整数，n也为正整数。n是一个没有量纲的数，意义可以解释为：开始至当前时间t除以
△
t的取整。
[0016]进一步的，步骤S3具体为：对第i个事件相机发生的事件数量m
i
(n)先做归一化处理，再做高斯滤波处理，得到不同事件相机的事件数量的分布函数f
i
(n)。
[0017]进一步的，步骤S4具体为，设第i个事件相机相对于第1个事件相机启动延迟为个最小时间单位，其中，i≠1，后文f
i
(x)即为事件相机的事件数量的分布函数f
i
(n)，最小化目标函数为F(f1(x)，f
i
(x+δn
i
))，根据最小化目标函数求得的δn
i
即为估计的事件相机间启动延迟。
[0018]进一步的，每次采集多个事件相机的数据需要计算该次采集过程中事件相机间的启动延迟。
[0019]进一步的，步骤S2具体为：
[0020]设事件相机产生的某个事件记为e
j
，该事件的时间戳记为时间戳是该事件发生时事件相机赋予的时间，用于表示发生该事件时距离事件相机启动时刻的时间间隔，
[0021]根据事件的时间戳，对不同事件相机采集到的数据进行提取，提取每隔事件相机启动后时间长度为T的数据，最小时间单位Δt为实际场景需求需要的延迟精度要求，设时间长度T包含N个最小时间单位，T＝Δt*N，记某段单位时间((n
‑
1)Δt,nΔt)内第i个事件相机生成的所有事件集合为E
i
(n)，(n)，n为大于0小于N的整数，在上述一段时间内发生的所有事件量为事件的数量，记作m
i
(n)，m
i
(n)＝num(E
i
(n))，其中，num表示集合中元素的个数，记T时间内第i个事件相机产生的所有的事件数量为
[0022]进一步的，步骤S3具体为，对第i个事件相机的事件数量m
i
(n)归一化处理，使得数据限定在(0,1)，且保留数据间原有的关系，将第i个事件相机的数据归一化为
对归一化之后的数据分别进行高斯滤波处理，对第i个事件相机数据进行滤波处理后其分布函数为
[0023]进一步的，不同的事件相机镜头朝向相同，镜头中心在同一水平面上，相机固定，同时录取的数据在归一化并进行时间同步之后，得到不同事件相机的事件数量的分布函数f
i
(n)相似。
[0024]进一步的，步骤S4中，根据分布函数获得的目标函数为F(f1(x),f
i
(x+δn
i
))，目标函数为平方和误差Bhattacharyy距离或相关性的负值
[0025]记启动延迟为则
[0026]进一步的，的计算具体方法如下：
[0027]给出启动时间延迟的搜索范围，设定启动时间延迟在δn
min
*Δt到δn
max
*Δt之间，δn
min...

【技术保护点】

【技术特征摘要】
1.一种事件相机间启动延迟的估计方法，其特征在于，其包括如下步骤：S1：获取多个事件相机采集的数据，S2：按照设定的方法选取多个事件的对应数据，S3：先对选取的对应数据进行预处理，然后进行归一化处理和高斯滤波处理，得到分布函数，S4：根据分布函数获得最小化目标函数，结合相关性的负值计算最小化目标函数从而完成启动延迟估计。2.如权利要求1所述的一种事件相机间启动延迟的估计方法，其特征在于，步骤S2具体为：S2：截取第i个事件相机启动后时间长度T内的数据作为标定的对应数据，规定最小时间单位为Δt，当事件相机自身记录的时间为nΔt时，该段时间内第i个事件相机发生的事件数量为m
i
(n)，其中，i为正整数，n也为正整数。3.如权利要求2所述的一种事件相机间启动延迟的估计方法，其特征在于，步骤S3具体为：对第i个事件相机发生的事件数量m
i
(n)先做归一化处理，再做高斯滤波处理，得到不同事件相机的事件数量的分布函数f
i
(n)。4.如权利要求3所述的一种事件相机间启动延迟的估计方法，其特征在于，步骤S4具体为，设第i个事件相机相对于第1个事件相机启动延迟为个最小时间单位，其中，i≠1，最小化目标函数为F(f1(x)，f
i
(x+δn
i
))，根据最小化目标函数求得的δn
i
为估计的事件相机间启动延迟，其中，f
i
(x)即为第i个事件相机的事件数量的分布函数f
i
(n)。5.如权利要求1所述的一种事件相机间启动延迟的估计方法，其特征在于，每次采集多个事件相机的数据需要计算该次采集过程中事件相机间的启动延迟。6.如权利要求2所述的一种事件相机间启动延迟的估计方法，其特征在于，步骤S2具体为：设事件相机产生的某个事件记为e
j
，该事件的时间戳记为时间戳是该事件发生时事件相机赋予的时间，用于表示发生该事件时距离事件相机启动时刻的时间间隔，根据事件的时间戳，对不同事件相机采集到的数据进行提取，提取每隔事件相机启动后时间长度为T的数据，最小时间单位Δt为实际场景需求需要的延迟精度要求，设时间长度T包含N个最小时间单位，T＝Δt*N，记某段单位时间((n
‑
1)Δt，nΔt)内第i个事件相机生成的所有事件集合为E
i
(n)，n为大于0小于N的整数，在上述一段时间内发生的所有事件量为事件的数量，记作m...

【专利技术属性】
技术研发人员：曾理湛，韩斌，仇韶强，董岩，杨君宇，李玟瑄，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：