一种事件相机和视觉相机协同的高速抛撒物检测方法和系统技术方案

本发明专利技术公开了一种事件相机和视觉相机协同的高速抛撒物检测方法和系统，方法包括：基于事件相机获取高速公路的监控场景下的事件流数据；对所获取的事件流数据进行车辆的抛撒物异常行为检测，得到抛撒物在监控场景中的空间坐标信息和抛撒时间信息；根据得到的空间坐标信息和抛撒时间信息，获取视觉相机中在对应坐标和时间的RGB图像；将RGB图像输入预训练的检测模型中，若检测模型输出为非抛物类型，则本次检测到的抛撒物异常行为为非抛撒物行为，不保存抛撒物的轨迹；否则本次检测到的抛撒物异常行为为抛撒物行为，提取抛撒物的轨迹并保存。本发明专利技术的事件相机和视觉相机协同的高速抛撒物检测方法和系统，抛撒物检测准确率高。抛撒物检测准确率高。抛撒物检测准确率高。

【技术实现步骤摘要】
一种事件相机和视觉相机协同的高速抛撒物检测方法和系统


[0001]本申请属于智慧交通领域，具体涉及一种事件相机和视觉相机协同的高速抛撒物检测方法和系统。

技术介绍

[0002]随着人们生活水平的提高，高速公路的车辆也日渐增多，与之相对应的是高速公路抛撒物事件频发，这给司乘人员及拾取人员带来严重的安全隐患，经常诱发交通事故。因此，对高速公路抛撒物进行实时、准确地检测，成为智慧交通领域一个很有价值且亟待解决的问题。
[0003]视觉相机(传统相机)即普通基于帧的高清RGB监控相机(Traditional Frame
‑
based Camera)，输出一般为25帧图像帧，包含丰富的纹理和细节信息，在计算机视觉领域应用广泛，有助于辅助事件相机进行最终的识别确认。
[0004]当前主流抛撒物事件检测方法多为采用传统RGB相机，结合目标检测算法，应用于抛撒物事件检测问题，如专利号为CN111274982A的专利文献公开的抛撒物的识别方法、装置及存储介质，又如专利号为CN111127507A的专利文献公开的一种抛撒物的确定方法和系统，再如专利号为CN109886219A的专利文献公开的抛撒物检测方法、装置及计算机可读存储介质等。但是这类基于传统的视觉帧图像方式存在以下问题：
[0005]1)视觉相机帧率有限，无法完整捕获高速运动目标的完整轨迹；
[0006]2)视觉相机在目标高速移动过程中，捕获图像存在模糊现象，影响分析判断准确率；
[0007]3)基于视觉帧图像+深度学习方案，需要逐帧逐像素卷积运算，资源消耗高，且不同环境下(如白天、夜晚，雨天等)依赖大量训练样本，泛化能力不强。

技术实现思路

[0008]本申请的目的在于提供一种事件相机和视觉相机协同的高速抛撒物检测方法和系统，抛撒物检测准确率高。
[0009]为实现上述目的，本申请所采取的技术方案为：
[0010]一种事件相机和视觉相机协同的高速抛撒物检测方法，所述事件相机和视觉相机保持同步的时间轴以及配准的监控场景，所述事件相机和视觉相机协同的高速抛撒物检测方法，包括：
[0011]步骤S1、基于事件相机获取高速公路的监控场景下的事件流数据；
[0012]步骤S2、对所获取的事件流数据进行车辆的抛撒物异常行为检测，得到抛撒物在监控场景中的空间坐标信息和抛撒时间信息；
[0013]步骤S3、根据得到的空间坐标信息和抛撒时间信息，获取视觉相机中在对应坐标和时间的RGB图像；
[0014]步骤S4、将所述RGB图像输入预训练的检测模型中，若检测模型输出为非抛物类
型，则本次检测到的抛撒物异常行为为非抛撒物行为，不保存抛撒物的轨迹；否则本次检测到的抛撒物异常行为为抛撒物行为，提取抛撒物的轨迹并保存。
[0015]以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
[0016]作为优选，所述步骤S2，对所获取的事件流数据进行车辆的抛撒物异常行为检测，得到抛撒物在监控场景中的空间坐标信息和抛撒时间信息，包括：
[0017]步骤S21、对所获取的事件流数据进行自适应去噪；
[0018]步骤S22、对去噪后的事件流数据进行网格化表征，得到网格图像；
[0019]步骤S23、基于网格图像进行稠密光流计算得到光流估计图；
[0020]步骤S24、利用光流估计图中的角度和方向矩阵，采用DBSCAN基于密度的聚类算法获得运动目标聚类中心以及其边界范围；
[0021]步骤S25、利用Kalman Filter预测算法和匈牙利匹配算法，计算得到运动目标的运动轨迹，输出抛撒物当前的空间坐标位置和抛撒时间信息。
[0022]作为优选，所述步骤S22，对去噪后的事件流数据进行网格化表征，得到网格图像，包括：
[0023]所述网格图像为三通道网格图像，则对去噪后的事件流数据进行网格化表征包括：
[0024]构建三通道网格图像的第一通道：选取设定时间Δt内，像素位置(x,y)处累积发生的脉冲事件的次数表征为网格图像输入的第一通道，张量表示为C[0]＝[Batch,Width,Height,1]；
[0025]构建三通道网格图像的第二通道：在设定时间Δt内，像素位置(x,y)处发生脉冲事件的最近时间，最近时间归一化后表征为网格图像输入的第二通道，张量表示为C[1]＝[Batch,Width,Height,1]；
[0026]构建三通道网格图像的第三通道：采用0
‑
1极性编码作为网格图像输入的第三通道，在设定时间Δt内，若像素位置(x,y)处有脉冲时间发生，则赋予正极性值为1，否则赋为0，张量表示为C[2]＝[Batch,Width,Height,1]；
[0027]合并三个通道得到三通道网格图像的张量表示为[Batch,Width,Height,channel]，其中channel表示通道数，且channel＝3。
[0028]作为优选，所述步骤S3，根据得到的空间坐标信息和抛撒时间信息，获取视觉相机中在对应坐标和时间的RGB图像，包括：
[0029]根据抛撒时间信息，确定视觉相机中对应于抛撒时间信息的RGB图像；
[0030]基于事件相机和视觉相机在监控场景配准时得到的变换矩阵参数，将原始获取的RGB图像转化为适配事件相机的成像大小的配准后图像；
[0031]根据所述空间坐标信息，确定所述配准后图像中的感兴趣区域，将感兴趣区域作为对应坐标和时间的RGB图像。
[0032]作为优选，所述事件相机和视觉相机的监控场景配准，包括：
[0033]分别对视觉相机获取的RGB图像以及事件相机对应的网格图像进行灰度化，并分别对灰度化后的两幅灰度图像进行SIFT特征点检测；
[0034]根据特征点检测结果提取得到特征点描述信息；
[0035]基于特征点描述信息，通过相似性度量方法匹配两幅灰度图像中的特征点对，并通过特征点对计算得到两幅灰度图像的变换矩阵参数。
[0036]本申请还提供一种事件相机和视觉相机协同的高速抛撒物检测系统，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器读取所述存储器中的计算机程序并运行以实现所述的事件相机和视觉相机协同的高速抛撒物检测方法的步骤。
[0037]本申请提供的事件相机和视觉相机协同的高速抛撒物检测方法和系统，利用脉冲数据的编码表征和处理方法，结合脉冲版光流估计，可利用较低计算量实现高速运动目标(如车辆、抛撒物)的轨迹跟踪，并通过视觉相机对发生抛物时刻的那帧图像进行识别，既保证了高速运动目标捕获的实时性，又结合视觉相机的丰富纹理信息，二次识别确认，降低误判率；同时只对发生异常行为的某几帧图像中特定位置图像进行识别，大大减少了算力消耗。
附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种事件相机和视觉相机协同的高速抛撒物检测方法，其特征在于，所述事件相机和视觉相机保持同步的时间轴以及配准的监控场景，所述事件相机和视觉相机协同的高速抛撒物检测方法，包括：步骤S1、基于事件相机获取高速公路的监控场景下的事件流数据；步骤S2、对所获取的事件流数据进行车辆的抛撒物异常行为检测，得到抛撒物在监控场景中的空间坐标信息和抛撒时间信息；步骤S3、根据得到的空间坐标信息和抛撒时间信息，获取视觉相机中在对应坐标和时间的RGB图像；步骤S4、将所述RGB图像输入预训练的检测模型中，若检测模型输出为非抛物类型，则本次检测到的抛撒物异常行为为非抛撒物行为，不保存抛撒物的轨迹；否则本次检测到的抛撒物异常行为为抛撒物行为，提取抛撒物的轨迹并保存。2.如权利要求1所述的事件相机和视觉相机协同的高速抛撒物检测方法，其特征在于，所述步骤S2，对所获取的事件流数据进行车辆的抛撒物异常行为检测，得到抛撒物在监控场景中的空间坐标信息和抛撒时间信息，包括：步骤S21、对所获取的事件流数据进行自适应去噪；步骤S22、对去噪后的事件流数据进行网格化表征，得到网格图像；步骤S23、基于网格图像进行稠密光流计算得到光流估计图；步骤S24、利用光流估计图中的角度和方向矩阵，采用DBSCAN基于密度的聚类算法获得运动目标聚类中心以及其边界范围；步骤S25、利用Kalman Filter预测算法和匈牙利匹配算法，计算得到运动目标的运动轨迹，输出抛撒物当前的空间坐标位置和抛撒时间信息。3.如权利要求2所述的事件相机和视觉相机协同的高速抛撒物检测方法，其特征在于，所述步骤S22，对去噪后的事件流数据进行网格化表征，得到网格图像，包括：所述网格图像为三通道网格图像，则对去噪后的事件流数据进行网格化表征包括：构建三通道网格图像的第一通道：选取设定时间Δt内，像素位置(x,y)处累积发生的脉冲事件的次数表征为网格图像输入的第一通道，张量表示为C[0]＝[Batch,Width,Height,1]；构建三通道网格图像的第二通道：在...

【专利技术属性】
技术研发人员：徐庶，刘庆杰，戚后林，马金艳，
申请(专利权)人：中电海康集团有限公司，
类型：发明
国别省市：