【技术实现步骤摘要】
本专利技术涉及一种目标检测方法，具体涉及一种基于事件相机和高速相机协同处理的目标检测方法。
技术介绍
1、事件相机(event camera)是一种受到生物视网膜启发的新型视觉传感模式，近年来，事件相机领域的各种技术和方法发展十分迅速。事件相机相对于单个像素，仅在接受到的光强度发生改变时才输出事件信息。它具有高时间分辨率，低延迟(微秒量级)，高动态范围，低功耗的优点。因此，通常将事件相机和其它普通相机协同起来使用以解决不同的问题。
2、中国专利cn114463399a公开了一种事件相机与传统光学相机的时空匹配方法，该方法基于场景结构相似性指标分别将事件相机输出的图像帧、事件流数据与传统光学相机输出的图像帧数据进行匹配搜索，得到最佳匹配视场区域与时差，从而实现事件相机与传统光学相机的时空匹配。该方法解决了相机之间由于输出帧率不同步导致无法有效时间匹配的问题，但该空间配准方法步骤繁琐，普适性低。
3、中国专利cn112800860a公开了一种事件相机和视觉相机协同的高速抛撒物检测方法和系统，该方法包括基于事件相机获取高速公路的监控场景下的事件流数据；对所获取的事件流数据进行车辆的抛撒物异常行为检测，得到抛撒物在监控场景中的空间坐标信息和抛撒时间信息；根据得到的空间坐标信息和抛撒时间信息，获取视觉相机中在对应坐标和时间的rgb图像；将rgb图像输入预训练的检测模型中，若检测模型输出为非抛物类型，则抛撒物异常行为为非抛撒物行为，不保存抛撒物的轨迹，否则为抛撒物行为，提取抛撒物的轨迹并保存。该方法的抛撒物检测准确率
技术实现思路
1、本专利技术的目的是解决现有空间配准方法步骤繁琐，普适性低，或者现有目标检测方法存在目标检测速度慢、检测精度低的技术问题，而提供一种基于事件相机和高速相机协同处理的目标检测方法。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种基于事件相机和高速相机协同处理的目标检测方法，其特殊之处在于：包括以下步骤：
4、步骤1、将事件相机和高速相机平行固定放置且位置相邻，利用卫星授时以及ptp协议对事件相机和高速相机进行时间同步；
5、步骤2、对事件相机和高速相机进行位置标定，得到事件相机、高速相机的内参数和外参数，利用所得内参数和外参数对事件相机和高速相机进行空间配准；
6、步骤3、利用事件相机采集目标运动的事件流，利用高速相机采集目标运动的图像序列；
7、步骤4、对步骤3中所得事件流进行滤波、目标检测，获取真实目标事件(t，x，y)；其中，t表示目标出现的时间戳，x表示目标在事件相机图像坐标系中的x轴像素坐标，y表示目标在事件相机图像坐标系中的y轴像素坐标；
8、步骤5、目标检测
9、步骤5.1、根据步骤4中所得真实目标事件(t，x，y)中的t，在步骤3中所得图像序列中找到对应时间的目标图像；
10、步骤5.2、根据步骤2中所得事件相机和高速相机的外参数，以及步骤4中所得真实目标事件(t，x，y)中的(x，y)，在步骤5.1所得目标图像中找到对应的(x1，y1)；其中，x1表示目标在高速相机图像坐标系中的x轴位置坐标，y1表示目标在高速相机图像坐标系中的y轴位置坐标；
11、步骤5.3、根据步骤5.2中所得(x1，y1)，对步骤5.1中所得目标图像对应的区域进行目标检测，获得目标的精准位置，完成对目标的检测。
12、进一步地，步骤2具体包括以下步骤：
13、步骤2.1、在事件相机或者高速相机的前方放置一个可移动的标定板，使标定板在平行于两台相机连线的方向上进行移动，且移动范围处于两台相机的视野中；
14、步骤2.2、利用事件相机和高速相机同时拍摄多张标定板图像；
15、步骤2.3、提取每张标定板图像的角点坐标；
16、步骤2.4、采用张正友标定算法，利用所得角点坐标和标定板的实际尺寸，分别计算出事件相机、高速相机的内参数，以及事件相机、高速相机的外参数；
17、步骤2.5、利用所得事件相机的内参数和外参数对事件相机进行校正，利用所得高速相机的内参数和外参数对高速相机进行校正，完成两台相机的位置标定，使两台相机空间配准。
18、进一步地，步骤2.1中，所述标定板为棋盘格标定板；
19、步骤2.2具体为，利用事件相机和高速相机同时拍摄多张不同姿态和位置的标定板图像；
20、步骤2.3具体为，采用harris角点检测算法提取每张标定板图像的角点坐标；
21、步骤2.4中，所述内参数包括焦距、主点位置和畸变系数，所述外参数包括旋转矩阵和平移向量。
22、进一步地，步骤5.2中，根据步骤2.4中所得事件相机和高速相机的旋转矩阵和平移向量，以及步骤4中所得真实目标事件(t，x，y)中的(x，y)，在步骤5.1所得目标图像中找到对应的(x1，y1)。
23、进一步地，步骤5.3具体为：
24、根据步骤5.2中所得(x1，y1)，利用目标检测算法yolov5对步骤5.1中所得目标图像对应的区域进行目标检测，获得目标的精准位置，完成对目标的检测。
25、进一步地，步骤1中，所述卫星授时通过采用一站单机授时法或者共视比对授时法实现；所述ptp协议为ieee 1588标准。
26、本专利技术的有益效果：
27、1、本专利技术提供了一种基于事件相机和高速相机协同处理的目标检测方法，事件相机具有高时间分辨率，低延迟，高动态范围，低功耗的优点，高速相机具有快速连续成像的优点，该方法采用卫星授时以及ptp协议对事件相机和高速相机的时间进行高精度同步，再结合事件相机和高速相机的协同作用，实现了目标检测实时、速度快、效率高和精度高的效果。本专利技术在事件相机和高速相机的协同作用下进行空间配准，操作简单，普适性高。
28、2、本专利技术利用事件相机和高速相机同时拍摄多张不同姿态和位置的标定板图像，可以提高事件相机和高速相机的标定精度，从而有利于提高目标检测的精度。另外，本专利技术所采用的目标检测算法yolov5既能增加目标检测的针对性，又能提高目标检测的效率和准确性。
本文档来自技高网...【技术保护点】
1.一种基于事件相机和高速相机协同处理的目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于事件相机和高速相机协同处理的目标检测方法，其特征在于，步骤2具体包括以下步骤：
3.根据权利要求2所述一种基于事件相机和高速相机协同处理的目标检测方法，其特征在于：
4.根据权利要求3所述一种基于事件相机和高速相机协同处理的目标检测方法，其特征在于：
5.根据权利要求4所述一种基于事件相机和高速相机协同处理的目标检测方法，其特征在于，步骤5.3具体为：
6.根据权利要求1-5任一所述一种基于事件相机和高速相机协同处理的目标检测方法，其特征在于：
【技术特征摘要】
1.一种基于事件相机和高速相机协同处理的目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于事件相机和高速相机协同处理的目标检测方法，其特征在于，步骤2具体包括以下步骤：
3.根据权利要求2所述一种基于事件相机和高速相机协同处理的目标检测方法，其特征在于：
<...【专利技术属性】
技术研发人员：杨军，吴祖堂，陈向成，张德志，张洋，丰伟，李国亮，张敏，赵天青，
申请(专利权)人：西北核技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。