一种基于事件相机的通过散射介质目标分类方法技术

本发明专利技术公开了一种基于事件相机的通过散射介质目标分类方法，属于目标检测技术领域。本发明专利技术采集光路中的运动目标通过散射介质会形成保留有目标特征的散斑，当目标移动时，其对应的散斑便会移动，通过使用事件相机来采集移动散斑所触发的事件流，通过对事件流进行去噪处理，并利用事件的时间戳和极性信息对事件流归一化处理并制作为事件帧，然后将其送入基于稠密连接的神经网络完成分类任务。经过多组对比实验验证，对于不同长度的事件流及不同行进方向的运动目标，“事件散斑”具有保留目标特征的能力，且基于“事件散斑”的目标分类方法分类准确率最高能达到92.92％。类准确率最高能达到92.92％。类准确率最高能达到92.92％。

【技术实现步骤摘要】
一种基于事件相机的通过散射介质目标分类方法


[0001]本专利技术公开了一种基于事件相机的通过散射介质目标分类方法。适用于在低亮度环境下对透过散射介质的运动目标进行分类。属于目标检测


技术介绍

[0002]不同于光在自由空间中的传播，当携带有目标信息的光线通过散射介质(如云、烟雾、生物介质等)时，介质的内在不均匀性将会引起光线的散射，进而导致波前畸变。此时，探测器会检测到复杂的散射图像，该图像使人眼无法直观地获得目标信息。该现象在日常生产生活、科学研究与安全保障中经常出现，影响了人们对物体的观测，因此，如何通过散射介质获得目标信息成为一个重要而充满挑战的问题。
[0003]经过多年的科学研究，透过散射介质成像在生物医学技术、天文现象观察、日常生活应用中均有着广泛的应用需求。不同领域的研究人员也提出了多种方法，如自适应光学技术(Adaptive Optics)、波前整形技术(Wavefront Shaping)、相关成像技术(Correlation Imaging)以及最近新兴的神经网络技术(Neural networks)等。在如上提到的成像技术应用场景中，均需要质量较好的散斑图像，但在实际应用过程中，散射介质或(和)目标物体为运动状态的情况在所难免。

技术实现思路

[0004]本专利技术的目的是为了解决在低亮度等恶劣情况下透过散射介质的运动目标分类问题，提供一种基于事件相机的通过散射介质目标分类方法。本专利技术采集光路中的运动目标通过散射介质会形成保留有目标特征的散斑，当目标移动时，其对应的散斑便会移动，通过使用事件相机来采集移动散斑所触发的事件流，事件相机相较于传统相机具有更高的动态范围，可以采集获取更低亮度的散斑，并且事件流中的事件具有微秒量级的时间分辨率，可以消除传统相机由于目标运动与曝光时间过长带来的运动模糊。通过对事件流进行去噪处理，并利用事件的时间戳和极性信息对事件流归一化处理并制作为事件帧，也就是“事件散斑”，然后将其送入基于稠密连接的神经网络完成分类任务。经过多组对比实验验证，对于不同长度的事件流及不同行进方向的运动目标，“事件散斑”具有保留目标特征的能力，且基于“事件散斑”的目标分类方法分类准确率最高能达到92.92％。
[0005]一种基于事件相机的通过散射介质目标分类方法，包括如下步骤：
[0006]步骤一：搭建基于事件的运动目标散斑采集系统。使用照明光源照射运动目标，运动目标反射携带有目标信息的光束被散射介质散射，在散射介质后使用光阑调整透射散斑的大小，进而被事件相机接收。
[0007]步骤二：采集运动目标产生的事件散斑原始数据。使用事件相机拍摄运动目标产生的运动散斑；更换不同的运动目标并改变目标的运动方式，采集多组事件数据并划分为训练集和测试集。
[0008]步骤三：对步骤二采集到多组事件数据的坐标位置信息和时间戳信息进行去噪处
理：每组事件数据包括像素的坐标位置、时间戳以及事件的极性。根据时间戳截取一定事件内的事件流，对该事件段内的每一个触发像素进行判断，查询像素同一行相邻位置是否有其他事件触发，若有则保留该事件，若没有则删除该事件，对所有事件流重复执行此判断，得到预处理后的事件流数据。
[0009]步骤四：使用事件数据的时间戳和极性信息对步骤三预处理后的事件流数据进行归一化处理，形成运动目标透过散射介质的事件帧，使事件帧适用于后续分类网络。根据时间戳，将事件流以相同时间范围进行分割；之后将分割出的事件在一幅画面上进行累加，从而制作一张事件帧。在累加过程中利用事件的极性p与时间戳t，对事件进行归一化处理，归一化事件时间戳公式如下：
[0010][0011]每一个运动目标采集到的事件数据经过步骤三处理后包含的事件个数为N。归一化的目的是使得不同时间触发的事件在事件帧中的影响力不同，两种极性p表示出两种亮度变化。D代表将一段事件数据分割的数目，t
i
表示事件数据中第i个事件的时间戳，t1表示事件数据中第1个事件的时间戳，t
N
表示事件数据中最后一个事件的时间戳，则是归一化时间戳。
[0012]将事件数据分割为X段的子数据Sd制作为X张事件帧，每一张事件帧的计算公式如下：
[0013][0014]其中，i为对应每一个事件的序号；(x，y)为触发事件的坐标；p为该事件的极性；S为事件子序列，d为事件子序列的序号(当制作第一个子序列时d＝0，第二个子序列时d＝1，第三个子序列时d＝2)。
[0015]通过上述方法将去噪后的事件数据制作为所需的散斑事件帧，即“事件散斑”，再将其裁剪为适用于分类网络的大小。
[0016]步骤五：将步骤四的事件散斑送入基于DenseNet的事件散斑分类网络模型中进行分类训练。分类网络采用基于Pytorch构建的稠密连接网络，加载torchvision训练好的预训练权重。通过在开头添加卷积层来使事件散斑分类网络模型适应不同输入数据，在网络的结尾使用全连接层将预训练的1000分类结果转为我们需要的类别数，最终，得到对运动目标的分类结果。
[0017]有益效果：
[0018]1、本专利技术创造性地提出一种采用“事件散斑”用于通过散射介质目标分类方法，使用事件相机拍摄运动目标透过散射介质所成的运动散斑。对事件相机产生的事件数据去噪处理并根据时间以及极性信息制作为“事件散斑”，由于事件流中的事件具有微秒级的时间分辨率，可以消除传统相机由于目标运动与曝光时间过长所带来的运动模糊，因此基于“事件散斑”的目标分类方法具有更高的分类准确率。
[0019]2、本专利技术开创性地将事件相机引入散射介质成像领域，解决传统散射介质成像方法亮度低，噪声水平高，动态模糊严重问题。传统相机用于散射介质成像时，普遍具有亮度
过低，曝光时间过长问题，而过长的曝光时间导致图像中噪声及运动模糊严重，同时将拍摄帧率限制在较低水平。因此，对于散射介质后运动目标的识别，传统方法识别性能受到极大限制。而本专利技术利用事件相机动态范围高、延迟低、时间分辨率高等特点，基于事件相机搭建光学系统进行通过散射介质目标分类研究，针对于低亮度散斑以及运动目标产生的散斑均有良好识别效果。同时，经过多组实验验证，对于不同长度的运动事件流以及不同运动方式的目标，本专利技术均具有良好识别准确率，为散射介质成像领域中，针对低亮度运动目标研究的学者，提供了新思路新方法。
附图说明
[0020]图1为基于事件相机的实验装置采集系统图；
[0021]图2为采集到的原始事件流；
[0022]图3为事件流最终制作的“事件散斑”。
具体实施方式
[0023]为了更好的说明本专利技术的目的和优点，下面结合附图和实例对
技术实现思路
做进一步说明。
[0024]实施例1：
[0025]有别于传统相机，事件相机具有高动态范围、低延迟和高时间分辨率等特点。其每个像素独立工作，检测该像素位置的亮度变化是否超过设定的阈值，若超过阈值则输出事件信息，事件信息包含有该像素的位置坐标、触发事本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的通过散射介质目标分类方法，其特征在于：包括如下步骤：步骤一：搭建基于事件的运动目标散斑采集系统；使用照明光源照射运动目标，运动目标反射携带有目标信息的光束被散射介质散射，在散射介质后使用光阑调整透射散斑的大小，进而被事件相机接收；步骤二：采集运动目标产生的事件散斑原始数据；使用事件相机拍摄运动目标产生的运动散斑；更换不同的运动目标并改变目标的运动方式，采集多组事件数据并划分为训练集和测试集；步骤三：对步骤二采集到多组事件数据的坐标位置信息和时间戳信息进行去噪处理：每组事件数据包括像素的坐标位置、时间戳以及事件的极性；根据时间戳截取一定事件内的事件流，对该事件段内的每一个触发像素进行判断，查询像素同一行相邻位置是否有其他事件触发，若有则保留该事件，若没有则删除该事件，对所有事件流重复执行此判断，得到预处理后的事件流数据；步骤四：使用事件数据的时间戳和极性信息对步骤三预处理后的事件流数据进行归一化处理，形成运动目标透过散射介质的事件帧，使事件帧适用于后续分类网络；根据时间戳，将事件流以相同时间范围进行分割；之后将分割出的事件在一幅画面上进行累加，从而制作一张事件帧；在累加过程中利用事件的极性p与时间戳t，对事件进行归一化处理，归一化事件时间戳公式如下：每一个运动目标...

【专利技术属性】
技术研发人员：柯钧，杨泊钰，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：