基于事件相机的动态高速目标追踪方法及装置制造方法及图纸

本发明专利技术公开一种基于事件相机的动态高速目标追踪方法及装置，该方法包括：获取事件相机采集的高速运动场景中的光线亮度变换图，并将其解析为事件帧图像集；根据事件帧图像集中当前帧图像与上一帧图像中通过第二检测框识别到的多个目标，对当前帧图像与上一帧图像进行目标关联匹配，以确定多个被跟踪的目标；获取被跟踪的目标在下一帧图像中的预测位置与实际位置，并根据预测位置与实际位置的误差大小，确定被跟踪的目标是否为同一个追踪目标，得到追踪结果；实时获取并显示追踪结果。本方案利用事件相机对高速运动的目标进行捕捉，并对事件相机的原始数据进行处理，从而通过目标识别检测与目标追踪对高速目标进行有效地检测和持续性的追踪。测和持续性的追踪。测和持续性的追踪。

【技术实现步骤摘要】
基于事件相机的动态高速目标追踪方法及装置


[0001]本专利技术涉及人工智能
，尤其涉及一种基于事件相机的动态高速目标追踪方法及装置。

技术介绍

[0002]随着人工智能的快速发展，目标追踪技术在各个领域受到了广泛关注，例如：交通领域的车辆追踪。通过目标追踪技术，可以及时了解到追踪目标的动向。因此，如何实现及时有效地目标追踪，是目标追踪领域值得关注的问题。
[0003]现有技术中，目标追踪是利用智能算法对相机获取的视频中的目标进行连续追踪。具体的，根据输入的沿着时间轴的图像帧序列，基于卷积神经网络提取图像中的目标特征，通过特征对比判断是否为所要跟随的目标。然而，传统相机受限于其成像原理和芯片架构，相比于人眼并不具有高速响应和大动态范围成像等特性，导致其在某些复杂场景下的使用受到限制。例如，当目标物体进行高速移动时，传统相机基于时间积分的成像特性会导致成像模糊；或者在大动态光照的场景下，由于其较小的动态范围，通常只有60dB，导致其无法同时获取亮处和暗处的有效曝光。并且，传统相机对全局信息进行成像，会产生很多无意义的背景冗余信息。
[0004]事件相机虽然能够有效地捕捉高速运动的目标，然而由于事件相机的像素是独立异步分布的，与传统的图像帧有很大的差异。目前传统的人工智能算法不能完全适应这种数据形式。
[0005]由于传统相机对高速和超高速目标进行成像时会出现残影，或无法获取目标有效信息，以及事件相机数据无法直接与现有的人工智能算法相结合的问题，导致现有目标追踪方法无法对目标进行有效地检测和持续性追踪。

技术实现思路

[0006]本专利技术提供一种基于事件相机的动态高速目标追踪方法及装置，利用事件相机对高速运动的目标进行捕捉，并对事件相机的原始数据进行处理，解决了现有目标追踪方法无法对目标进行有效地检测和持续性追踪的问题。
[0007]为达到上述目的，本专利技术采用如下技术方案：
[0008]第一方面，本专利技术提供一种基于事件相机的动态高速目标追踪方法，该方法包括：
[0009]获取事件相机采集的高速运动场景中的光线亮度变换图，并将所述光线亮度变换图解析为事件帧图像集；所述事件帧图像集包括多个沿时间顺序分布的灰度图；
[0010]通过卷积神经网络对所述事件帧图像集中的灰度图进行图像特征提取以及分类回归处理，得到用于识别不同类别目标的多个第一检测框；所述第一检测框包括检测框位置以及检测框置信度；
[0011]基于非极大值抑制算法与每个所述第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，得到第二检测框；
[0012]根据所述事件帧图像集中当前帧图像与上一帧图像中通过所述第二检测框识别到的多个目标，对所述当前帧图像与所述上一帧图像进行目标关联匹配，以确定多个被跟踪的目标；
[0013]根据当前帧图像与上一帧图像中被跟踪的目标，得到所述被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到所述被跟踪的目标在下一帧图像中的实际位置，并根据所述预测位置与所述实际位置的误差大小，确定所述被跟踪的目标是否为同一个追踪目标，得到追踪结果；所述追踪结果包括同一个所述追踪目标在所述上一帧图像、所述当前帧图像以及所述下一帧图像中的实际位置与标识号；
[0014]实时获取并显示所述追踪结果。
[0015]在一种可能的实现方式中，所述将所述光线亮度变换图解析为事件帧图像集，具体包括：
[0016]基于差分成像原理获取多幅所述光线亮度变换图的灰度变换信息；每一个所述灰度变换信息均包括多个事件的触发位置像素坐标值、灰度值以及触发时间；
[0017]根据所述灰度变换信息得到对应的灰度矩阵；每一个所述灰度矩阵用于描述一个灰度图，多个沿时间顺序分布的灰度图组成一个事件帧图像集。
[0018]在一种可能的实现方式中，所述根据所述灰度变换信息得到对应的灰度矩阵，具体包括：
[0019]根据所述事件相机的分辨率构建灰度矩阵，并将所述灰度矩阵的每一个元素的初始值赋值为零；
[0020]遍历每一个所述光线亮度变换图中的所有事件，将灰度变化信息中的灰度值赋值给所述灰度矩阵中与所述触发位置像素坐标值对应的每一个元素。
[0021]在一种可能的实现方式中，在根据所述事件相机的分辨率构建灰度矩阵，并将所述灰度矩阵的每一个元素的初始值赋值为零之后，所述方法还包括：
[0022]判断所述灰度矩阵的每一个元素的值是否小于所述灰度变换信息中对应的灰度值；
[0023]若是，则将所述元素的极性赋值为
‑
1；若否，则将所述元素的极性赋值为+1。
[0024]在一种可能的实现方式中，基于非极大值抑制算法与每个所述第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，具体包括：
[0025]对于同一个类别目标的第一检测框，获取检测框置信度最大的第一检测框；
[0026]分别计算所述检测框置信度最大的第一检测框与所述类别目标的其余的第一检测框中的交集与并集的比值；以所述比值表征第一检测框之间的重叠度；
[0027]根据所述比值与所述第一预设阈值的大小，删除所述比值大于所述第一预设阈值时其余的第一检测框。
[0028]在一种可能的实现方式中，所述根据所述事件帧图像集中当前帧图像与上一帧图像中通过所述第二检测框识别到的多个目标，对所述当前帧图像与所述上一帧图像进行目标关联匹配，具体包括：
[0029]对于所述事件帧图像集中的所有灰度图，针对每一个由所述第二检测框识别到的目标，通过特征提取网络提取所述目标的特征向量；所述特征向量用于描述所述目标的外观和运动特性；
[0030]通过L2归一化方法将识别到的所有所述目标转换为相同的尺寸；
[0031]从所述事件帧图像集第二帧的灰度图开始，计算当前帧图像的目标与上一帧图像的目标的相似度；
[0032]基于所述相似度，通过匈牙利算法将所述当前帧图像的目标与所述上一帧图像的目标进行关联匹配。
[0033]在一种可能的实现方式中，所述根据当前帧图像与上一帧图像中被跟踪的目标，得到所述被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到所述被跟踪的目标在下一帧图像中的实际位置，并根据所述预测位置与所述实际位置的误差大小，确定所述被跟踪的目标是否为同一个追踪目标，具体为：
[0034]针对每一个所述被跟踪的目标，通过卡尔曼滤波器估计出所述被跟踪的目标的状态信息，并根据所述状态信息预测得到每一个所述被跟踪的目标在所述下一帧图像中的预测位置；所述状态信息包括所述被跟踪目标的位置、速度以及加速度；
[0035]通过第二检测框识别所述下一帧图像中所述被跟踪的目标，并获取所述被跟踪的目标的实际位置；
[0036]当所述实际位置与所述预测位置的误差小于预设阈值时，确定所述被跟踪的目标为同一个追踪目标。
[0037]在一种可能的实现方式中，在所述确定多个被跟踪的目标之后，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的动态高速目标追踪方法，其特征在于，包括：获取事件相机采集的高速运动场景中的光线亮度变换图，并将所述光线亮度变换图解析为事件帧图像集；所述事件帧图像集包括多个沿时间顺序分布的灰度图；通过卷积神经网络对所述事件帧图像集中的灰度图进行图像特征提取以及分类回归处理，得到用于识别不同类别目标的多个第一检测框；所述第一检测框包括检测框位置以及检测框置信度；基于非极大值抑制算法与每个所述第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，得到第二检测框；根据所述事件帧图像集中当前帧图像与上一帧图像中通过所述第二检测框识别到的多个目标，对所述当前帧图像与所述上一帧图像进行目标关联匹配，以确定多个被跟踪的目标；根据当前帧图像与上一帧图像中被跟踪的目标，得到所述被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到所述被跟踪的目标在下一帧图像中的实际位置，并根据所述预测位置与所述实际位置的误差大小，确定所述被跟踪的目标是否为同一个追踪目标，得到追踪结果；所述追踪结果包括同一个所述追踪目标在所述上一帧图像、所述当前帧图像以及所述下一帧图像中的实际位置与标识号；实时获取并显示所述追踪结果。2.根据权利要求1所述的方法，其特征在于，所述将所述光线亮度变换图解析为事件帧图像集，具体包括：基于差分成像原理获取多幅所述光线亮度变换图的灰度变换信息；每一个所述灰度变换信息均包括多个事件的触发位置像素坐标值、灰度值以及触发时间；根据所述灰度变换信息得到对应的灰度矩阵；每一个所述灰度矩阵用于描述一个灰度图，多个沿时间顺序分布的灰度图组成一个事件帧图像集。3.根据权利要求2所述的方法，其特征在于，所述根据所述灰度变换信息得到对应的灰度矩阵，具体包括：根据所述事件相机的分辨率构建灰度矩阵，并将所述灰度矩阵的每一个元素的初始值赋值为零；遍历每一个所述光线亮度变换图中的所有事件，将灰度变化信息中的灰度值赋值给所述灰度矩阵中与所述触发位置像素坐标值对应的每一个元素。4.根据权利要求3所述的方法，其特征在于，在根据所述事件相机的分辨率构建灰度矩阵，并将所述灰度矩阵的每一个元素的初始值赋值为零之后，所述方法还包括：判断所述灰度矩阵的每一个元素的值是否小于所述灰度变换信息中对应的灰度值；若是，则将所述元素的极性赋值为
‑
1；若否，则将所述元素的极性赋值为+1。5.根据权利要求1所述的方法，其特征在于，基于非极大值抑制算法与每个所述第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，具体包括：对于同一个类别目标的第一检测框，获取检测框置信度最大的第一检测框；分别计算所述检测框置信度最大的第一检测框与所述类别目标的其余的第一检测框中的交集与并集的比值；以所述比值表征第一检测框之间的重叠度；根据所述比值与所述第一预设阈值的大小，删除所述比值大于所述第一预设阈值时其
余的第一检测框。6.根据权利要求1所述的方法，其特征在于，所述根据所述事件帧图像集中当前帧图像与上一帧图像中通过所述第二检测框识别到的多个目标，对所述当前帧图像与所述上一帧图像进行目标关联匹配，具体包括：对于所述事件帧图像集中的所有灰度图，针对...

【专利技术属性】
技术研发人员：吴金建，徐沛航，马居坡，石光明，
申请(专利权)人：琶洲实验室黄埔，
类型：发明
国别省市：