一种基于多域协同特征表达的视觉运动目标跟踪方法技术

本发明专利技术属于视觉运动目标跟踪技术领域，提供了一种基于多域协同特征表达的视觉运动目标跟踪方法。网络结构包含相似特征提取器和独特特征提取器，相似特征提取器可以从RGB域和事件域中学习潜在的通用表示形式，独特特征提取器可以分别学习RGB域和事件域中所独有的特征信息。本发明专利技术所提出的方法在RGB和事件目标跟踪数据集上得到了较好的效果，并且不同的数值评价指标上得到了优于目前先进算法的结果。本发明专利技术解决了高动态范围下对快速运动目标跟踪困难的问题。

【技术实现步骤摘要】
一种基于多域协同特征表达的视觉运动目标跟踪方法
本专利技术属于计算机视觉
，尤其涉及基于深度学习、利用事件相机和传统相机进行视觉运动目标跟踪的方法。
技术介绍
视觉运动目标跟踪是计算机视觉中的一个重要的研究课题，它旨在通过给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置。深度卷积神经网络(Deepconvolutionalneuralnetworks,DCNNs)因其显著的学习能力而被广泛应用于视觉目标跟踪。然而，视觉运动目标跟踪是一个极具挑战性的任务，当前基于RGB图像的跟踪算法经常会受到恶劣环境的影响，如低照度、快速运动等。因此，部分工作试图引入有价值的附加信息，例如深度信息或者热红外信息，以对跟踪效果进行提高。然而，当跟踪目标处于高速运动或高动态范围的环境中时，这些传感器仍然不能提供令人满意的结果。事件相机是一种仿生视觉传感器，其工作原理与传统摄像机完全不同，传统摄像机以固定频率获取帧图像，事件相机则捕捉光度发生改变时的强度信息，以异步流的形式提供强度变化的时空坐标。与传统的成像传感器相比，事件相本文档来自技高网...

【技术保护点】
1.一种基于多域协同特征表达的视觉运动目标跟踪方法，其特征在于，包括以下三个模块：/n(1)RGB和事件数据相似特征提取模块CFE/n(1.1)CFE模块输入：/nCFE模块的输入分为两个部分，一个是RGB图像，另一个是堆叠的事件图像；事件相机输出每个事件e是一个元组<x，y，t，p>，其中x，y是事件的像素坐标，t是事件的时间戳，p＝±1是事件的极性，是亮度变化的符号；由于事件数据的异步性而无法直接输入到现有的神经网络结构中，因此根据正极性和负极性的计数和最新时间戳对事件流进行堆叠，公式如下：/n

【技术特征摘要】
1.一种基于多域协同特征表达的视觉运动目标跟踪方法，其特征在于，包括以下三个模块：
(1)RGB和事件数据相似特征提取模块CFE
(1.1)CFE模块输入：
CFE模块的输入分为两个部分，一个是RGB图像，另一个是堆叠的事件图像；事件相机输出每个事件e是一个元组<x，y，t，p>，其中x，y是事件的像素坐标，t是事件的时间戳，p＝±1是事件的极性，是亮度变化的符号；由于事件数据的异步性而无法直接输入到现有的神经网络结构中，因此根据正极性和负极性的计数和最新时间戳对事件流进行堆叠，公式如下：






其中，δ是Kronecker增量函数，W是事件数据的时间戳间隔，N是在时间间隔W内发生的事件个数；按事件数量堆叠表示运动目标的频率和密度信息，按事件时间戳堆叠表示运动目标的方向和速度信息；
(1.2)CFE模块结构：
使用VGGNet-M网络的前三层用作CFE的主要特征提取结构，卷积核大小分别为7×7、5×5和3×3，输出通道分别为96、256和512；CFE的每一层都由卷积层、激活函数和局部响应归一化组成；整个过程表述如下：
FCFE＝[CFE(RGB),CFE(trans_cha([CountP,TimeP]))](3)
其中，RGB表示RGB图像，CountP和TimeP是按正负极性的计数和最新时间戳堆叠的事件图像，[·]是串联连接操作，trans_cha表示卷积层用于通道数量的转换，FCFE是CFE的输出；
(2)RGB...

【专利技术属性】
技术研发人员：杨鑫，尹宝才，张吉庆，赵锴，魏小鹏，王超毅，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21