基于类脑记忆网络的目标运动跟踪方法技术

本发明专利技术公开了一种基于类脑记忆网络的目标运动跟踪方法，属于目标跟踪技术领域。技术方案要点为：在主干特征提取网络VGG16输出特征分支之后，构建了类脑长期记忆网络。类脑长期记忆网络由长短期记忆网络和注意力驱动模块构成，首先构建长期记忆机制，从时间和空间两个维度上探索目标外观变化，有效的维持目标信息。同时，利用注意力驱动模块加强记忆中目标相关的信息，减少跟踪器对场景信息的依赖，得到类脑长期记忆模型，提高响应图的可靠性，实现精准的目标定位，然后通过设计的阈值评估当前跟踪结果的准确性，保证记忆更新的稳定性，提高模型对目标变化的鲁棒性，从而提升跟踪算法对目标形变等挑战的适应能力。踪算法对目标形变等挑战的适应能力。踪算法对目标形变等挑战的适应能力。

【技术实现步骤摘要】
基于类脑记忆网络的目标运动跟踪方法


[0001]本专利技术涉及目标跟踪
，尤其涉及一种基于类脑记忆网络的目标运动跟踪方法。

技术介绍

[0002]视觉目标跟踪是在初始帧给定目标状态下，对视频序列中任意对象进行定位及尺度估计的任务。同时目标跟踪被广泛应用于计算机视觉任务中，如自动驾驶，视频监控等。虽然一些跟踪器在近几年表现出优异的跟踪性能，但是由于剧烈形变，光照变化和遮挡等挑战的存在，视觉目标跟踪仍然是计算机视觉中的一个重要研究课题。
[0003]近年来，记忆机制因其能够利用前文中目标信息，为跟踪器带来较高的鲁棒性而受到跟踪任务的关注。尽管这些跟踪器尽力从记忆机制中获取目标信息，但在复杂的环境中仍然存在跟踪失败的情况。这主要是因为没有对记忆内容进行挖掘，记忆表达能力有限。另外，在跟踪过程中，目标状态随时间一直在改变，没有有效且及时的更新记忆内容，也将会导致跟踪器无法精确预测目标位置。当发生剧烈形变及背景杂乱时，简单的记忆存储机制仅仅保存了之前目标出现过的状态，没有对记忆中目标本质不变属性特征进行挖掘，因此不能够有效区分目标与周围背景本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类脑记忆网络的目标运动跟踪方法，其特征在于，包括以下步骤：S1、根据初始帧图像及目标初始真实位置信息，利用VGG16主干网络提取目标特征信息，在线训练长期记忆网络，在类脑长期记忆网络中存储目标真实状态；S2、读取下一帧图像，利用VGG16主干网络提取当前图像特征；S3、将当前帧特征信息输入类脑长期记忆网络中，结合之前记忆内容，利用注意力驱动模块对目标信息进行挖掘，预测目标位置；S4、判断当前跟踪结果置信度是否大于稳定阈值，若是，执行步骤S5，否则，返回步骤S2，直至视频序列结束；S5、将跟踪结果截取目标图像，利用VGG16主干网络提取目标特征信息，将提取到的目标特征写入记忆内存中，利用记忆内存中目标特征信息，在线更新类脑长期跟踪网络。2.根据权利要求1所述的基于类脑记忆网络的目标运动跟踪方法，其特征在于，在步骤S3中，注意力驱动模块对目标信息挖掘过程为：其中代表点乘，代表通道空间注意力机制，s
t
代表遗忘门输出的记忆知识，u
t
为当前输入中表示目标的记忆内容，c
t
为记忆状态，用来储存先前目标信息的长期记忆。3.根据权利要求1所述的基于类脑记忆网络的目标运动跟踪方法，其特征在于，在步骤S3中，注意驱动模块中目标记忆挖掘过程如下：S3.1、将两部分记忆内容融合，获取全面的记忆，融合后的记忆信息表示为：F＝s
t
+u
t
S3.2、从通道上对目标记忆内容进行挖掘，通道注意力表示如下：M
c
(F)＝σ(MLP(Avgpoo...

【专利技术属性】
技术研发人员：张焕龙，赵彦春，梁佳美，张家鹏，朱林威，齐锐，王勇，沈冯立，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：