一种基于物体导向外部记忆模块的视频物体检测模型制造技术

本发明专利技术公开了一种基于物体导向外部记忆模块的视频物体检测模型，涉及计算机视觉方向的视频物体检测领域，包括外部记忆模块，以及与所述外部记忆模块相连接的外部记忆输入模块和外部记忆输出模块；所述外部记忆模块为物体导向的多级外部记忆模块；所述外部记忆模块包括特征存储矩阵，用于存储特征；所述特征由所述外部记忆输入模块从特征图中进行选择并输入；所述外部记忆输出模块将所述外部记忆模块中的所述特征输出到所述特征图中。本发明专利技术具有更好的存储空间利用率和更好的保存长时记忆的能力，同时达到更好的视频物体检测性能。

A video object detection model based on object oriented external memory module

【技术实现步骤摘要】
一种基于物体导向外部记忆模块的视频物体检测模型
本专利技术涉及计算机视觉方向的视频物体检测领域，尤其涉及一种基于物体导向外部记忆模块的视频物体检测模型。
技术介绍
基于图像的最新物体检测器为基于图像的物体检测提供了有效的检测框架，但是当这类图像物体检测器应用于视频物体检测时，由于视频帧的质量较低，存在各种在图片数据集中难得出现的情况，例如运动模糊，散焦和遮挡。由于在这类低质量视频帧中，仅凭一帧的内容无法准确检出物体，因此将这类基于单帧图片的物体检测方法直接应用于视频时，检测性能不能达到理想的状态。为了从根本上提高视频物体检测性能，使检测器能够提供更高质量的卷积特征，最新的视频物体检测器则利用视频中的丰富时序信息来增强卷积神经网络所提取的特征表示，尤其是在低质量帧的特征表示。由于帧内容移位，为了通过时序信息增强视频帧的特征表示，首先要对齐不同帧的卷积特征图，然后将对其的不同帧的特征图与当前帧聚合。这些时序特征图有多种不同的名称，例如时序记忆或记忆缓存，卷积特征图被直接当作用于传播记录时序信息的载体。我们将如何读取和写入时序记忆的方法放在一本文档来自技高网...

【技术保护点】
1.一种基于物体导向的外部记忆模块的视频检测模型，其特征在于，包括外部记忆模块，以及与所述外部记忆模块相连接的外部记忆输入模块和外部记忆输出模块；/n所述外部记忆模块为物体导向的多级外部记忆模块；/n所述外部记忆模块包括特征存储矩阵，用于存储特征；/n所述特征由所述外部记忆输入模块从特征图中进行选择并输入；/n所述外部记忆输出模块将所述外部记忆模块中的所述特征输出到所述特征图中。/n

【技术特征摘要】
1.一种基于物体导向的外部记忆模块的视频检测模型，其特征在于，包括外部记忆模块，以及与所述外部记忆模块相连接的外部记忆输入模块和外部记忆输出模块；
所述外部记忆模块为物体导向的多级外部记忆模块；
所述外部记忆模块包括特征存储矩阵，用于存储特征；
所述特征由所述外部记忆输入模块从特征图中进行选择并输入；
所述外部记忆输出模块将所述外部记忆模块中的所述特征输出到所述特征图中。


2.如权利要求1所述的基于物体导向的外部记忆模块的视频检测模型，其特征在于，还包括物体检测模块。


3.如权利要求2所述的基于物体导向的外部记忆模块的视频检测模型，其特征在于，所述物体检测模块包括物体检测框；
所述物体检测框将位于所述物体检测框内的所述特征图上的所述特征裁出；
所述外部记忆输入模块根据所述物体检测框的置信度进行所述特征的选择；
如果所述物体检测框的所述置信度高于设定的阈值，则将位于所述物体检测框内的所述特征图上的所述特征输入所述外部记忆模块中；
如果所述外部记忆模块中存在与输入的所述外部记忆模块中的所述特征相似的特征，则根据点积注意力机制留下置信度最高的所述特征，去除置信度不是最高的所述特征。


4.如权利要求3所述的基于物体导向的外部记忆模块的视频检测模型，其特征在于，所述外部记忆输出模块根据所述特征图的所述点积注意力从所述外部记忆模块中的所述特征中选择与所述特征图相关的所述特征，并输出到所述特征图中。


5.如权利要求4所述的基于物体导向的外部记忆模块的视频检测模型，其特征在于，所述特征图来自于一帧图像；所述特征图为深度卷积网络特征图；所述特征为卷积特征。


6.如权利要求5所述的基于物体导向...

【专利技术属性】
技术研发人员：马汝辉，邓瀚铭，宋涛，华扬，管海兵，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31