基于时序信息和局部特征相似性的视频目标检测方法技术

本发明专利技术公开了一种基于时序信息和局部特征相似性的视频目标检测方法，主要解决现有技术检测视频目标准确率较低和特征位置不匹配的问题。其实现方案是：用ResNet网络提取视频每一帧的特征图；用局部特征哈希相似性度量计算特征图的相似性，并用该哈希相似性得分表示当前位置特征的变化；对相邻帧的特征图进行加权，并与当前帧特征相加，得到当前帧的修正特征；用基于稀疏分类的区域候选网络得到修正特征的候选目标框；用感兴趣区域池化得到大小统一的特征，并将这些大小统一的特征输入到训练后的分类和回归网络，得到检测结果。本发明专利技术提高了检测准确率较高，降低了计算复杂度。

【技术实现步骤摘要】
基于时序信息和局部特征相似性的视频目标检测方法
本专利技术属于计算机视觉
，具体涉及一种视频目标检测方法，可用于视频中的目标识别和定位。
技术介绍
计算机视觉是人工智能的一个重要领域，是一门关于计算机和软件系统的科学，可以让计算机对图像及场景进行识别和理解，计算机视觉包括图像识别、目标检测、图像生成、图像超分辨率重建等分支领域。视觉理解主要有三个层次，分别是分类、检测、分割。其中，分类任务关心整体，给出的是整张图片的内容描述，而检测则关注特定的物体目标，要求同时获得这一目标的识别结果和定位结果。相比分类，检测给出的是对图片前景和背景的理解，还需要从背景中分离出感兴趣的目标，并确定这一目标的识别和定位结果。目标检测是计算机视觉领域一个重要的研究课题，它的实现是运动目标跟踪、目标识别、行为理解等视频分析技术的关键，目标检测的效果将直接影响到后续工作的进展。图像目标检测任务在过去几年的时间取得了巨大的进展，检测性能得到明显提升。特别是在视频监控、车辆辅助驾驶等领域，基于视频的目标检测有着更为广泛的需求。但是，要将图像检测技术直接用到视频本文档来自技高网...

【技术保护点】
1.基于时序信息和局部特征相似性的视频目标检测方法，其特征在于，包括如下：/n(1)分别对视频V中第t帧视频帧I

【技术特征摘要】
1.基于时序信息和局部特征相似性的视频目标检测方法，其特征在于，包括如下：
(1)分别对视频V中第t帧视频帧I(t)与其前k帧I(t-k),...,I(t-1)，通过ResNet网络，得到I(t)的特征图F(t)和I(t-k),...,I(t-1)的特征图F(t-k),...,F(t-1)；
(2)计算F(t)与F(t-k),...,F(t-1)的局部特征哈希相似性得分s(t,t-k),...,s(t,t-1)：
(3)基于时序信息计算视频帧I(t)的修正特征图F'(t)：
(3.1)对局部特征哈希相似性得分s(t,t-k),...,s(t,t-1)在各个空间位置上分别进行softmax操作，得到特征图F(t-k),...,F(t-1)对应的权重α(t-k),...,α(t-1)；
(3.2)对特征图F(t-k),...,F(t-1)和对应权重α(t-k),...,α(t-1)在各个空间位置加权求和，并与F(t)相加，得到视频帧I(t)的修正特征图F'(t)；
(4)用视频帧I(t)的修正特征图F'(t)选择视频帧I(t)的候选目标区域：
(4.1)对I(t)帧的修正特征图F'(t)，将其依次通过大小为3×3和1×1的卷积核，得到I(t)帧的中间层特征图F”(t)；
(4.2)在特征图的各个位置生成9个不同尺度的锚框，即先设置大小为16×16的基锚框，保持面积不变使其长宽比为(0.5,1,2),再对这三个不同长宽比的锚框分别放大(8,16,32)个尺度，一共得到9个锚框。
(4.3)训练softmax层和目标框回归层参数,得到训练后的softmax层和目标框回归层；
(4.4)对每一个锚框在I(t)帧的中间层特征图F”(t)上，用训练后的softmax层判断是否含有目标：
若含有目标，则用训练后的目标框回归对锚框坐标进行微调，得到I(t)帧的若干候选目标区域，执行(5)；
若不含有目标，则将锚框丢弃；
(5)在视频帧I(t)的修正特征图F'(t)上，对每个候选目标区域用感兴趣区域池化提取其大小统一的候选区域特征；
(6)用各个候选区域特征得到视频帧的目标类别和目标框位置：
(6.1)训练分类和回归网络，得到训练后的分类和回归网络：
(6.2)将视频帧I(t)的各个候选区域特征输入到训练后的分类和回归网络，分别得到视频帧I(t)的目标类别和目标框位置。


2.根据权利要求1所述的方法，其特征在于，(2)中计算F(t)与F(t-k),...,F(t-1)的局部特征哈希相似性得分s(t,t-k),...,s(t,t-1)，实现如下：
(2.1)计算第t帧特征图F(t)和第t-k帧特征图F(t-k)的局部特征哈希相似性得分：
(2.1a)对第t帧I(t)的特征图F(t)，在任一位置(i,j)上取八邻域,构成以位置(i,j)为中心的邻域特征块对中的所有值求平均，得到位置(i,j)处的特征平均值
(2.1b)对第t-k帧I(t-k)的特征图F(t-k)，在位置(i,j)上取八邻域,构成以位置(i,j)为中心的邻域特征块对中的所有值求平均，得到位置(i,j)处的特征平均值
(2.1c)将第t帧I(t)的邻域特征块中每个值与其平均值比较，并将中大于或等于均值处的哈希值设为1，将中小于均值处的哈希值设为0，得到由0和1组成的哈希表示
(2.1d)将第t-k帧I(t-k)的邻域特征块中每个值与其平均值比较，并将中大于或等于均值处的哈希值...

【专利技术属性】
技术研发人员：古晶，刘芳，赵柏宇，焦李成，卞月林，巨小杰，张向荣，陈璞花，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61