一种基于时空特征可变形卷积融合的视频目标检测方法技术

本发明专利技术公开了一种基于时空特征可变形卷积融合的视频目标检测方法，涉及图像处理技术领域，包括步骤S1，在视频中选取作为输入网络的图像，并得到输入网络的图像的特征图；步骤S2，将特征图分别输入可变卷积时空融合模块中，得到经过该模块加强后的特征图；步骤S3，针对步骤S2所得到的特征图进行特征目标检测，得到特征目标的中心点坐标以及特征目标的长与宽。本发明专利技术中充分利用了视频序列图像中的时间上下文信息，设计了可变卷积时空融合模块来克服提取视频序列图像的特征的困难点，得到经过时空融合加强后的特征图，最后在该特征图上进行目标检测，得到最终的检测结果，适用于视频目标检测场景。适用于视频目标检测场景。适用于视频目标检测场景。

【技术实现步骤摘要】
一种基于时空特征可变形卷积融合的视频目标检测方法


[0001]本专利技术涉及图像处理
，特别是涉及一种基于时空特征可变形卷积融合的视频目标检测方法。

技术介绍

[0002]目标检测是计算机视觉领域中的重要任务，在实际生活中也有着广泛的应用。随着互联网技术与通信技术的飞速发展，视频数据逐渐成为生活中不可或缺的一部分，所以视频目标检测的重要性越来越高。
[0003]目前的对于目标检测的研究大多基于静态图像，对于视频序列图像的研究较少。而视频序列图像相较于静态图像而言，目标可能会因为多种原因而呈现出不同的大小、姿态、视角变化，甚至于非刚体形变。由于基于静态图像的目标检测算法大多基于传统的卷积结构，缺乏足够的几何形变建模能力，所以这些问题会导致特征提取网络无法有效的提取出图像特征，不能很好的处理视频序列图像。同时视频序列图像中存在极为丰富的时间上下文信息，基于静态图像的目标检测算法无法有效利用这些信息，导致检测精度不能满足实际需求。

技术实现思路

[0004]本专利技术的主要目的是为了提供一种基于时空特征可变形卷积融合的视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空特征可变形卷积融合的视频目标检测方法，其特征在于：包括步骤S1，在视频中选取作为输入网络的图像，并得到输入网络的图像的特征图；步骤S2，将上述特征图分别输入可变卷积时空融合模块中，得到经过该模块加强后的特征图；步骤S3，针对步骤S2所得到的特征图进行特征目标检测，得到特征目标的中心点坐标以及特征目标的长与宽。2.根据权利要求1所述的基于时空特征可变形卷积融合的视频目标检测方法，其特征在于：步骤S1具体包括如下步骤s1.1.按视频序列选取第帧、第帧和第帧作为网络的输入图像，设它们为、和；步骤s1.2.将、和分别输入特征提取网络中进行特征提取，得到它们的特征图、和。3.根据权利要求2所述的基于时空特征可变形卷积融合的视频目标检测方法，其特征在于：步骤S2具体包括如下步骤s2.1.将与一同输入可变卷积时空融合模块中，将与一同输入另一可变卷积时空融合模块中；步骤s2.2.特征图输入可变卷积时空融合模块中后，首先将输入同一个可变卷积时空融合模块中的两个特征图的通道进行拼接，再经过若干层可变卷积计算公式分别得到各个模块的时空融合偏移量，最后根据各自的偏移量指导与的可变卷积计算，得到特征加强后的与。4.根据权利要求3所述的基于时空特征可变形卷积融合的视频目标检测方法，其特征在于：步骤s2.2后还包括如下步骤s2.3.计算与的相似度得到相似度权重，将相似度权重经过SoftMax后与相乘，即得到进一步特征加强后的，计算与的相似度得到相似度权重，将相似度权重经过SoftMax后与相乘，即得到进一步特征加强后的；步骤s2.4.将、和进行点加操作进行特征融...

【专利技术属性】
技术研发人员：吴泽彬，詹天明，邓伟诗，陆威，徐洋，盛杰，
申请(专利权)人：南京智莲森信息技术有限公司，
类型：发明
国别省市：