一种基于时空特征可变形卷积融合的视频目标检测方法技术

本发明专利技术公开了一种基于时空特征可变形卷积融合的视频目标检测方法，涉及图像处理技术领域，包括步骤S1，在视频中选取作为输入网络的图像，并得到输入网络的图像的特征图；步骤S2，将特征图分别输入可变卷积时空融合模块中，得到经过该模块加强后的特征图；步骤S3，针对步骤S2所得到的特征图进行特征目标检测，得到特征目标的中心点坐标以及特征目标的长与宽。本发明专利技术中充分利用了视频序列图像中的时间上下文信息，设计了可变卷积时空融合模块来克服提取视频序列图像的特征的困难点，得到经过时空融合加强后的特征图，最后在该特征图上进行目标检测，得到最终的检测结果，适用于视频目标检测场景。适用于视频目标检测场景。适用于视频目标检测场景。

【技术实现步骤摘要】
一种基于时空特征可变形卷积融合的视频目标检测方法


[0001]本专利技术涉及图像处理
，特别是涉及一种基于时空特征可变形卷积融合的视频目标检测方法。

技术介绍

[0002]目标检测是计算机视觉领域中的重要任务，在实际生活中也有着广泛的应用。随着互联网技术与通信技术的飞速发展，视频数据逐渐成为生活中不可或缺的一部分，所以视频目标检测的重要性越来越高。
[0003]目前的对于目标检测的研究大多基于静态图像，对于视频序列图像的研究较少。而视频序列图像相较于静态图像而言，目标可能会因为多种原因而呈现出不同的大小、姿态、视角变化，甚至于非刚体形变。由于基于静态图像的目标检测算法大多基于传统的卷积结构，缺乏足够的几何形变建模能力，所以这些问题会导致特征提取网络无法有效的提取出图像特征，不能很好的处理视频序列图像。同时视频序列图像中存在极为丰富的时间上下文信息，基于静态图像的目标检测算法无法有效利用这些信息，导致检测精度不能满足实际需求。

技术实现思路

[0004]本专利技术的主要目的是为了提供一种基于时空特征可变形卷积融合的视频目标检测方法，充分利用了视频序列图像中的时间上下文信息，设计了可变卷积时空融合模块来克服提取视频序列图像的特征的困难点，得到经过时空融合加强后的特征图，最后在该特征图上进行目标检测，得到最终的检测结果，具有良好的引用前景。
[0005]本专利技术的目的可以通过采用如下技术方案达到：一种基于时空特征可变形卷积融合的视频目标检测方法，包括步骤S1，在视频中选取作为输入网络的图像，并得到输入网络的图像的特征图；步骤S2，将上述特征图分别输入可变卷积时空融合模块中，得到经过该模块加强后的特征图；步骤S3，针对步骤S2所得到的特征图进行特征目标检测，得到特征目标的中心点坐标以及特征目标的长与宽。
[0006]前述的基于时空特征可变形卷积融合的视频目标检测方法，其特征在于：步骤S1具体包括如下步骤s1.1.按视频序列选取第帧、第帧和第帧作为网络的输入图像，设它们为、和；步骤s1.2.将、和分别输入特征提取网络中进行特征提取，得到它们的特征图、和。
[0007]前述的基于时空特征可变形卷积融合的视频目标检测方法，其特征在于：步骤S2具体包括如下步骤s2.1.将与一同输入可变卷积时空融合模块中，将与一同输入另一可变卷积时空融合模块中；步骤s2.2.特征图输入可变卷积时空融合模块中后，首先将输入同一个可变卷积时空融合模块中的两个特征图的通道进行拼接，再经过若干层可变卷积计算公式分别得到各个模块的时空融合偏移量，最后根据各自的偏移量指导与的可变卷积计算，得到特征加强后的。
[0008]前述的基于时空特征可变形卷积融合的视频目标检测方法，步骤s2.2后还包括如下步骤s2.3.计算与的相似度得到相似度权重，将相似度权重经过SoftMax后与相乘，即得到进一步特征加强后的
ꢀꢀ
，计算 与的相似度得到相似度权重，将相似度权重经过SoftMax后与 相乘，即得到进一步特征加强后的；步骤s2.4.将 、和 进行点加操作进行特征融合，得到可变卷积时空融合模块的特征图的特征融合结果。
[0009]前述的基于时空特征可变形卷积融合的视频目标检测方法，步骤s2.2中的可变卷积计算公式具体为：其中，为可变卷积计算所涉及的区域，为的中心点的坐标，为对中每一个位置的枚举，为可变卷积层所给出的坐标偏移量，为对应像素点的特征值。
[0010]前述的基于时空特征可变形卷积融合的视频目标检测方法，所述的数值由双线性插值得出。
[0011]前述的基于时空特征可变形卷积融合的视频目标检测方法，步骤s2.3中根据余弦相似度衡量公式计算与的相似度。
[0012]前述的基于时空特征可变形卷积融合的视频目标检测方法，步骤s2.3中的余弦相似度衡量公式具体为，
其中，为需要计算相似度的向量，两个向量的维度大小均相同。
[0013]前述的基于时空特征可变形卷积融合的视频目标检测方法，所述步骤s2.2中经过3层可变卷积计算公式分别得到各个模块的时空融合偏移量。
[0014]前述的基于时空特征可变形卷积融合的视频目标检测方法，所述双线性插值的具体过程为，设所代表的点为，具体数值为，坐标为，坐标均不为整数，故可知点周围存在四个最接近的点，设这四个点为，它们的坐标分别为、、和，对应在特征图上的特征值分别为、、和；首先在横坐标方向上进行2次单向性插值，计算得到临时点、的特征值、，具体计算公式为：，具体计算公式为：之后再在纵坐标方向上对临时点、进行一次单线性插值，即得到点的特征值，具体计算公式为：。
[0015]本专利技术的有益技术效果：本专利技术中充分利用了视频序列图像中的时间上下文信息，设计了可变卷积时空融合模块来克服提取视频序列图像的特征的困难点，得到经过时空融合加强后的特征图，最后在该特征图上进行目标检测，得到最终的检测结果，适用于视频目标检测场景，并具有以下优点：（1）针对视频序列图像的目标形变的情况，通过多层可变卷积层来建立对目标的几何建模，确保图像特征的准确提取；（2）针对视频序列图像的质量不高的情况，通过时空上下文特征融合来加强目标特征，提升后续网络的检测。
附图说明
[0016]图1为按照本专利技术的基于时空特征可变形卷积融合的视频目标检测方法的流程图；
图2为按照本专利技术的可变卷积时空融合模块的流程图；图3为按照本专利技术的特征融合的流程图。
具体实施方式
[0017]为使本领域技术人员更加清楚和明确本专利技术的技术方案，下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。
[0018]如图1
‑
图3所示，本实施例提供的基于时空特征可变形卷积融合的视频目标检测方法，包括步骤S1，在视频中选取作为输入网络的图像，并得到输入网络的图像的特征图；步骤S2，将上述特征图分别输入可变卷积时空融合模块中，得到经过该模块加强后的特征图；步骤S3，针对步骤S2所得到的特征图进行特征目标检测，得到特征目标的中心点坐标以及特征目标的长与宽。
[0019]在本实施例中，如图1所示，步骤S1具体包括如下步骤s1.1.按视频序列选取第帧、第帧和第帧作为网络的输入图像，设它们为、和；步骤s1.2.将、和分别输入特征提取网络中进行特征提取，得到它们的特征图、和。
[0020]在本实施例中，如图1所示，步骤S2具体包括如下步骤s2.1.将与一同输入可变卷积时空融合模块中，将与一同输入另一可变卷积时空融合模块中；步骤s2.2.特征图输入可变卷积时空融合模块中后，首先将输入同一个可变卷积时空融合模块中的两个特征图的通道进行拼接，再经过若干层可变卷积计算公式分别得到各个模块的时空融合偏移量，最后根据各自的偏移量指导与的可变卷积计算，得到特征加强后的，其中两个模块是同时进行计算的，没有先后顺序。
[0021]在本实施例中，步骤s2.2中经过3层可变卷积计算公式分别得到各个模块的时空融合偏移量，即一个模块经过3层可变卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空特征可变形卷积融合的视频目标检测方法，其特征在于：包括步骤S1，在视频中选取作为输入网络的图像，并得到输入网络的图像的特征图；步骤S2，将上述特征图分别输入可变卷积时空融合模块中，得到经过该模块加强后的特征图；步骤S3，针对步骤S2所得到的特征图进行特征目标检测，得到特征目标的中心点坐标以及特征目标的长与宽。2.根据权利要求1所述的基于时空特征可变形卷积融合的视频目标检测方法，其特征在于：步骤S1具体包括如下步骤s1.1.按视频序列选取第帧、第帧和第帧作为网络的输入图像，设它们为、和；步骤s1.2.将、和分别输入特征提取网络中进行特征提取，得到它们的特征图、和。3.根据权利要求2所述的基于时空特征可变形卷积融合的视频目标检测方法，其特征在于：步骤S2具体包括如下步骤s2.1.将与一同输入可变卷积时空融合模块中，将与一同输入另一可变卷积时空融合模块中；步骤s2.2.特征图输入可变卷积时空融合模块中后，首先将输入同一个可变卷积时空融合模块中的两个特征图的通道进行拼接，再经过若干层可变卷积计算公式分别得到各个模块的时空融合偏移量，最后根据各自的偏移量指导与的可变卷积计算，得到特征加强后的与。4.根据权利要求3所述的基于时空特征可变形卷积融合的视频目标检测方法，其特征在于：步骤s2.2后还包括如下步骤s2.3.计算与的相似度得到相似度权重，将相似度权重经过SoftMax后与相乘，即得到进一步特征加强后的，计算与的相似度得到相似度权重，将相似度权重经过SoftMax后与相乘，即得到进一步特征加强后的；步骤s2.4.将、和进行点加操作进行特征融...

【专利技术属性】
技术研发人员：吴泽彬，詹天明，邓伟诗，陆威，徐洋，盛杰，
申请(专利权)人：南京智莲森信息技术有限公司，
类型：发明
国别省市：