一种基于多帧差分的卫星视频运动车辆检测方法技术

本发明专利技术公开了一种基于多帧差分的卫星视频运动车辆检测方法，包括如下步骤：建立运动车辆检测数据集并划分为训练集和测试集；构建改进的YOLOv5网络模型；在改进后的YOLOv5网络模型中引入帧差模块；对帧差模块的数据读取方式进行修改，形成顾及时空信息的YOLOv5网络模型；将训练集输入到顾及时空信息的YOLOv5网络模型中进行训练，训练结束后得到最优模型；将测试集输入到最优模型中，输出车辆目标检测结果。本发明专利技术结合了卫星视频的时间特征信息，通过连续帧三元组的形式进行检测，通过帧差模块，提升模型对卫星视频运动车辆的检测能力，与Mosaic等数据增强方法的结合更充分地利用时空信息，在单帧目标外观特征不足的情况下，利用帧间信息来提高模型的检测精度。利用帧间信息来提高模型的检测精度。利用帧间信息来提高模型的检测精度。

【技术实现步骤摘要】
一种基于多帧差分的卫星视频运动车辆检测方法


[0001]本专利技术涉及运动车辆检测
，具体涉及一种基于多帧差分的卫星视频运动车辆检测方法。

技术介绍

[0002]近年来，深度学习技术的出现为图像目标检测领域提供新的思路和研究方法。由于具备强大的图像学习能力和特征抽象能力，在诸多图像处理领域均受到关注。视频卫星是一种新型的对地观测卫星，可以采用“凝视”的方式对某一区域进行持续观测，并通过视频的方式来记录观察信息，有利于运动目标的监测。所谓“凝视”是指随着卫星的运动，光学成像系统始终盯住某一目标区域，可以连续观察视场内的变化。相比于传统的监控视频，利用卫星视频对车辆进行检测能够在大尺度上提供更全面的分析结果。相比于高分辨率卫星图像数据，卫星视频具有更高的时间分辨率，可以更持续地对车辆进行检测。但是由于卫星视频高视角的特点，在利用卫星视频进行车辆检测时，存在以下问题：(1)因为卫星视频成像空间分辨率的限制使得车辆在视频中仅为几个到十几个像素大小，车辆的细节信息较少；(2)在成像过程中，传感器的移动引起建筑物、树木等目标发生位移变化，使检测过程中出现很多伪运动目标，让背景变得更加复杂；(3)卫星视频序列中的部分车辆与背景具有相似的对比度。
[0003]当前的卫星视频运动车辆检测算法主要分为两类：
①
传统目标检测方法，光流法通常需要大量的计算且易受光照变化的影响，这限制了其在卫星视频中的应用；大多数背景差分法和帧差法容易受到背景移动和对比度变化的影响，而这些因素在卫星视频中是普遍存在的。传统目标检测方法往往需要按照经验针对不同场景人工修改参数，检测性能依赖于手工设计的特征，使用统一参数在不同的复杂场景下难以达到较高的检测精度。
②
基于深度学习的目标检测方法，该方法一定程度上克服了传统方法受光照和背景移动的问题。但同时也存在一些不足之处，卫星视频中的运动车辆目标较小且模糊，与背景对比度低，仅仅利用单帧图像进行检测精度不佳。在数据增强方式的选择上，仅对当前影像进行简单的旋转、缩放、裁剪等数据增强方式，不能有效的增加数据的复杂度，难以应对复杂场景中的运动车辆检测。
[0004]为了克服卫星视频运动车辆目标检测中，受光照和背景移动的问题，现有算法中，光流法通过对视频或图像序列中的像素点逐个计算运动场并分析运动场的时域变化和相关性来确定各像素点位置的运动变化，进而从背景中检测出运动目标。Li等人首先用Canny边缘检测算子对图像进行处理，然后基于双向光流法计算每对边缘的位移并建立所有匹配边缘的位移直方图，最后基于边缘约束对运动目标的边缘点进行匹配，确定运动目标区域。光流法可以检测出运动目标较为完整的信息，并且对于视频抖动有较好的抗干扰能力，但缺点是计算量较大，难以满足实时性的需求，同时对于光照较为敏感，不适用于光照变化较大的场景。
[0005]背景差分法通过多帧图像对背景进行建模，然后将当前帧图像与背景图像进行差
分运算，从而得到运动目标。背景减法的流程通常分为三步：1)背景初始化。背景初始化又被称为背景估计、背景生成、背景恢复，用于初始化背景模型，形成没有前景目标的视频帧；2)背景更新。在运动目标检测的过程中，由于光照、运动模糊以及伪运动目标等不确定因素，背景图像往往会发生变化。为了抑制不确定因素对目标检测的影响，实现对运动目标的精确检测，需要在运动目标检测过程中对背景进行不断地更新；3)前景检测。通过比较当前视频帧和背景模型来计算前景。计算结果是一个二值掩模，白色像素代表前景，黑色代表背景。在某些背景差分算法中，前景检测之后是后处理步骤，以细化检测到的移动目标。Ahmadi等人使用背景差分法和每帧Otsu阈值(大津阈值分割法)检测运动目标。背景差分法是传统运动目标检测算法中应用最为广泛的方法，优点是计算简单，容易实现，相较于其它传统运动目标检测算法来说精度较高，且大部分背景差分算法可以达到实时处理，但缺点是对场景中的遮挡、光照变化和背景抖动等情况较为敏感，尤其在背景抖动情况下，背景差分法会产生大量的伪运动目标。
[0006]Chen等人利用基于K
‑
最近邻模型(K
‑
Nearest Neighbor，KNN)的背景差分法获得高召回率的检测结果，然后利用一个简单的卷积神经网络抑制虚假目标。虽然模型简单，但很大程度上依赖于背景差分法的结果，没有利用到神经网络强大的特征提取和表达能力。同时，由于该策略是将两种方法进行级联，因此检测速度较慢，因此，亟需能克服现有方法难以有效利用数据增强策略提高数据复杂度以及解决单帧影响检测精度不佳问题的运动车辆检测方法。

技术实现思路

[0007]为解决现有技术中存在的问题，本专利技术提供了一种基于多帧差分的卫星视频运动车辆检测方法，通过引入帧差模块(Frame Difference Module，FDM)，利用相邻帧之间的帧间差分信息，丰富当前帧车辆的特征信息；改进Mosaic数据增强方式，提高模型应对复杂场景的能力；并与帧差模块有效结合，使用连续帧三元组作为模型输入，引入了Focal Loss损失函数，使得模型更加聚焦于难分类样本，从而实现卫星视频运动车辆的高精度检测，解决了上述
技术介绍
中提到的问题。
[0008]为实现上述目的，本专利技术提供如下技术方案：一种基于多帧差分的卫星视频运动车辆检测方法，包括如下步骤：
[0009]S1、对采集的卫星视频运动车辆数据进行处理，建立运动车辆检测数据集，并将数据集划分为训练集和测试集；
[0010]S2、构建改进的YOLOv5网络模型；
[0011]S3、在改进后的YOLOv5网络模型中引入帧差模块，将其放入特征提取部分的第一层，通过利用卷积对相邻帧进行帧间差分以获得差分时间信息，并与当前帧的空间信息进行融合以增强当前帧车辆目标的特征；
[0012]S4、对帧差模块的数据读取方式进行修改，形成顾及时空信息的YOLOv5网络模型；
[0013]S5、将训练集数据输入到顾及时空信息的YOLOv5网络模型中进行训练，训练结束后得到最优模型；
[0014]S6、将测试集数据输入到最优模型中进行模型测试，输出车辆目标检测结果。
[0015]优选的，在步骤S1中，对采集的卫星视频运动车辆数据进行处理具体包括数据预
处理、数据标定和数据格式转换。
[0016]优选的，在步骤S2中，改进的YOLOv5网络模型具体是指将原始YOLOv5模型的交叉熵损失函数替换为Focal Loss损失函数。
[0017]优选的，在步骤S3中，引入帧差模块的构建方法具体包括：
[0018]设V＝{P1，P2，...P
t
，...，P
n
}为卫星视频，P
t
为卫星视频的第t帧；
[0019]将连续帧V
t
＝{P
t
‑1，P
t
，P
t+1
}输入改进后的YOLOv5网络，通过一个两层的卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多帧差分的卫星视频运动车辆检测方法，其特征在于，包括如下步骤：S1、对采集的卫星视频运动车辆数据进行处理，建立运动车辆检测数据集，并将数据集划分为训练集和测试集；S2、构建改进的YOLOv5网络模型；S3、在改进后的YOLOv5网络模型中引入帧差模块，将其放入特征提取部分的第一层，通过利用卷积对相邻帧进行帧间差分以获得差分时间信息，并与当前帧的空间信息进行融合以增强当前帧车辆目标的特征；S4、对帧差模块的数据读取方式进行修改，形成顾及时空信息的YOLOv5网络模型；S5、将训练集数据输入到顾及时空信息的YOLOv5网络模型中进行训练，训练结束后得到最优模型；S6、将测试集数据输入到最优模型中进行模型测试，输出车辆目标检测结果。2.根据权利要求1所述的基于多帧差分的卫星视频运动车辆检测方法，其特征在于：在步骤S1中，对采集的卫星视频运动车辆数据进行处理具体包括数据预处理、数据标定和数据格式转换。3.根据权利要求1所述的基于多帧差分的卫星视频运动车辆检测方法，其特征在于：在步骤S2中，改进的YOLOv5网络模型具体是指将原始YOLOv5模型的交叉熵损失函数替换为FocalLoss损失函数。4.根据权利要求1所述的基于多帧差分的卫星视频运动车辆检测方法，其特征在于：在步骤S3中，引入帧差模块的构建方法具体包括：设V＝{P1，P2，...P
t
，...，P
n
}为卫星视频，P
t
为卫星视频的第t帧；将连续帧V
t
＝{P
t
‑1，P
t
，P
t+1
}输入改进后的YOLOv5网络，通过一个两层的卷积来对连续帧的空间信息进行提取，通过空间特征计算公式：F
t
＝C1·
P
t
，得到连续帧所对应的空间特征{F
t
‑1，F
t
，F
t+1
}；对得到的空间特征进行两两差分，差分特征的计算公式：F
(t
‑
1，t+1)
＝C2·
|F
t
‑1‑
F...

【专利技术属性】
技术研发人员：齐华，郑亚辉，徐聪，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：