基于Transformer和超分辨率遥感图像的违停车辆检测方法、系统、设备和介质技术方案

本发明专利技术公开了一种基于Transformer和超分辨率遥感图像的违停车辆检测方法、系统、设备和介质，方法包括：获取指定位置的区域遥感图像x0，对所述遥感图像x0进行训练后得到超分辨率图像数据集s1；对所述超分辨率图像数据集s1进行预处理，并通过预先设立的SwinTransformer模型提取超分辨率图像数据集s1中图片的特征图；将所述特征图输入到特征图金字塔网络，提取多尺度特征；将所述多尺度特征输入区域建议网络RPN推荐感兴趣的区域；将推荐感兴趣的区域利用感兴趣区域池化处理为相同大小；将推荐的推荐感兴趣的区域采用Mask R

【技术实现步骤摘要】
基于Transformer和超分辨率遥感图像的违停车辆检测方法、系统、设备和介质


[0001]本专利技术属于遥感图像目标检测的
，具体涉及一种基于Transformer和超分辨率遥感图像的违停车辆检测方法、系统、设备和介质。

技术介绍

[0002]随着经济和城镇化建设的快速发展，我国各城市的道路和车辆总量不断增长，车辆违规停放行为也日益增加，对城市道路中车辆违章停车检测已成为城市管理中的一项重要的任务。虽然高清监控摄像头已经在绝大多数路口部署，但每日产生的视频量也越来越庞大，通过人工进行视频实时监控或离线处理既费时又费力，而且容易延误和遗漏，所以急需寻找一种高效的方法满足城市车辆违章停车识别领域的实际应用要求。遥感图像实例分割技术作为一种新兴、快速的检测技术，在城市车辆违章停车检测领域的应用得到了发展。但是，目前的目标检测算法精确度普遍小于本文使用的以Swin Transformer为backbone的目标检测算法。

技术实现思路

[0003]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于Transform本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Transformer和超分辨率遥感图像的违停车辆检测方法，其特征在于，包括下述步骤：获取指定位置的区域遥感图像x0，对所述遥感图像x0进行训练后得到超分辨率图像数据集s1；对所述超分辨率图像数据集s1进行预处理，并通过预先设立的Swin Transformer模型提取超分辨率图像数据集s1中图片的特征图；所述Swin Transformer模型包括多个Swin Transformer模块，每个Swin Transformer模块用于提取不同尺度的特征信息；所述特征图是通过多个基于窗口的自注意力计算得到；将所述特征图输入到特征图金字塔网络，提取多尺度特征；将所述多尺度特征输入区域建议网络RPN推荐感兴趣的区域；将推荐感兴趣的区域利用感兴趣区域池化处理为相同大小；将推荐的推荐感兴趣的区域采用Mask R
‑
CNN算法对车辆是否违停进行预测判断，并框出违停车辆。2.根据权利要求1所述基于Transformer和超分辨率遥感图像的违停车辆检测方法，其特征在于，所述获取指定位置的区域遥感图像x0，对所述遥感图像x0进行训练后得到超分辨率图像数据集s1，具体为：对所述遥感图像x0进行图像超分辨率处理，将遥感图像x0输入经过ImageNet预训练的SRGAN网络中，先进行判别器的训练，将生成器的参数固定；通过双三线性插值生成尺度缩小四倍的低分辨率图像x1，所述低分辨率图像x1通过内含多个残差块的生成器得到超分辨率图像x2；将所述遥感图像x0与超分辨率图像x2分别加上标签1、0后输入内含多个残差块的判别器中进行判别输出，对图像的判别结果与标签计算二值交叉熵损失再进行反向传播更新判别器的参数；进行多轮判别器的训练后固定判别器的参数，对生成器的进行训练；将遥感图像x0与超分辨率图像x2分别加上标签1、1后输入内含多个残差块的判别器中进行判别输出，对图像的判别结果与标签计算二值交叉熵损失再进行反向传播更新生成器的参数；重复多次上述训练操作，训练微调结束后将遥感图像x0进行双三线性插值生成尺度缩小四倍的低分辨率后输入生成器中得到超分辨率图像数据集s1。3.根据权利要求1所述基于Transformer和超分辨率遥感图像的违停车辆检测方法，其特征在于，所述并通过预先设立的Swin Transformer模型提取超分辨率图像数据集s1中图片的特征图，具体为：对超分辨率图像数据集s1内遥感图像人工预先设定的禁停局部区域进行感兴趣区域裁剪，得到裁剪图像c1；对所述裁剪图像c1进行图片缩放变换操作并进行标注后得到标注图像c2；对所述标注图像c2使用标签人工标注违停小车构建训练集与测试集；将训练集导入Swin Transformer模型中进行全局注意力特征提取得到特征图；取出训练集中的裁剪遥感图像x3进行随机平移、翻转、旋转、裁剪的图像增强操作后进行标准化和归一化，得到归一化图像x4，对所述归一化图像x4做四个阶段的处理，得到特征
图。4.根据权利要求3所述根据权利要求1所述基于Transformer和超分辨率遥感图像的违停车辆检测方法，其特征在于，所述四个阶段的处理具体为：通过像素块转换器将归一化图像x4划分为不重合的像素块集合，设定像素块大小，得到对应特征维度的像素块k0；在第一阶段通过向量映射将像素块k0转换为一维的张量数据并使用多个与像素块大小、步长相等的卷积核对每个像素块做不重合卷积，进行线性变换改变向量维度，得到第一矩阵a1；在第一阶段中，包括两个Swin Transformer模块，每个Swin Transformer模块包括第一部分和第二部分；，将第一矩阵a1导入第一阶段的第一个Swin Transformer模块中后使用窗口自注意力计算，将窗口内的第一矩阵a1展开成第一标记图像序列t1；第一标记图像序列t1进入第一个Swin Transformer模块的第一部分，对t1中的每个标记图像序列进行插入层归一化，在通道的维度上进行归一化操作后进行窗口多头自注意力计算，然后进行一次插入层归一化，再导入多层感知机得到第二标记图像序列t2；第二标记图像序列t2进入第一个Swin Transformer模块的第二部分，对t2中每个标记图像进行插入层归一化，在通道的维度上进行归一化操作后进行移动窗口多头自注意力计算，然后进行一次插入层归一化，再导入多层感知机得到第三标记图像序列t3第三标记图像序列t3导入第一阶段的第二个Swin Transformer模块中重复上述得...

【专利技术属性】
技术研发人员：丰鑫，陈培新，王邵晟，邱少健，潘梓豪，洪楚育，李琦伟，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：