一种基于卫星图像机场目标毁伤检测方法技术

本发明专利技术涉及机场毁伤检测技术领域，尤其涉及一种基于卫星图像机场目标毁伤检测方法，包括构建机场设施目标检测数据集；对CSPNet进行改造；改进训练优化策略；采用DoReFa

【技术实现步骤摘要】
一种基于卫星图像机场目标毁伤检测方法


[0001]本专利技术涉及机场毁伤检测
，尤其涉及一种基于卫星图像机场目标毁伤检测方法。

技术介绍

[0002]卫星系统提供的遥感信息支持已经成为至关重要的战场信息感知源，然而数据集有限、模型难以部署等问题却成为这一领域应用的瓶颈，尤其是对于机场中各类基础设施的目标识别，以及军事打击后目标是否毁伤的判定，是节约判读员时间、提高作战效率的关键。
[0003]在毁伤评估领域，现有的传统方法通常是采用变化检测的方式描述目标特征，对毁伤信息进行提取。通过建立目标特征向量“相似度”、几何和纹理特征“二次距离”制定评估规则。该方法尽管采用一定的仿真手段得到了比较好的效果，但对实际复杂目标的超大图像而言，当采集图像中各类目标占比明显较小时识别效果较差。同时，该类算法也面临图像难以配准、实现难度较大、难以部署等问题，尤其是在观测场景、应用环境等发生改变时，算法几近失效。
[0004]而基于深度学习的神经网络模型对目标毁伤的识别方法可有利于终端部署，同时也可以结合目标的具体模型以及更多的非图像信息对目标的毁伤进行更准确的判断，因此，开展基于神经网络模型的机场目标毁伤检测技术的研究十分必要。

技术实现思路

[0005]针对现有算法的不足，本专利技术提供基于结构重参数化与8bit量化的深度学习网络结构、分步对高精度卫星遥感图像中机场各目标毁伤的检测方法；针对跑道毁伤是利用最小起降窗口与跑道分别从不同的角度进行逐点卷积，根据弹坑分布计算最小起降窗口的面积，从而判断跑道毁伤后飞机能否起飞。
[0006]本专利技术所采用的技术方案是：一种基于卫星图像机场目标毁伤检测方法包括以下步骤：步骤一、构建机场设施目标检测数据集，包括构建飞机、机堡、机堡弹坑及跑道弹坑的卫星图像数据集；步骤二、利用结构重参数化思想，结合单路模型以轻量化的YOLOv5网络为基础对CSPNet进行改造，并采用解耦训练时和推理时架构；针对遥感类图像小目标的识别，并改进训练优化策略；进一步的，对CSPNet进行改造，并采用解耦训练时和推理时架构，具体包括：将Identity转换为1x1卷积，构造出一个以单位矩阵为卷积核的1x1卷积；将1x1卷积等价转换为3x3卷积并用0填充，其中，3x3卷积的参数是4个3x3矩阵，1x1卷积的参数是1个2x2矩阵；三个分支都有BN层，参数包括累积得到的均值及标准差、学习得到的缩放因子及bias，推理时的卷积层和BN层等价转换为一个带bias的卷积层；
将CSPNet中的3
×
3卷积进行结构重参数化改造，重新嵌入到YOLOv5网络中，作为训练时的网络架构，而在推理时，将旁支融合到3
×
3卷积模块中。
[0007]进一步的，改进训练优化策略具体包括：对损失函数的优化和对激活函数的适应性改进。
[0008]进一步的，损失函数的优化包括：采用S
‑
IOU损失函数，分别计算角度成本、距离成本、形状成本和IoU成本，得到IOU损失函数。
[0009]进一步的，激活函数的适应性改进包括：将3*3卷积与ReLU函数合并为基本算子，将swish函数替换为ReLU函数。
[0010]步骤三、采用DoReFa
‑
Net多值量化方法对YOLOv5网络进行优化，同时量化权重、特征值和梯度，反向传播时更新权重的全精度表示，推断时使用权重的量化表示；在权重的量化过程中利用直通估计方式规避0梯度；进一步的，DoReFa
‑
Net多值量化的公式为：
ꢀꢀ
（12）对特征值的量化则直接采用截断的方式：
ꢀꢀꢀ
（13）其中，r
i
是范围为0到1之间的实数，r
o
是范围为0到1之间的k位量化数值，为激活函数。
[0011]步骤四、基于YOLOv5网络的超大图像推理部署；进一步的，具体包括：根据步骤三导出的模型实现单张图像的推理；采用opencv
‑
python的方式进行图像读取并格式转换，再进行归一化；得到每个目标框的位置和置信度，进行非极大值抑制，通过OpenCV cv2.dnn.NMSBoxes函数，根据置信度阈值和IOU阈值进行筛选得到单张图像推理结果；采用步长切割的方式将超大图像切割成能小尺寸图像，选定合适的步长，计算每个小尺寸图像在超大图像中的位置。
[0012]步骤五、对油罐毁伤、机堡毁伤、飞机及跑道毁伤进行分类毁伤检测；进一步的，油罐毁伤、机堡毁伤的检测方法包括：将毁伤前的超大图像进行油罐和机堡目标的推理识别，获得油罐和机堡的实际地理坐标；将毁伤后的同一区域超大图像进行推理识别，根据实际地理坐标检查同一位置是否有预测框，从而判断油罐和机堡是否毁伤；对毁伤前后两张图像中的油罐和机堡预测框进行计数，得出区域油罐和机堡类目标的毁伤数目。
[0013]进一步的，飞机及跑道的毁伤检测方法，包括：根据机场跑道的四个角坐标对跑道定位，并将毁伤后的超大图像进行跑道区域内弹坑的推理识别，得出弹坑地理坐标；
利用最小起降窗口与跑道分别从不同的角度进行逐点卷积，当不存在弹坑时卷积结果为最小起降窗口的面积，记录起降窗口的位置。
[0014]进一步的，具体包括：输入最小起降窗口的宽、高，跑道四个角的坐标和弹坑的坐标，计算跑道的两条直角边的长度并根据长边求斜率；计算跑道中心坐标及跑道的高和宽，求跑道的倾斜角度以确定旋转矩阵，将跑道摆正，将原图中弹坑的坐标处理为只有跑道摆正后的矩形中的坐标，计算最小起降窗口；以跑道为中心进行扩展，穷举搜索最小起降窗口的角度范围和步进，扩展后的跑道逆时针旋转，保持扩展后的跑道矩阵大小不变；旋转后的矩阵与最小起降窗口卷积；在满足最小起降窗口的条件下，如果更宽的窗口依然没有弹坑，则增加窗口的宽度，记录起降窗口的横坐标、纵坐标、宽、高；在起降窗的宽度相同时，如果更高的窗口依然没有弹坑，则增加窗口的高度；最后根据原图中起降窗口四个角的位置输出坐标。
[0015]本专利技术的有益效果：1、基于结构重参数化与8bit量化的深度学习网络结构、分步对高精度卫星遥感图像中机场各目标毁伤的检测，相较于此前的判读员查找及变化检测方法，本专利技术能够在保证精度的同时，大幅提升推理速度及其硬件亲和性；2、使用遥感地图进行机场设施目标的检测数据集构建，以结构重参数化思想及损失函数与激活函数角度改进YOLOv5网络结构，基于单张图像的推理过程实现基于YOLOv5模型的超大卫星图像推理部署，在超大图像中根据机场各类目标的毁伤效果不同分别进行毁伤检测；3、针对飞机及跑道的特点，利用最小起降窗口和跑道分别从不同的角度进行逐点卷积，准确最小起降窗口的面积，从而判断机场是否满足飞机起飞条件。
附图说明
[0016]图1是本专利技术的基于卫星图像机场目标毁伤检测方法流程图；图2是本专利技术的模型训练部署策略对比图；图3是本专利技术的RepVGG结构与ResNet结构对比示意图；图4是本专利技术的改进CSPNet结构示意图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卫星图像机场目标毁伤检测方法，其特征在于，包括以下步骤：步骤一、构建机场设施目标检测数据集，包括构建飞机、机堡、机堡弹坑及跑道弹坑的卫星图像数据集；步骤二、利用结构重参数化思想，结合单路模型以轻量化的YOLOv5网络为基础对CSPNet进行改造，并采用解耦训练时和推理时架构；针对卫星图像小目标的识别，改进训练优化策略；步骤三、采用DoReFa
‑
Net多值量化方法对YOLOv5网络进行优化，同时量化权重、特征值和梯度，反向传播时更新权重的全精度表示，推断时使用权重的量化表示；在权重的量化过程中利用直通估计方式规避0梯度；步骤四、基于YOLOv5网络的超大图像推理部署；步骤五、对油罐毁伤、机堡毁伤、飞机及跑道毁伤进行分类毁伤检测。2.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法，其特征在于，对CSPNet进行改造，并采用解耦训练时和推理时架构，具体包括：将Identity转换为1x1卷积，构造出一个以单位矩阵为卷积核的1x1卷积；将1x1卷积等价转换为3x3卷积并用0填充，将1x1卷积等价转换为3x3卷积并用0填充，其中，3x3卷积的参数是4个3x3矩阵，1x1卷积的参数是1个2x2矩阵；三个分支都有BN层，参数包括累积得到的均值及标准差、学习得到的缩放因子及bias，推理时的卷积层和BN层等价转换为一个带bias的卷积层；将CSPNet中的3
×
3卷积进行结构重参数化改造，重新嵌入到YOLOv5网络中，作为训练时的网络架构，而在推理时，将旁支融合到3
×
3卷积模块中。3.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法，其特征在于，改进训练优化策略，具体包括：对损失函数的优化和对激活函数的适应性改进。4.根据权利要求3所述的基于卫星图像机场目标毁伤检测方法，其特征在于，损失函数的优化包括：采用S
‑
IOU损失函数，分别计算角度成本、距离成本、形状成本和IoU成本，得到IOU损失函数。5.根据权利要求3所述的基于卫星图像机场目标毁伤检测方法，其特征在于，激活函数的适应性改进包括：将3*3卷积与ReLU函数合并为基本算子，将swish函数替换为ReLU函数。6.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法，其特征在于，DoReFa
‑
Net多值量化的公式为：
ꢀꢀ
（12）对特征值的...

【专利技术属性】
技术研发人员：于淼，孙莉，宋政伟，张元淳，侯俊，郑培清，张国和，
申请(专利权)人：江苏思远集成电路与智能技术研究院有限公司，
类型：发明
国别省市：