机场跑道FOD图像检测方法、系统和存储介质技术方案

本申请公开了一种机场跑道FOD图像检测方法、系统和存储介质，涉及图像识别技术，包括以下步骤：获取机场跑道图像；对所述机场跑道进行重叠滑窗裁剪处理，得到裁剪后的多个子图；将多个所述子图输入训练好的异物检测模型中，得到待识别异物的子图位置；根据待识别异物的全局位置将重合度大于阈值的异物区域进行融合，得到融合图像；将融合后的异物区域进行裁剪与尺寸调整，得到待分类的图像块；将待分类图像块输入到训练好的异物分类模型中，得到分类结果。通过实施本申请可以准确识别图像中的小目标和大目标，降低识别的错误率，提高系统的异物检出率，降低虚警率。降低虚警率。降低虚警率。

Airport runway FOD image detection method, system and storage medium

【技术实现步骤摘要】
机场跑道FOD图像检测方法、系统和存储介质


[0001]本申请涉及图像识别技术，特别是一种机场跑道FOD图像检测方法、系统和存储介质。

技术介绍

[0002]机场跑道异物（FOD）包括但不限于金属器件（螺钉、扳手等）、塑料片、玻璃片、碎石、动植物，这些机场跑道外来物品会损坏飞行器，造成重大安全事故，直接影响着航班的安全，因此FOD检测技术的研究与系统的开发具有重要意义。
[0003]目前常见的FOD检测系统可分为3大类，基于图像的FOD检测系统，基于雷达的FOD检测系统，融合图像和雷达的FOD检测系统。其中，依赖图像的FOD检测系统一般基于相机获得图像进行处理，存在以下难点：（1）自然环境条件复杂，存在雨天、阴天、黄昏、强光、大风等情况；（2）机场跑道路面干扰大，存在道路裂缝、道路标识线、边灯等干扰；（3）FOD异物类别繁多、异物状态随机，存在大尺寸、小尺寸异物。针对上述难点，基于传统图像匹配与特征差值法难以适应于多变的自然环境，且准确率低。神经网络提取的卷积特征具有丰富的浅层边缘信息以及高级类别等语义信息，相较于传统算法泛化性高；但是机场跑道地面存在许多干扰直接基于目标检测网络容易产生错检。其次，实际使用中相机采集图像分辨率远高于模通用目标检测模型输入尺寸，如果直接以大尺度图像输入会造成显存爆炸，如果插值调整为模型输入尺度，会大大降低小目标检出率。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种机场跑道FOD图像检测方法、系统和存储介质，以增加小目标的检出率。
[0005]一方面，本申请实施例提供了一种机场跑道FOD图像检测方法，包括以下步骤：获取机场跑道图像；对所述机场跑道进行重叠滑窗裁剪处理，得到裁剪后的多个子图；将多个所述子图输入训练好的异物检测模型中，得到待识别异物的子图位置；根据待识别异物的全局位置将重合度大于阈值的异物区域进行融合，得到融合图像；将未被融合的子图和融合图像进行裁剪和尺寸调整，得到待分类图像；将待分类图像输入到训练好的异物分类模型中，得到分类结果。
[0006]在一些实施例中，其中，所述异物检测模型通过以下方式得到：构建异物检测数据集，所述数据集中包括多个机场跑道图像，所述图像中的机场跑道上随机设置有若干个异物；其中，所述机场跑道图像结合以下方式获得：方式一、拍摄机场跑道上设置有异物的照片；方式二、在机场跑道上没有异物的照片上随机加入异物；
方式三，对方式一和方式二中的图像进行亮度调整、裁剪、平移、旋转或者增加噪声。
[0007]结合以下方式获得方式一和方式二在一些实施例中，所述异物检测模型采用CSPDarkNet53模块作为特征提取网络，采用SPP模块作为特征处理模块，采用PANet模块以融合图像语义特征和浅层特征，采用CIoU损失作为回归损失函数，采用交叉熵损失函数作为分类损失函数。
[0008]在一些实施例中，所述异物分类模型依次包括第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块，其中，所述第一卷积模块、第二卷积模块、第三卷积模块的下采样倍率均为2，第四卷积模块的下采样倍率为1，输入尺寸为64*64，输出特征图尺寸为8*8。
[0009]在一些实施例中，异物分类模型通过以下方式得到：收集包括金属块图片、螺钉图片、扳手图片、高尔夫图片、轮胎皮图片、水瓶图片、鸟图片、其余杂物图片和干扰背景图片作为训练数据集，其中，所述训练数据集中的图片是从机场跑道图像中裁剪得到，所述干扰背景图片中包含标识线、边灯和裂缝；将训练数据集中的图片调整为64*64大小的图像；通过训练数据集对初始化的异物分类模型进行训练，得到训练好的异物分类模型。
[0010]在一些实施例中，所述根据待识别异物的全局位置将重合度大于阈值的异物区域进行融合，得到融合图像，具体是：根据多个待识别异物的全局位置，将两个交集和并集面积比大于0.1的异物区域进行融合，得到融合图像。
[0011]在一些实施例中，将融合后的异物区域进行裁剪和尺寸调整，得到待分类的图像块，具体是：在裁剪异物区域时，均分别向四周扩展若干个像素点后进行裁剪，并将裁剪区域调整图像尺寸为64*64。
[0012]在一些实施例中，所述异物分类模型，包括多种分类，每种分类对应不同的报警级别。
[0013]另一方面，本申请实施例提供了一种机场跑道FOD图像检测系统，包括：存储器，用于存储程序；处理器，用于加载所述程序以执行所述的机场跑道FOD图像检测方法。
[0014]另一方面，本申请实施例提供了一种存储介质，其存储有程序，所述程序被执行时实现所述的机场跑道FOD图像检测方法。
[0015]本申请实施例通过对所述机场跑道进行重叠滑窗裁剪处理，得到裁剪后的多个子图；然后将多个所述子图输入训练好的异物检测模型中，得到待识别异物的子图位置；并将子图位置信息转换为图像中的全局位置信息；接着根据待识别异物的全局位置将重合度大于阈值的异物区域进行融合，得到融合图像；通过这一方式，一方面可以通过重叠滑窗裁剪来适配模型的输入尺寸，可以处理大分辨率相机所拍摄的图像，提高小目标检出率；同时针对重叠滑窗可能在不同的窗口检测到相同物品的问题，本方案会根据检测到异物的位置判断两者的重合度，从而对重合度较高的进行融合，降低误报；同时，系统采用输入多尺度提高大目标检出率；此外，本方案基于二次异物确认，对检测的异物区域进行分类，剔除背景
类，降低了系统的虚警率。
附图说明
[0016]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本申请实施例提供的一种机场跑道FOD图像检测方法；图2是本申请实施例提供的一种FOD异物检测模型的模型结构示意图；图3是本申请实施例提供的一种改进型的ResNet18模型结构示意图；图4是本申请实施例提供的一种边框交并比示意图；图5是FOD异物检测流程图。
具体实施方式
[0018]为使本申请的目的、技术方案和优点更加清楚，以下将参照本申请实施例中的附图，通过实施方式清楚、完整地描述本申请的技术方案，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0019]在本专利技术的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0020]本专利技术的描述中，除非另有明确的限定，设置等词语应做广义理解，所属
技术人员可以结合技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机场跑道FOD图像检测方法，其特征在于，包括以下步骤：获取机场跑道图像；对所述机场跑道进行重叠滑窗裁剪处理，得到裁剪后的多个子图；将多个所述子图输入训练好的异物检测模型中，得到待识别异物的子图位置；将子图位置转换为整个图像的全局位置；根据待识别异物的全局位置将重合度大于阈值的异物区域进行融合，得到融合图像；将融合后的异物区域进行裁剪与尺寸调整，得到待分类的图像块；将待分类图像块输入到训练好的异物分类模型中，得到分类结果。2.根据权利要求1所述的机场跑道FOD图像检测方法，其特征在于，其中，所述异物检测模型通过以下方式得到：构建异物检测数据集，所述数据集中包括多个机场跑道图像，所述图像中的机场跑道上随机设置有若干个异物；其中，所述机场跑道图像结合以下方式获得：方式一、拍摄机场跑道上设置有异物的照片；方式二、在机场跑道上没有异物的照片上随机加入异物；方式三，对方式一和方式二中的图像进行亮度调整、裁剪、平移、旋转或者增加噪声。3.根据权利要求2所述的机场跑道FOD图像检测方法，其特征在于，所述异物检测模型采用CSPDarkNet53模块作为特征提取网络，采用SPP模块作为特征处理模块，采用PANet模块以融合图像语义特征和浅层特征，采用CIoU损失作为回归损失函数，采用交叉熵损失函数作为分类损失函数。4.根据权利要求1所述的机场跑道FOD图像检测方法，其特征在于，所述异物分类模型依次包括第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块，其中，所述第一卷积模块、第二卷积模块、第三卷积模块的下采样倍率均为2，第四卷积模块的下采样倍率为1，输入尺寸为64*64，输出特征图尺寸为8...

【专利技术属性】
技术研发人员：祝礼佳，
申请(专利权)人：广州辰创科技发展有限公司，
类型：发明
国别省市：