机场跑道异物检测方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种机场跑道异物检测方法、装置及存储介质，其中，机场跑道异物检测方法，包括：获取第一图像，所述目标图像为初始图像流中非第一帧的图像；对所述第一图像进行超分辨处理，得到第二图像；将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。本发明专利技术实施例可以有效解决在一些情况下图像模糊导致FOD难以识别、FOD误检率高及实时性低的问题，提高FOD检测的速度和准确率，有效提高了模糊图像帧下检测FOD目标的能力。有效提高了模糊图像帧下检测FOD目标的能力。有效提高了模糊图像帧下检测FOD目标的能力。

【技术实现步骤摘要】
机场跑道异物检测方法、装置及存储介质


[0001]本专利技术涉及深度学习
，具体地，涉及一种机场跑道异物检测方法、装置及存储介质。

技术介绍

[0002]机场跑道异物(Foreign Object Debris，FOD)通常指能够损坏航空器或系统的某些外来物体。典型的FOD目标有：混凝土沥青碎块、金属器件、橡胶碎片、塑料制品、鸟尸等。近年来，由于FOD造成的机场飞机起降事故屡见不鲜，人员伤亡惨重。保障机场飞机的起降安全一直以来是机场安全管理的核心部分，而针对FOD的快速精确检测已经成为保障飞机飞行安全的一项重要且有效的技术。
[0003]一般来说，FOD可以基于图像进行检测，然而由于对机场跑道进行图像采集的环境可能比较复杂，例如，可能会在大风、黑夜或者背光等条件下对图像进行采集，如此，可能导致采集的图像比较模糊，进而导致FOD的检测效果较差。

技术实现思路

[0004]针对现有技术中的缺陷，本专利技术的目的是提供一种机场跑道异物检测方法、装置及存储介质。
[0005]根据本专利技术实施例提供的机场跑道异物检测方法，包括获取第一图像，所述目标图像为初始图像流中非第一帧的图像；
[0006]对所述第一图像进行超分辨处理，得到第二图像；
[0007]将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。
[0008]本专利技术实施例还提供了一种机场跑道异物检测装置，包括：
[0009]第一获取模块，用于获取第一图像，所述目标图像为初始图像流中非第一帧的图像；
[0010]处理模块，用于对所述第一图像进行超分辨处理，得到第二图像；
[0011]检测模块，用于将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。
[0012]本专利技术实施例还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现上述的机场跑道异物检测方法的步骤。
[0013]本申请实施例中，获取第一图像，并针对第一图像进行超分辨处理，得到第二图像，将第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。本申请实施例中，结合超分辨处理与机场跑道异物检测模型实现对第一图像中的FOD的检测，可以有效解决在一些情况下图像模糊导致FOD难以识别、FOD误检率高及实时性低的问题，提高FOD检测的速度和准确率，有效提高了模糊图像帧下检测FOD目标的能力。
附图说明
[0014]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：
[0015]图1为本专利技术实施例提供的机场跑道异物检测方法的流程示意图；
[0016]图2为本专利技术实施例中对第一图像进行超分辨处理的流程示意图；
[0017]图3为本专利技术实施例中得到训练完成的机场跑道异物检测模型的过程的流程示意图；
[0018]图4为本专利技术实施例中初始机场跑道异物检测模型的一个举例的模型框架图；
[0019]图5为本专利技术实施例提供的机场跑道异物检测方法在一具体应用例中的流程示意图；
[0020]图6为本专利技术实施例提供的机场跑道异物检测装置的结构示意图。
具体实施方式
[0021]下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变形和改进。这些都属于本专利技术的保护范围。
[0022]在本专利技术的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0023]如图1所示，本专利技术实施例提供的机场跑道异物检测方法，包括：
[0024]步骤101，获取第一图像，所述目标图像为初始图像流中非第一帧的图像；
[0025]步骤102，对所述第一图像进行超分辨处理，得到第二图像；
[0026]步骤103，将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。
[0027]初始图像流可以是通过摄像头等类型的光学视频图像采集设备采集得到的视频，结合一实际应用场景，光学视频图像采集设备通常设置在机场跑道不远的室外环境，范围大约在300米以内，由于风、飞机起飞降落等会引起光学视频图像采集设备的振动，会造成光学视频图像在最长焦距情况下抖动大，产生模糊。换而言之，针对机场跑道异物(Foreign Object Debris，FOD)进行拍摄得到初始图像流中，往往可能会存在模糊图像。
[0028]本实施例中，第一图像可以是初始图像流中非第一帧的图像，考虑到第一图像可能会比较模糊，可以对第一图像进行超分辨处理，得到第二图像。对于超分辨处理，可以是基于深度学习模型进行的，总的来说，通过超分辨处理，可以将低清晰度或者模糊的图像，重建成高清晰度的图像，从而有助于提高后续针对模糊图像帧中的FOD的检测准确性。
[0029]本实施例可以针对第二图像中的FOD的检测，具体可以通过训练完成的机场跑道异物检测模型进行实现；而机场跑道异物检测模型，同样可以是深度学习模型，例如神经网络、支持向量机、随机森林等等，此处不做具体限定。而为了简化描述，以下主要以深度学习模型为神经网络为例进行说明。
[0030]将第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果，第一检测结果可以是第二图像中的FOD的位置与类型；例如，从可视化的角度来说，可以是在第二图像中显示用于框选FOD的预测框，并针对预测框中的FOD预测具体的类型，比如混凝土沥青碎块、金属器件或者塑料制品等。
[0031]本申请实施例中，获取第一图像，并针对第一图像进行超分辨处理，得到第二图像，将第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。本申请实施例中，结合超分辨处理与机场跑道异物检测模型实现对第一图像中的FOD的检测，可以有效解决在一些情况下图像模糊导致FOD难以识别、FOD误检率高及实时性低的问题，提高FOD检测的速度和准确率，有效提高了模糊图像帧下检测FOD目标的能力。
[0032]可选地，如图2所示，上述步骤102，对所述第一图像进行超分辨处理，得到第二图像，包括：
[0033]步骤201，获取所述第一图像的构造(Structure)信息与细节(Details)信息，以及第三图像的Structure信息与Details信息；所述第三图像为所述初始图像流中所述第一图像的前一帧图像；
[0034]步骤202，依据所述第一图像的Structure信息与Details信息，以及所述第三图像的Structure信息与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机场跑道异物检测方法，其特征在于，包括：获取第一图像，所述目标图像为初始图像流中非第一帧的图像；对所述第一图像进行超分辨处理，得到第二图像；将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行超分辨处理，得到第二图像，包括：获取所述第一图像的构造Structure信息与细节Details信息，以及第三图像的Structure信息与Details信息；所述第三图像为所述初始图像流中所述第一图像的前一帧图像；依据所述第一图像的Structure信息与Details信息，以及所述第三图像的Structure信息与Details信息，确定目标Structure信息与目标Details信息；对所述目标Structure信息与所述目标Details信息进行拼接，得到所述第二图像。3.根据权利要求1所述的方法，其特征在于，所述将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果之前，所述方法还包括：建立初始机场跑道异物检测模型；将训练样本输入到所述初始机场跑道异物检测模型中，得到初始检测结果，所述训练样本包括样本图像以及对所述样本图像的标注信息；根据所述标注信息与所述初始检测结果，对所述初始机场跑道异物检测模型的网络参数进行调整，直至所述初始机场跑道异物检测模型中的损失函数的损失值满足预设条件时，获得所述训练完成的机场跑道异物检测模型。4.根据权利要求3所述的方法，其特征在于，所述将训练样本输入到所述初始机场跑道异物检测模型中，得到初始检测结果之前，所述方法还包括：对获取的第一样本图像进行自动标注，得到第一训练样本；对所述第一训练样本进行图像增强处理，得到第二训练样本；其中，所述训练样本包括所述第一训练样本与所述第二训练样本，所述图像增强处理包括以下至少一种处理方式：马赛克Mosai...

【专利技术属性】
技术研发人员：许学凡，陈晓林，姜官男，谭越，龚成，刘峰，黄高阳，
申请(专利权)人：上海微波技术研究所中国电子科技集团公司第五十研究所，
类型：发明
国别省市：