基于图像理解的飞机地面积冰检测方法、系统、终端及介质技术方案

本发明专利技术属于飞机地面积冰检测技术领域，公开了基于图像理解的飞机地面积冰检测方法、系统、终端及介质。对采集的飞机地面积冰图像进行预处理并标注飞机地面积冰特性；对飞机地面积冰特性进行分类并将冰厚图像信息量化为数值，基于图像理解融合深度学习方法检测飞机地面积冰状态及属性，结合冰厚计算与冰型识别结果，搭建面向关键部位的飞机地面积冰图像理解检测系统，进行飞机地面积冰厚度与类型识别。本发明专利技术只需用相机对积冰区域采集图像，稍加图像处理，通过厚度转化算法便可得到冰厚数据，输入冰型识别模型，便可识别出积冰种类，鲁棒性好，可靠性高，响应快。本发明专利技术对保障飞机地面除冰以及旅客生命财产安全具有重大的意义。除冰以及旅客生命财产安全具有重大的意义。除冰以及旅客生命财产安全具有重大的意义。

【技术实现步骤摘要】
基于图像理解的飞机地面积冰检测方法、系统、终端及介质


[0001]本专利技术属于飞机地面积冰检测
，尤其涉及一种基于图像理解的飞机地面积冰检测方法、基于图像理解的飞机地面积冰检测系统、接收用户输入程序存储介质、信息数据处理终端。

技术介绍

[0002]目前，飞机作为最快的交通工具，给旅客出行和货物运输带来了极大的便利。飞行安全不仅是保护各大航空公司业务的重中之重，也是每一位消费者最关心的头等大事。当飞机停在机场时，外表面的水分会积聚并变成冰。附着在表面的冰雪等污染物将对飞机起飞安全产生不可预测的后果。飞机表面特别是机翼和尾翼表面结冰，会直接破坏环绕翼切形四周的正常气流，导致升力降低，阻力增加，使飞机起飞时失速。叶片和螺旋桨上的积冰会影响螺旋桨效率和降低起飞速度，甚至会因积冰分布不均而导致螺旋桨震动。检测飞机地面结冰是飞机地面除冰的首要任务。只有及时准确检测积冰的类型和厚度，对飞机进行地面除冰，才能有效保证飞机的平稳运行，避免飞机携带冰雪霜起飞，确保乘客生命财产安全。目前广泛应用的积冰检测方法主要有传感器检测方法和图像特征提取方法。
...

【技术保护点】

【技术特征摘要】
1.一种基于图像理解的飞机地面积冰检测方法，其特征在于，包括：对采集的飞机地面积冰图像进行预处理并标注飞机地面积冰特性；对所述飞机地面积冰特性进行分类并将冰厚图像信息量化为数值，基于图像理解融合深度学习方法检测飞机地面积冰状态及属性，并输出飞机地面积冰状态及属性结果；结合冰厚计算与冰型识别结果，搭建面向关键部位的飞机地面积冰图像理解检测系统，进行飞机地面积冰厚度与类型识别。2.根据权利要求1所述的基于图像理解的飞机地面积冰检测方法，其特征在于，所述基于图像理解的飞机地面积冰检测方法具体包括以下步骤：步骤一，利用双目电子显微镜采集飞机地面积冰图像信息；步骤二，对采集到的各冰型图像进行灰度化、去噪、图像增强以及几何变化预处理操作后，将图像数据集划分为训练集、测试集；步骤三，对步骤二中图像增强后的数据集进行边缘提取，将积冰厚度图像信息量化为数值；步骤四，利用Batch Normalization算法对图像进行批量标准化处理，搭建基于深度残差网络的积冰类型识别模型；步骤五，选择源任务，通过训练公共数据集获取预训练网络模型参数，并利用TrAdaBoosting算法从预训练模型中筛选有效参数；步骤六，加载预训练模型参数到积冰类型识别模型中，冻结低层通用图像特征，重新训练积冰类型特定特征，得到已训练积冰识别模型，输入测试集，输出识别结果；步骤七，对积冰类型识别模型精度进行准确率、召回率评估；步骤八，结合冰厚计算与冰型识别，搭建面向关键部位的飞机地面积冰图像理解检测系统，进行飞机地面积冰厚度与类型识别。3.根据权利要求2所述的基于图像理解的飞机地面积冰检测方法，其特征在于，所述步骤二对采集到的各冰型图像进行灰度化、去噪、图像增强以及几何变化预处理包括：步骤1，对图像进行灰度化处理：选用加权平均值法，利用rab2gray函数，将RGB分量按照不同权值进行加权平均得到灰度图像的灰度值，将输入的原始积冰图像灰度化；F(i,j)＝αR(i,j)+βG(i,j)+γB(i,j)
ꢀꢀꢀꢀꢀꢀꢀ
(1)其中F(i,j)是灰度图像在(i,j)处的灰度值，R(i,j)、G(i,j)、B(i,j)分别为原始图像在(i,j)的三色值，α+β+γ＝1；步骤2，采用高斯滤波3
×
3模板对各冰型图像去噪处理：使用公式(2)所示的计算公式确定3
×
3卷积模板，并使用所得模板扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值；式中，σ是高斯滤波的标准差，影响平滑滤波的效果，根据图像的实际需要选择σ值；步骤3，通过直方图均衡化对去噪后图像进行增强：原始图像的灰度级有n级，灰度级为i的像素点出现的概率为p
i
，第i级灰度的熵为：
该灰度图像的熵为：当时，熵取最大值，所含信息量最大，图像整体层次感最优，使原始图像中的冰型更容易被区分；步骤4，对增强后图像进行空间几何变换操作扩大数据集：(a)旋转：利用旋转变换将图像绕原点顺时针旋转θ角度，各像素点坐标变换如下：式中，x0、y0表示旋转前各像素点的坐标，x、y表示旋转后各像素点的坐标；θ＝5，将增强后的图像每隔5
°
旋转一次；(b)平移：对增强后的数据集随机进行距离在(0,height*0.1]内的竖直方向平移或者在(0,width*0.1]内的水平方向平移；(c)缩放：对数据集中各类冰型图像的各像素乘以1/255缩放因子，其缩放后像素值均在(0，1)区间内，再加上偏置值0.0001消除像素矩阵中存在零值影响；(d)镜像变换：将数据集中的所有图像进行镜像变换，扩大数据集增加图像多样性。4.根据权利要求2所述的基于图像理解的飞机地面积冰检测方法，其特征在于，对图像增强后的数据集进行边缘提取，将积冰厚度图像信息量化为数值包括：第一步，对步骤二高斯滤波后的数据集进行基于Canny算子的边缘提取操作：a)计算梯度方向与幅值：使用一阶有限差分求得偏导矩阵，近似梯度幅值与方向，来描述像素灰度的变化程度与方向；计算每个像素点在水平和竖直方向上的导数G
x
与G
y
，组成梯度向量(G
x
,G
y
)，计算公式如下：式中，P
i.g
为第i位置像素的灰度值，分布如下：再根据下式计算梯度值G与方向O：b)非极大值抑制：保留局部梯度值最大的点，对梯度的方向上进行非极大值抑制处理，
去除伪边缘像素，对梯度角O进行处理，简化梯度值的比较：反三角函数在取值，在式(8)中梯度...

【专利技术属性】
技术研发人员：邢志伟，阚犇，李彪，王立文，龚淼，陈飞，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：