一种机场道面缺陷检测与状态评估方法技术

本发明专利技术涉及一种机场道面缺陷检测与状态评估方法，包括以下步骤：S1：确定目标机场道面范围，获取目标机场道面视频，获取视频帧图像；S2：将所有视频帧图像输入深度估计网络，获取所有视频帧图像对应的深度图；S3：将所有视频帧图像拼接为全尺寸道面RGB图，将深度图拼接成全尺寸道面深度图；S4：将全尺寸道面RGB图和全尺寸道面深度图分别处理为局部RGB图和局部灰度图，并输入语义分割网络，获取分割结果掩码图；S5：将分割结果掩码图拼接为全尺寸缺陷掩码图，并结合全尺寸道面深度图，判断目标机场道面不同缺陷的严重程度，再根据路面状况指数对道面质量状况进行评估。与现有技术相比，该发明专利技术能够实现对机场道面状况高效且准确的评估。评估。评估。

【技术实现步骤摘要】
一种机场道面缺陷检测与状态评估方法


[0001]本专利技术涉及计算机图像分割
，尤其是涉及一种机场道面缺陷检测与状态评估方法。

技术介绍

[0002]由于大量的旅客运输和货邮运输，机场道面不可避免地出现各类病害，根据病害的严重程度计算机场道面状况，并由计算出的路面状况指数(Pavement Condition Index，PCI)指数提醒并辅助道面的查验，以保障飞机的安全起降等。
[0003]路面状况指数(PCI)是一项评价道路破损程度的指标，该指标综合了道面缺陷的类型、损坏程度、损坏范围或密度三方面的定量状况。道面损坏等级评定标准如表1所示。
[0004]表1道面结构损坏等级评定标准
[0005]道面损坏等级差次中良优PCI范围[0,40)[40,55)[55,70)[70,85)[85,100)
[0006]传统的机场道面缺陷检测需要专业人员实地测量，存在以下问题：
[0007](1)由于机场道面承载大量的起飞降落，造成道面外观对比度相对较低，因此增加了检测难度，限制了检测效率；
[0008](2)由于人工检测期间需暂停飞机的起飞降落活动，因此进一步增加了检测成本。
[0009]近年来深度学习快速发展，使用基于深度学习的方法代替人工检测，成为机场道面缺陷检测的趋势之一。目前主流方法是采集2D图片数据，通过基于神经网络的语义分割方法，检测机场道面缺陷。但此类方法只能利用表观特征对不同缺陷进行辨别，在针对纹理特征差异小、但深度特征差异大的缺陷时(例如裂缝与划痕)，检测准确度较差。
[0010]因此，现需要一种有针对性地融合道面2D特征与3D特征的方法，以提高机场道面缺陷检测的效率与准确率。然而，同步采集RGB图像和深度图像极易造成误差，且同时标注两种模态数据需要较高的人工成本。

技术实现思路

[0011]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种机场道面缺陷检测与状态评估方法，该专利技术能够实现对机场道面状况高效且准确的评估。
[0012]本专利技术的目的可以通过以下技术方案来实现：
[0013]本专利技术提供一种机场道面缺陷检测与状态评估方法，包括以下步骤：
[0014]S1：确定目标机场道面范围，获取目标机场道面视频，并抽取视频帧，获取视频帧图像；
[0015]S2：将S1获取的所有视频帧图像依次输入深度估计网络，获取所有视频帧图像各自对应的深度图；
[0016]S3：将S1获取的所有视频帧图像拼接为全尺寸道面RGB图，将S2获取的深度图拼接成全尺寸道面深度图；
[0017]S4：将S3获取的全尺寸道面RGB图和全尺寸道面深度图分别处理为局部RGB图和局部灰度图，并输入语义分割网络，获取分割结果掩码图；
[0018]S5：将S4获取的分割结果掩码图拼接为全尺寸缺陷掩码图，并结合S3获取的全尺寸道面深度图，判断目标机场道面不同缺陷的严重程度，再根据路面状况指数对道面质量状况进行评估。
[0019]优选地，S2中所述深度估计网络采用基于PackNet的单目无监督深度估计网络，所述单目无监督深度估计网络包括用以生成2D图像深度信息的PackNet网络分支和用以生成相邻视频帧图像之间位姿信息的Pose Convnet网络分支。
[0020]优选地，所述S2包括以下步骤：
[0021]S2.1：将d时刻的视频帧图像I
d
输入至PackNet网络分支，生成I
d
的初始深度图，将s时刻和d时刻的视频帧图像I
s
和I
d
输入到Pose ConvNet网络分支，生成s时刻和d时刻的视频帧图像之间的位姿信息；
[0022]S2.2：根据S2.1获取的I
d
的初始深度图、s时刻和d时刻的视频帧图像之间的位姿信息以及s时刻的视频帧图像I
s
，获取d时刻的重构图片数据
[0023]S2.3：根据S2.2获取的d时刻的重构图片数据和d时刻的视频帧图像I
d
计算PackNet网络分支的Loss函数，根据平移向量t
d
‑
＞s
、单目相机在d时刻的瞬时速度v以及s时刻和d时刻之间的时间差Δt
d
‑
＞s
获取Pose ConvNet网络分支的Loss函数，使得深度估计网络自行更新迭代，生成d时刻的视频帧图像对应的深度图；
[0024]S2.4：重复S2.1～S2.3，获取所有视频帧图像对应的深度图。
[0025]优选地，所述S3包括以下步骤：
[0026]S3.1：分别提取相邻两个视频帧图像，即第一视频帧图像和第二视频帧图像的特征点，生成特征描述子，并进行快速近似最邻近匹配，获取相邻两张视频帧图像对应的匹配点；
[0027]S3.2：剔除S3.1中误差较大的匹配点，获取多组可靠匹配点对；
[0028]S3.3：对S3.1中的两个视频帧图像进行分解，获取两个视频帧图像的单应性矩阵H
12
；
[0029]S3.4：根据单应性矩阵H
12
，将第二视频帧图像转换到第一视频帧图像的像素平面进行图像拼接，获取拼接视频帧图像，将第二视频帧图像对应的深度图转换到第一视频帧图像对应的深度图的像素平面进行图像拼接，获取拼接深度图；
[0030]S3.5：将S1获取的所有视频帧图像和S2获取的所有视频帧图像各自对应的深度图均进行S3.1～S3.4的操作，进而获取全尺寸道面RGB图和全尺寸道面深度图。
[0031]优选地，S4中所述语义分割网络采用特征层融合的U
‑
Net语义分割网络。
[0032]优选地，S4中所述语义分割网络包括编码器和解码器，所述编码器包括RGB编码器和深度编码器，所述RGB编码器和所述深度编码器均包括多个编码层，每个所述编码层均包括卷积层、池化层和激活层，所述解码层包括多个解码层，每个所述解码层均包括卷积层、上采样层和激活层。
[0033]优选地，所述RGB编码器和所述深度编码器均包括四个编码层，所述解码器包括三个解码层。
[0034]优选地，所述S4包括以下步骤：
[0035]S4.1：将S3获取的全尺寸道面RGB图和全尺寸道面深度图分别处理为多个局部RGB图和局部灰度图；
[0036]S4.2：将所述局部RGB图和局部灰度图分别进行卷积，获取第一RGB特征图和第一深度特征图；
[0037]S4.3：将所述第一RGB特征图输入所述RGB编码器中，获取第二RGB特征图组，将所述第一深度特征图输入所述深度编码器中，获取第二深度特征图组；
[0038]S4.4：将S4.3获取的两个特征图组中相同尺寸的特征图进行通道维度的拼接，依次获取对应的拼接特征图；
[0039]S4.5：将S4.4中尺寸最小的拼接特征图作为解码器的输入，并结合S4本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机场道面缺陷检测与状态评估方法，其特征在于，包括以下步骤：S1：确定目标机场道面范围，获取目标机场道面视频，并抽取视频帧，获取视频帧图像；S2：将S1获取的所有视频帧图像依次输入深度估计网络，获取所有视频帧图像各自对应的深度图；S3：将S1获取的所有视频帧图像拼接为全尺寸道面RGB图，将S2获取的深度图拼接成全尺寸道面深度图；S4：将S3获取的全尺寸道面RGB图和全尺寸道面深度图分别处理为局部RGB图和局部灰度图，并输入语义分割网络，获取分割结果掩码图；S5：将S4获取的分割结果掩码图拼接为全尺寸缺陷掩码图，并结合S3获取的全尺寸道面深度图，判断目标机场道面不同缺陷的严重程度，再根据路面状况指数对道面质量状况进行评估。2.根据权利要求1所述的一种机场道面缺陷检测与状态评估方法，其特征在于，S2中所述深度估计网络采用基于PackNet的单目无监督深度估计网络，所述单目无监督深度估计网络包括用以生成2D图像深度信息的PackNet网络分支和用以生成相邻视频帧图像之间位姿信息的Pose Convnet网络分支。3.根据权利要求2所述的一种机场道面缺陷检测与状态评估方法，其特征在于，所述S2包括以下步骤：S2.1：将d时刻的视频帧图像I
d
输入至PackNet网络分支，生成I
d
的初始深度图，将s时刻和d时刻的视频帧图像I
s
和I
d
输入到Pose ConvNet网络分支，生成s时刻和d时刻的视频帧图像之间的位姿信息；S2.2：根据S2.1获取的I
d
的初始深度图、s时刻和d时刻的视频帧图像之间的位姿信息以及s时刻的视频帧图像I
s
，获取d时刻的重构图片数据S2.3：根据S2.2获取的d时刻的重构图片数据和d时刻的视频帧图像I
d
计算PackNet网络分支的Loss函数，根据平移向量t
d
‑
＞s
、单目相机在d时刻的瞬时速度v以及s时刻和d时刻之间的时间差Δt
d
‑
＞s
获取Pose ConvNet网络分支的Loss函数，使得深度估计网络自行更新迭代，生成d时刻的视频帧图像对应的深度图；S2.4：重复S2.1～S2.3，获取所有视频帧图像对应的深度图。4.根据权利要求1所述的一种机场道面缺陷检测与状态评估方法，其特征在于，所述S3包括以下步骤：S3.1：分别提取相邻两个视频帧图像，即第一视频帧图像和第二视频帧图像的特征点，生成特征描述子，并进行快速近似最邻近匹配，获取相邻两张视频帧图像对应的匹配点；S3.2：剔除S3.1中误差较大的匹配点，获取多组可靠匹配点对；S3.3...

【专利技术属性】
技术研发人员：姜晓燕，王柏涵，方志军，黄哲栩，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：