基于移动设备与超分重建分割网络的裂缝在线检测方法及系统技术方案

本发明专利技术公开了基于移动设备与超分重建分割网络的裂缝在线检测方法及系统，通过移动设备上的高清视频采集仪对待检测结构的表面进行扫描，将采集到的视频进行压缩后在线传输到检测工作站；由工作站内超分辨率重建分割网络模型的特征相似性模块计算单图像超分辨率模块输出的裂缝特征图像与语义分割超分辨率模块输出的裂缝特征图像之间的相似度，并用相似度指导语义分割超分辨率模块学习高分辨率表示；再用训练好的单图像超分辨率模块、语义分割超分辨率模块对待分割裂缝图像进行超分辨率重建与语义分割。相比现有技术，本技术方案可对高清视频进行压缩达到实时检测的效果，其超分辨率重建分割网络模型分割出的裂缝形状更加准确。更加准确。更加准确。

【技术实现步骤摘要】
基于移动设备与超分重建分割网络的裂缝在线检测方法及系统


[0001]本专利技术涉及结构表面裂缝智能检测领域，尤其涉及基于移动设备与超分重建分割网络的裂缝在线检测方法及系统。

技术介绍

[0002]在过去十几年中，基于视觉的结构损伤检测方法在监测包括桥梁、公路、铁路及隧道等在内的民用基础设施方面受到了极大的关注。在结构周期性检查过程中，裂缝信息为建筑工程的安全性及耐久性评估提供了重要依据，因此准确的检测分析裂缝对建筑物的合理维护具有重要意义。一套自主裂缝检测系统有助于减少操作中的人为参与，降低成本，从而提高检测系统的可靠性和效率。基于计算机视觉的裂缝检测技术具有简单易操作、非接触式和对观测数据的解释更直观等优势，其已被广泛应用于实际工程现场。人们将数码相机与各种类型的无人机和爬壁机器人相结合用于检测目标基础设施中的裂缝。裂缝检测能力在很大程度上取决于数字图像的质量和像素分辨率。数字图像质量和分辨率可以根据数据采集条件而变化，例如工作距离、拍摄角度、压缩倍数和操作振动。使用移动设备从结构获取的数字图像在质量和分辨率上可能无法保证精确检测微小裂缝，同时若拍摄采用的分辨率极高，同步检测时高分辨率视频需要大量带宽以满足数据传输要求。现实中，为了安全应该将移动设备与目标结构保持一定的工作距离，但是对应工作距离的像素分辨率可能不足以进行微裂缝可视化。因此，数字图像的噪声、模糊及分辨率不足可能导致自动裂缝检测能力的下降，从数字图像中提取的裂缝形状特征不够准确。
[0003]因此，现有的自动裂缝检测方法由于拍摄到的像素不高、视频压缩传输过程中的损失，导致从数字图像中提取的裂缝形状特征不够准确已成为本领域技术人员亟待解决的技术问题。

技术实现思路

[0004]本专利技术提供了一种基于移动设备与超分重建分割网络的裂缝在线检测方法及系统，用于解决现有的自动裂缝检测方法由于拍摄到的像素不高，导致从数字图像中提取的裂缝形状特征不够准确的技术问题。
[0005]为解决上述技术问题，本专利技术提出的技术方案为：
[0006]一种基于移动设备与超分重建分割网络的裂缝在线检测方法，包括以下步骤：
[0007]结构表观检测视频数据的采集：将高清视频采集仪与测距仪安装在移动设备上，对待检测结构的表面进行扫描，将扫描得到的、待检测结构的表面视频进行压缩后在线传输到检测工作站；
[0008]构建并训练超分辨率重建分割网络模型；所述超分辨率重建分割网络模型包括：单图像超分辨率模块、语义分割超分辨率模块以及特征相似性模块；所述特征相似性模块用于在所述超分辨率重建分割网络模型训练时，计算所述单图像超分辨率模块训练输出的
裂缝特征图像与语义分割超分辨率模块训练输出的裂缝特征图像之间的相似度，并用所述相似度指导语义分割超分辨率模块学习高分辨率表示；所述单图像超分辨率模块与所述语义分割超分辨率模块连接，所述单图像超分辨率模块、语义分割超分辨率模块均与所述特征相似性模块连接，所述单图像超分辨率模块用于输入裂缝图像，并输出所述裂缝图像的超分辨率图像给所述语义分割超分辨率模块，所述语义分割超分辨率模块用于接受所述裂缝图像的超分辨率图像，并输出所述超分辨率图像的超分辨语义分割图；
[0009]从所述检测工作站获取压缩视频中的视频帧图像，将所述待分割裂缝图像输入至训练好的超分辨率重建分割网络模型中，得到所述待分割裂缝图像的超分辨率语义分割图。
[0010]优选的，结构表观检测视频数据的采集，包括以下步骤：
[0011]高清视频采集仪实时采集待检测结构表面的视频图像，测距仪记录每张视频帧图像对应的采集设备与结构表面的距离；搭建计算机中心，并使用所述计算机中心配置工作站，以所述工作站为载体，构建并训练超分辨率重建分割网络模型，将高清视频进行压缩后实时传输到工作站进行检测。
[0012]优选的，训练超分辨率重建分割网络模型，包括以下步骤：
[0013]从历史数据中获取裂缝训练图像、其对应的标准超分辨率图像以及标准语义分割图；
[0014]将所述裂缝训练图像及其对应的标准超分辨率图像输入到单图像超分辨率模块中进行训练，根据所述单图像超分辨率模块训练输出的超分辨图像与其对应的标准超分辨率图像计算所述单图像超分辨率模块的第一损失；
[0015]将所述裂缝训练图像及其对应的标准语义分割图输入到语义分割超分辨率模块中进行训练，根据所述语义分割超分辨率模块训练输出的语义分割图像与其对应的标准语义分割图像计算所述语义分割超分辨率模块的第二损失；
[0016]特征相似性模块计算所述单图像超分辨率模块训练输出的超分辨图像与其对应所述语义分割超分辨率模块训练输出的语义分割图像之间的特征相似度；
[0017]再根据所述第一损失、第二损失以及所述特征相似度矩阵计算所述超分辨率重建分割网络模型的总损失，调整所述超分辨率重建分割网络模型的训练参数以实现总损失最小，得到训练好的超分辨率重建分割网络模型。
[0018]优选的，根据所述第一损失、第二损失以及所述特征相似度计算所述超分辨率重建分割网络模型的总损失，通过以下公式实现：
[0019]L
total
＝L
ce
+w1L
mse
+w2L
fa
；
[0020]其中，L
total
为总损失，L
ce
为第二损失，L
mse
为第一损失，L
fa
为特征相似度，w1为第一损失的权重，w2为第二损失的权重；
[0021]优选的，所述第一损失L
mse
的计算方式为：
[0022][0023]其中，SISR(X
i
)为单图像超分辨率模块训练输出的第i个超分辨图像，Y
i
为第i个超分辨图像对应的标准超分辨率图像；N为单图像超分辨率模块的训练样本总数。
[0024]所述第二损失L
ce
的计算方式为：
[0025]L
ce
＝w3L
Bce
+w4L
Dice
；
[0026]L
Bce
为所述语义分割超分辨率模块的二分类交叉熵损失；L
Dice
为所述语义分割超分辨率模块的Dice损失，w3与w4为平衡Bce损失和Dice损失之间重要性的权重系数。
[0027]优选的，从历史数据中获取裂缝训练图像、其对应的标准超分辨率图像以及标准语义分割图，包括以下步骤：
[0028]拍摄不同种类裂缝不同分辨率的图像：对于同一裂缝的图像，将分辨率低的图像作为训练图像，分辨率高的图像作为对应的标准超分辨率图像，对所述标准超分辨率图像中的裂缝进行像素级标注，再对标注后的标准超分辨率图像进行二值化处理，得到所述训练图像的标准语义分割图。
[0029]优选的，所述超分辨率重建分割网络模型为U型编
‑
解码器网络结构，所述U型编<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，包括以下步骤：结构表观检测视频数据的采集：将高清视频采集仪与测距仪安装在移动设备上，对待检测结构的表面进行扫描，将扫描得到的、待检测结构的表面视频进行压缩后在线传输到检测工作站；构建并训练超分辨率重建分割网络模型；所述超分辨率重建分割网络模型包括：单图像超分辨率模块、语义分割超分辨率模块以及特征相似性模块；所述特征相似性模块用于在所述超分辨率重建分割网络模型训练时，计算所述单图像超分辨率模块训练输出的裂缝特征图像与语义分割超分辨率模块训练输出的裂缝特征图像之间的相似度，并用所述相似度指导语义分割超分辨率模块学习高分辨率表示；所述单图像超分辨率模块与所述语义分割超分辨率模块连接，所述单图像超分辨率模块、语义分割超分辨率模块均与所述特征相似性模块连接，所述单图像超分辨率模块用于输入裂缝图像，并输出所述裂缝图像的超分辨率图像给所述语义分割超分辨率模块，所述语义分割超分辨率模块用于接受所述裂缝图像的超分辨率图像，并输出所述超分辨率图像的超分辨语义分割图；从所述检测工作站获取压缩视频中的视频帧图像，将所述待分割裂缝图像输入至训练好的超分辨率重建分割网络模型中，得到所述待分割裂缝图像的超分辨率语义分割图。2.根据权利要求1所述的基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，结构表观检测视频数据的采集，包括以下步骤：高清视频采集仪实时采集待检测结构表面的视频图像，测距仪记录每张视频帧图像对应的采集设备与结构表面的距离；搭建计算机中心，并使用所述计算机中心配置工作站，以所述工作站为载体，构建并训练超分辨率重建分割网络模型，将高清视频进行压缩后实时传输到工作站进行检测。3.根据权利要求1所述的基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，训练超分辨率重建分割网络模型，包括以下步骤：从历史数据中获取裂缝训练图像、其对应的标准超分辨率图像以及标准语义分割图；将所述裂缝训练图像及其对应的标准超分辨率图像输入到单图像超分辨率模块中进行训练，根据所述单图像超分辨率模块训练输出的超分辨图像与其对应的标准超分辨率图像计算所述单图像超分辨率模块的第一损失；将所述裂缝训练图像及其对应的标准语义分割图输入到语义分割超分辨率模块中进行训练，根据所述语义分割超分辨率模块训练输出的语义分割图像与其对应的标准语义分割图像计算所述语义分割超分辨率模块的第二损失；特征相似性模块计算所述单图像超分辨率模块训练输出的超分辨图像与其对应所述语义分割超分辨率模块训练输出的语义分割图像之间的特征相似度；再根据所述第一损失、第二损失以及所述特征相似度矩阵计算所述超分辨率重建分割网络模型的总损失，调整所述超分辨率重建分割网络模型的训练参数以实现总损失最小，得到训练好的超分辨率重建分割网络模型。4.根据权利要求1所述的基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，根据所述第一损失、第二损失以及所述特征相似度计算所述超分辨率重建分割网络模型的总损失，通过以下公式实现：
L
total
＝L
ce
+w1L
mse
+w2L
fa
；其中，L
total
为总损失，L
ce
为第二损失，L
mse
为第一损失，L
fa
为特征相似度，w1为第一损失的权重，w2为第二损失的权重。5.根据权利要求1所述的基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，所述第一损失L
mse
的计算方式为：其中，SISR(X
i
)为单图像超分辨率模块训练输出的第i个超分辨图像，Y
i
为第i个超分辨...

【专利技术属性】
技术研发人员：张代源，林凌，袁少铿，张战辉，汪晓丰，胡栋，周鸿基，梁涛，周文，肖华，蒋澎超，汤俊，莫少敏，张辉，张正春，
申请(专利权)人：湖南湘桓工程检测有限公司，
类型：发明
国别省市：