桥梁健康诊断的计算机视觉方法和智能摄像系统技术方案

本发明专利技术公开了桥梁健康诊断的计算机视觉方法和智能摄像系统，属于桥梁健康监测技术领域，解决现有技术中用于桥梁健康诊断的图像识别精度低、实时性差和效率低的问题。本发明专利技术的方法包括：建立桥梁多类型病害的轻量化语义分割深度卷积神经网络模型；建立桥梁多类型病害的图像数据集，获取训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型；实时采集桥梁图像，获取所述桥梁图像的语义分割结果图。本发明专利技术适用于实时在线对桥梁多类型病害的健康情况进行监测和检测，可以将“图像采集、分析计算、结果展示”一体化部件，直接搭载或集成到无人机、机器人、检测车等巡检设备上，实现桥梁病害图像的自动化采集和智能化识别。梁病害图像的自动化采集和智能化识别。梁病害图像的自动化采集和智能化识别。

【技术实现步骤摘要】
桥梁健康诊断的计算机视觉方法和智能摄像系统


[0001]本申请涉及桥梁健康监测
，尤其涉及桥梁健康诊断的计算机视觉方法和智能摄像系统。

技术介绍

[0002]大型桥梁是一个国家和地区的重要基础设施，在长达几十年的服役期内由于环境侵蚀、材料老化、往复荷载产生的疲劳效应等复杂因素耦合作用，会不可避免地出现结构病害(如混凝土裂缝、混凝土剥落、钢材疲劳裂纹等)和变形(如超限幅振动、主梁挠度、支座脱空等)。桥梁结构病害损伤和变形程度的不断累积会直接威胁服役安全，严重时甚至导致极端灾难事故的发生。因此，桥梁健康监测与检测对保证大型桥梁结构服役安全是十分必要的。
[0003]传统桥梁健康监测与检测主要分为监测与检测两部分。传统的桥梁监测方法需要沿桥梁布设传感器、对桥梁局部响应进行长期监测，然而由于传感器数量有限带来的信息不完备问题、基于动力反演理论的损伤识别方法存在病态问题、环境作用耦合效应、测量噪声以及对微小损伤不敏感等方面的限制，无法真正有效地实现桥梁健康状态的监测与评估。传统的桥梁检测方法主要依靠巡检人员目视检查和定期无损检测。基于目视检查的人工巡检往往是不准确的，其结果严重依赖于检查人员的主观定性判断；无损检测则依靠具有专家知识的专业技术人员携带昂贵的或特种功能的仪器设备或传感器。这两种传统的桥梁健康监测与检测方式都需要消耗大量的人力物力财力，并且效率低下。
[0004]随着人工智能技术在近年来取得重大突破，计算机视觉和深度学习作为人工智能领域的重要分支，可以让计算机学会看懂并且解释真实世界。基于深度学习的计算机视觉技术只需要成本相对较低的摄像头作为数据采集设备，满足了尽量少地使用昂贵的专业仪器和传感器的要求，同时也满足直观、快捷的检测需求。但是，传统基于计算机视觉的桥梁健康监测与检测技术往往是通过无人机或机器人在桥检现场获取桥梁病害图像，然后将图像数据传输至数据中心，再由大型服务器进行运算、获得检测结果。在这个过程中，桥梁病害图像的数据采集、传输、计算和反馈是独立进行的，因此实时性差、无法在桥检现场立即获得病害识别结果从而进行维修决策，并且每个环节的完成质量均有可能影响到识别精度(如数据传输过程的图像压缩和丢包等)。

技术实现思路

[0005]为了解决现有技术中用于桥梁健康诊断的图像识别精度低、实时性差和效率低的问题，本专利技术提供了桥梁健康诊断的计算机视觉方法和智能摄像系统。
[0006]本专利技术是通过以下技术方案实现的，本专利技术一方面，提供桥梁健康诊断的计算机视觉方法，所述方法包括：
[0007]步骤1、建立桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型包括编码器和解码器；
[0008]所述编码器包括骨干网络和空洞卷积金字塔池化；
[0009]所述骨干网络包括卷积模块和若干个瓶颈残差模块，第一层为所述卷积模块，所述卷积模块用于对输入图像进行低层级特征提取，输出低层级特征图至第一个瓶颈残差模块；
[0010]所述若干个瓶颈残差模块顺次连接，每个瓶颈残差模块依次对上一层模块输出的特征图的尺寸按预设值进行缩小并进行较高层级特征提取，输出相应的特征图，当满足预设缩小条件后，对上一层模块输出的特征图进行较高层级特征提取，最终获取较高层级特征图；
[0011]所述空洞卷积金字塔池化对所述较高层级特征图进行不同尺度感受野的特征提取，获取多个不同尺度感受野特征图，并对所述多个不同尺度感受野特征图的通道进行合并，获取高层级特征图；
[0012]所述解码器对所述高层级特征图进行上采样，获取上采样后的高层级特征图，并对所述骨干网络中第一个瓶颈残差模块输出的特征图进行卷积，获取卷积后的特征图，将所述上采样后的高层级特征图和所述卷积后的特征图的通道进行合并，获取中间特征图，对所述中间特征图进行卷积和上采样，最终获取与所述输入图像尺寸相同的语义分割结果图；
[0013]步骤2、建立桥梁多类型病害的图像数据集，将所述图像数据集按照病害类型进行分类，获取每一个病害类型的图像集，将所述图像集分为训练集和测试集；
[0014]利用所述训练集和所述测试集对所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型进行训练，获取训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型；
[0015]步骤3、实时采集桥梁图像，根据所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，将所述桥梁图像分成子图像；
[0016]将所述子图像输入所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，获取所述子图像的语义分割结果图；
[0017]将所述子图像的语义分割结果图进行拼接，获取所述桥梁图像的语义分割结果图。
[0018]进一步地，所述瓶颈残差模块包括第一瓶颈残差模块和第二瓶颈残差模块；
[0019]所述第二瓶颈残差模块的步长是所述第一瓶颈残差模块的步长的2倍。
[0020]进一步地，所述第一瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块、和第二卷积模块，还包括特征值加和模块和残差连接；
[0021]所述第二瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块和第二卷积模块；
[0022]所述第一卷积模块为1
×
1卷积，其激活函数为ReLU6激活函数；所述深度可分离卷积模块为3
×
3卷积，其激活函数为ReLU6激活函数；所述第二卷积模块为1
×
1卷积，其激活函数为linear激活函数；
[0023]所述第一卷积模块和所述残差连接的输入均为上一层模块输出的特征图；
[0024]所述特征值加和模块将残差连接输出的特征图上的特征值与对应的第二卷积模块输出的特征图上的特征值进行加和，获取特征加和后的特征图。
[0025]进一步地，所述空洞卷积金字塔池化包括1
×
1卷积模块、若干个空洞卷积模块、全局平均池化模块和通道合并模块；
[0026]所述1
×
1卷积模块对所述较高层级特征图的每个像素点进行特征提取，获取第一尺度感受野特征图；
[0027]所述若干个空洞卷积模块对所述较高层级特征图进行不同空洞率的特征提取，获取多个不同空洞率的尺度感受野特征图，其中，每个所述空洞卷积模块的卷积核具有相同的尺寸、不同的空洞率和与所述空洞率相匹配的补零率；
[0028]所述全局平均池化模块对所述较高层级特征图进行全局平均池化，获取平均池化的尺度感受野特征图；
[0029]所述通道合并模块对所述第一尺度感受野特征图、所述多个不同空洞率的尺度感受野特征图和所述平均池化的尺度感受野特征图的通道进行合并，获取高层级特征图。
[0030]第二方面，本专利技术提供了桥梁健康诊断的计算机视觉装置，所述装置包括：图像获取模块、模型建立模块、模型训练模块和图像识别模块；
[0031]所述图像获取模块用于采集桥梁多类型病害的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.桥梁健康诊断的计算机视觉方法，其特征在于，所述方法包括：步骤1、建立桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型包括编码器和解码器；所述编码器包括骨干网络和空洞卷积金字塔池化；所述骨干网络包括卷积模块和若干个瓶颈残差模块，第一层为所述卷积模块，所述卷积模块用于对输入图像进行低层级特征提取，输出低层级特征图至第一个瓶颈残差模块；所述若干个瓶颈残差模块顺次连接，每个瓶颈残差模块依次对上一层模块输出的特征图的尺寸按预设值进行缩小并进行较高层级特征提取，输出相应的特征图，当满足预设缩小条件后，对上一层模块输出的特征图进行较高层级特征提取，最终获取较高层级特征图；所述空洞卷积金字塔池化对所述较高层级特征图进行不同尺度感受野的特征提取，获取多个不同尺度感受野特征图，并对所述多个不同尺度感受野特征图的通道进行合并，获取高层级特征图；所述解码器对所述高层级特征图进行上采样，获取上采样后的高层级特征图，并对所述骨干网络中第一个瓶颈残差模块输出的特征图进行卷积，获取卷积后的特征图，将所述上采样后的高层级特征图和所述卷积后的特征图的通道进行合并，获取中间特征图，对所述中间特征图进行卷积和上采样，最终获取与所述输入图像尺寸相同的语义分割结果图；步骤2、建立桥梁多类型病害的图像数据集，将所述图像数据集按照病害类型进行分类，获取每一个病害类型的图像集，将所述图像集分为训练集和测试集；利用所述训练集和所述测试集对所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型进行训练，获取训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型；步骤3、实时采集桥梁图像，根据所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，将所述桥梁图像分成子图像；将所述子图像输入所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，获取所述子图像的语义分割结果图；将所述子图像的语义分割结果图进行拼接，获取所述桥梁图像的语义分割结果图。2.根据权利要求1所述的桥梁健康诊断的计算机视觉方法，其特征在于，所述瓶颈残差模块包括第一瓶颈残差模块和第二瓶颈残差模块；所述第二瓶颈残差模块的步长是所述第一瓶颈残差模块的步长的2倍。3.根据权利要求2所述的桥梁健康诊断的计算机视觉方法，其特征在于，所述第一瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块、和第二卷积模块，还包括特征值加和模块和残差连接；所述第二瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块和第二卷积模块；所述第一卷积模块为1
×
1卷积，其激活函数为ReLU6激活函数；所述深度可分离卷积模块为3
×
3卷积，其激活函数为ReLU6激活函数；所述第二卷积模块为1
×
1卷积，其激活函数为linear激活函数；所述第一卷积模块和所述残差连接的输入均为上一层模块输出的特征图；所述特征值加和模块将残差连接输出的特征图上的特征值与对应的第二卷积模块输
出的特征图上的特征值进行加和，获取特征加和后的特征图。4.根据权利要求1所述的桥梁健康诊断的计算机视觉方法，其特征在于，所述空洞卷积金字塔池化包括1
×
1卷积模块、若干个空洞卷积模块、全局平均池化模块和通道合并模块；所述1
×
1卷积模块对所述较高层级特征图的每个像素点进行特征提取，获取第一尺度感受野特征图；所述若干个空洞卷积模块对所述较高层级特征图进行不同空洞率的特征提取，获取多个不同空洞率的尺度感受野特征图，其中，每个所述空洞卷积模块的卷积核具有相同的尺寸、不同的空洞率和与所述空洞率相匹配的补零率；所述全局平均池化模块对所述较高层级特征图进行全局平均池化，获取平均池化的尺度感受野特征图；所述通道合并模块对所述第一尺度感受野特征图、所述多个不同空洞率的尺度感受野特征图和所述平均池化的尺度感受野特征图的通道进行合并，获取高层级特征图。5.桥梁健康诊断的计算机视觉装置，其特征在于，所述装置包括：图像获取模块、模型建立模块、模型训练模块和图像识别模块；所述图像获取模块用于采集桥梁多类型病害的图像数据集和桥梁图像；所述模型建立模块用于建立桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型包括编码器和解码器；所述编码器包括骨干网络和空洞卷积金字塔池化...

【专利技术属性】
技术研发人员：李惠，徐阳，张东昱，乔威栋，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：