一种基于立体视觉的混凝土桥梁裂缝智能评估方法技术

本发明专利技术涉及混凝土裂缝评估方法的技术领域，更具体地，涉及一种基于立体视觉的混凝土桥梁裂缝智能评估方法，包括如下步骤：建立用于识别混凝土桥梁表面图像中的裂纹的分类模型，然后利用分类模型识别出混凝土桥梁表面图像中的裂纹；建立立体视觉坐标系；利用立体视觉坐标系建立深度模型，深度模型用于量化混凝土桥梁表面图像中的裂纹，从而得到量化的裂纹信息；利用量化的裂纹信息在三维模型中进对裂纹进行评估。该方法由一组广角图像生成的三维重建模型，包括使用深度学习从长焦图像中提取的裂缝信息，可以改进混凝土结构的检测。可以改进混凝土结构的检测。可以改进混凝土结构的检测。

【技术实现步骤摘要】
一种基于立体视觉的混凝土桥梁裂缝智能评估方法


[0001]本专利技术涉及混凝土裂缝评估方法的
，更具体地，涉及一种基于立体视觉的混凝土桥梁裂缝智能评估方法。

技术介绍

[0002]混凝土桥梁的表面裂缝是结构完好性的重要指标。由两个相同的摄像机组成的立体视觉已被使用，导出的深度信息来量化裂纹特征。然而，由于需要较高的测量分辨率，因此通常使用变焦镜头，这使得同时进行裂纹定位和表征变得困难。
[0003]计算机视觉技术可用于自动审查无人机捕获的图像。边缘检测是从混凝土表面图像进行裂缝检测的最常用方法之一，其中裂缝和背景之间的边界可以用边缘表示。主要用于文本检测的图像二值化是有效识别裂纹像素的另一种方法，因为裂纹和文本都由可分辨的暗曲线和线条组成。分别利用细化和边缘检测方法将检测到的裂纹像素进一步划分为骨架(一组中心像素)和边缘；随后，可以通过最接近骨架像素的两个边缘像素之间的距离来计算裂纹宽度。尽管计算机视觉技术已显示出改进检测的巨大潜力，但在实践中，将表面图像上的非裂纹(如阴影、污点和孔洞)与裂纹区分开来仍具有挑战性。
[0004]卷积神经网络(Convolutional neural network，CNN)是一种深度学习方法；如今，许多深度学习方法已经成功地实现了从表面图像自动识别裂纹。然而，在实践中需要一个框架来有效地评估三维(3D)空间中结构的整个外部。事实上，了解表面裂纹的确切位置和相应的严重程度对于仔细了解局部损伤对全尺寸桥梁整体健康的影响非常重要。
[0005]为了在实践中评估裂纹信息，运动结构(structure from motion，SFM)被认为是处理序列图像(如从无人机勘测中获取的图像)的有效工具，用于结构的三维重建。与使用无人机拍摄的单一图像相比，SFM的应用允许定位结构上的裂纹，并更好地理解裂纹对结构健康的意义。然而，需要仔细解决几个实际问题，以便改进检查：(1)需要一种获得比例因子的策略(例如，参考目标和激光位移传感器)来确定裂纹和结构的实际尺寸；(2)摄像机的倾斜角度可能导致对裂纹宽度的低估；(3)精确的裂纹量化和高效的三维重建很难同时实现，因为每个性能高度依赖于所用透镜的焦距。
[0006]现有一种结合图像识别技术的桥梁裂纹系统及方法，包括分布式光纤应变传感子系统、数据处理子系统、无人机子系统和裂纹评估与管理子系统，利用分布式光纤应变传感子系统及数据处理子系统监测应变数据，异常则发送巡检指令给无人机子系统，无人机子系统采集数据异常位置的图像并发送至数据处理子系统，再通过裂纹识别算法识别图像中的裂纹并将计算结果呈现给裂纹评估与管理子系统，裂纹评估与管理子系统对裂纹识别结果进行评价，建立裂纹档案。
[0007]上述现有的桥梁裂纹识别方法，其对裂纹的量化评估较为粗糙，无法实现精确的裂缝量化评估。

技术实现思路

[0008]本专利技术为克服上述现有技术所述的无法实现精确的裂缝量化评估的问题，提供一种基于立体视觉的混凝土桥梁裂缝智能评估方法。
[0009]为解决上述技术问题，本专利技术采用的技术方案是：一种基于立体视觉的混凝土桥梁裂缝智能评估方法，包括如下步骤：
[0010]S1.建立用于识别混凝土桥梁表面图像中的裂纹的分类模型，然后利用分类模型识别出混凝土桥梁表面图像中的裂纹；
[0011]S2.建立立体视觉坐标系；
[0012]S3.利用立体视觉坐标系建立深度模型，深度模型用于量化混凝土桥梁表面图像中的裂纹，从而得到量化的裂纹信息；
[0013]S4.利用量化的裂纹信息在三维模型中进对裂纹进行评估。
[0014]进一步地，所述S1具体包括如下步骤：
[0015]S11.将灰度的混凝土桥梁表面图像中的每个像素与在预定义窗口内计算的相应阈值T进行比较，将像素转换为0或1，得到二值化后的混凝土桥梁表面图像；
[0016]S12.通过ResNet利用二值化后的混凝土桥梁表面图像建立鲁棒分类模型。
[0017]进一步地，所述步骤S11中，阈值T由下式给出：
[0018][0019]所述m为窗口内像素强度的平均值，所述s为窗口内像素强度的标准偏差；所述R为标准偏差的标准化因子；所述k是控制阈值的灵敏度。
[0020]进一步地，所述步骤S2为利用长焦相机及广角相机组成的立体视觉系统建立立体视觉坐标系。
[0021]进一步地，所述立体视觉系统包括长焦相机、广角相机及传感控制器；所述长焦相机及广角相机的光学中心的距离为10cm；所述长焦相机的焦距为6mm，所述广角相机的焦距为16mm，且长焦相机及广角相机的工作距离为1000mm。
[0022]进一步地，所述步骤S2中的立体视觉坐标系包括世界坐标系、广角相机坐标系、长焦相机坐标系、长焦图像坐标系及广角图像坐标系。
[0023]进一步地，所述S3具体包括如下步骤：
[0024]S31.通过加速鲁棒特征从长焦图像及广角图像中寻找匹配点，长焦图像及广角图像中的第i匹配点分别为：I1(i)＝[u1(i) ν1(i) 1]T
和I2(i)＝[u2(i) v2(i) 1]T
；
[0025]S32.排除异常匹配点，每个匹配点的e
i
为：
[0026]e
i
＝I1(i)
T F3×
3 I2(i)＝0
ꢀꢀꢀ
(2)
[0027]匹配点的e
i
为0即为正常匹配点，大于指定阈值的点为异常匹配点，将异常匹配点排除后即可获得全部正常匹配点；
[0028]S33.计算长焦图像及广角图像中每个匹配点中的视差d(j)：
[0029][0030]f1和f2分别是广角相机和长焦相机的焦距；o1和o2分别是广角相机和长焦相机的光学中心；u1(j)和u2(j)分别是第j个匹配点的水平位置；
[0031]S34.计算第j个匹配点的深度：
[0032][0033]其中z1(j)和z2(j)分别是长焦图像坐标系及广角图像坐标系中第j个匹配点的深度；
[0034]S35.校准第j个匹配点的深度数据。
[0035]进一步地，所述步骤S35具体为：
[0036]得出长焦相机每个匹配点的新深度
[0037][0038]计算在世界坐标系中的第j个匹配点P
′
(j)到长焦相机图像坐标系的投影，公式为：
[0039][0040]其中K2是固有参数，对应于长焦相机的焦距和主点，R2和T2分别是长焦相机的旋转矩阵和平移向量；设[u1′
(j)v1′
(j)1]T
为基于坐标变换的广角相机中的对应点，其公式如下：
[0041][0042]其中，sf(j)是广角相机的图像坐标系中第j个匹配点的比例因子；K1为固有参数，对应广角相机的焦距和主点；R1和T1分别是广角相机的旋转矩阵和平移向量；
[0043]每个图像坐标系中匹配点之间的关系用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于立体视觉的混凝土桥梁裂缝智能评估方法，其特征在于，包括如下步骤：S1.建立用于识别混凝土桥梁表面图像中的裂纹的分类模型，，然后利用分类模型识别出混凝土桥梁表面图像中的裂纹；S2.建立立体视觉坐标系；S3.利用立体视觉坐标系建立深度模型，深度模型用于量化混凝土桥梁表面图像中的裂纹，从而得到量化的裂纹信息；S4.利用量化的裂纹信息在三维模型中进对裂纹进行评估。2.根据权利要求1所述的基于立体视觉的混凝土桥梁裂缝智能评估方法，其特征在于，所述S1具体包括如下步骤：S11.将灰度的混凝土桥梁表面图像中的每个像素与在预定义窗口内计算的相应阈值T进行比较，将像素转换为0或1，得到二值化后的混凝土桥梁表面图像；S12.通过ResNet利用二值化后的混凝土桥梁表面图像建立鲁棒分类模型。3.根据权利要求2所述的基于立体视觉的混凝土桥梁裂缝智能评估方法，其特征在于，所述步骤S11中，阈值T由下式给出：所述m为窗口内像素强度的平均值，所述s为窗口内像素强度的标准偏差；所述R为标准偏差的标准化因子；所述k是控制阈值的灵敏度。4.根据权利要求1所述的基于立体视觉的混凝土桥梁裂缝智能评估方法，其特征在于，所述步骤S2为利用长焦相机及广角相机组成的立体视觉系统建立立体视觉坐标系。5.根据权利要求4所述的基于立体视觉的混凝土桥梁裂缝智能评估方法，其特征在于，所述立体视觉系统包括长焦相机、广角相机及传感控制器；所述长焦相机及广角相机的光学中心的距离为10cm；所述长焦相机的焦距为6mm，所述广角相机的焦距为16mm，且长焦相机及广角相机的工作距离为1000mm。6.根据权利要求4所述的基于立体视觉的混凝土桥梁裂缝智能评估方法，其特征在于，所述步骤S2中的立体视觉坐标系包括世界坐标系、广角相机坐标系、长焦相机坐标系、长焦图像坐标系及广角图像坐标系。7.根据权利要求4所述的基于立体视觉的混凝土桥梁裂缝智能评估方法，其特征在于，所述S3具体包括如下步骤：S31.通过加速鲁棒特征从长焦图像及广角图像中寻找匹配点，，长焦图像及广角图像中的第i匹配点分别为：I1(i)＝[u1(i) v1(i) 1]
T
和I2(i)＝[u2(i) v2(i) 1]
T
；S32.排除异常匹配点，每个匹配点的e
i
为：e
i
＝I1(i)
T
F3×3I2(i)＝0
ꢀꢀ
(2)匹配点的e
i
为0即为正常匹配点，大于指定阈值的点为异常匹配点，将异常匹配点排除后即可获得全部正常匹配点；S33.计算长焦图像及广角图像中每个匹配点中的视差d(j)：...

【专利技术属性】
技术研发人员：徐森，赵晨，雷钢，杨阳，夏宏生，
申请(专利权)人：广东水利电力职业技术学院广东省水利电力技工学校，
类型：发明
国别省市：