一种水库大坝护坡表面损伤视觉检测方法及仿生装置制造方法及图纸

本发明专利技术公开了一种水库大坝护坡表面损伤视觉检测方法及仿生装置，该方法通过摄像机标定、获取校正图像、灰度化与平滑、改进Canny边缘检测、基于小波变换去噪、立体匹配、三维重构、评估损伤形式与程度，最后将相关数据反馈给用户。水库大坝护坡表面损伤视觉检测的仿生装置包括仿生水泥树和双目立体视觉系统即两个微型摄像机，仿生水泥树的中部设置有仿生白鹭头，双目立体视觉系统安装在仿生白鹭头上，仿生白鹭头可以通过转动来调整双目立体视觉系统的角度，实时监测水库大坝护坡表面的裂纹或凹坑等护坡损伤。本发明专利技术的成本低，结构简单，检测精度高，可以实时检测大坝护坡的表面损伤情况，节省技术测量人员。

A Visual Detection Method and Bionic Device for Dam Slope Protection Surface Damage

【技术实现步骤摘要】
一种水库大坝护坡表面损伤视觉检测方法及仿生装置
本专利技术涉及检测
，特别涉及一种水库大坝护坡表面损伤视觉检测方法及仿生装置。
技术介绍
水库大坝多位于山区，三面环山，大坝护坡的裂纹或塌陷凹坑等损伤是主要病害之一，一旦发生台风暴雨或无法预测的地震等自然灾害，损伤致使水库决堤将给人民带来严重危害，特别是突发性的塌陷凹坑最危险。因此，需要定期对护坡健康状况进行检测，早期发现和损伤评估与灾害预警具有重要意义。传统的人工定期检测裂纹及其损伤方法作业时存在危险，检测精确度很低，因水库位于山区，交通不便，水坝健康检测并不及时，产生的裂缝或小的凹坑未及时发现和修复造成缝里面还长出杂草，使裂纹或损伤处快速扩展。虽然基于图像的损伤检测及水泥裂纹识别研究已形成热点，但是水库大坝护坡材料有混泥土和浆砌石等不同材料，加之杂草背景，飞行器视觉定期的远距离测量斜度上护坡裂纹很难保证精度。因此，迫切需要研究复杂背景下的水库大坝护坡裂纹和凹坑等表面损伤的检测方法。
技术实现思路
本专利技术的目的在于克服现有技术中存在的缺点，提供一种检测精度高、成本低、结构简单的水库大坝护坡表面损伤视觉检测方法及仿生装置。本专利技术的目的通过下述技术方案实现：一种水库大坝护坡表面损伤视觉检测方法，包括下述步骤：(1)摄像机标定：首先，分别对两个摄像机进行标定，获取用于校正拍摄图像畸变的摄像机内部参数和畸变参数；进行立体视觉的标定，得到两个摄像机之间的位置关系及用于进行三维重构的重投影矩阵；由于两个摄像机安装完成后相对位置已经固定了，上述参数都不会再改变，因此该步骤只需在开始进行一次；(2)获取校正图像：通过摄像机来捕获全方位裂纹或凹坑的数字图像，然后根据摄像机的标定结果对数字图像进行畸变校正，得到裂纹或凹坑的校正图像；(3)灰度化与平滑：将裂纹或凹坑的校正图像进行灰度化，将其R、G、B三个通道，每个通道以不同的权值进行加权平均；然后用高斯函数对检测区域进行平滑处理，获得裂纹或凹坑的平滑单通道灰度图像；(4)改进Canny边缘检测：对裂纹或凹坑的平滑单通道灰度图像的边缘信息进行检测，采用改进的Canny边缘检测算法，根据图像的整体特征进行高阈值H和低阈值L的选择，使得检测到的边缘信息比较多且连续，从而检测出裂纹或凹坑的完整边缘信息；(5)基于小波变换去噪：基于小波变换Canny算法进一步去除杂草类噪声，针对含有杂草类噪声的复杂背景，先建立一个核函数φ(x,y)，然后进行边缘检测，如果核函数φ(x,y)的积分为0，再对x,y两个方向上的导数做基本小波；然后对去除了杂草类噪声的裂纹或凹坑的表面进行三维重构；(6)立体匹配：在获取了校正图像对并去除杂草类噪声后，对左右摄像机的左右图像进行立体匹配，获得各匹配点的视差图；(7)三维重构：得到步骤(6)的视差图后，再依据步骤(1)得到的重投影矩阵，生成三维点云，进行三维重构；(8)评估损伤形式与程度：依据损伤的不同形态，可分别选择几何数学的方法，拟合裂纹或凹坑的长度、宽度或近似直径、深度参数；然后进行评估，得到损伤程度和损伤形式，最后将相关数据反馈给用户。步骤(1)中，所述摄像机为广角高精度16通道红外摄像机。步骤(3)中，灰度化加权的权值采用文献公开的经典值；采用高斯函数进行平滑处理，高斯平滑滤波器的核内的数是呈现高斯分布的，这与均值滤波器不同，均值滤波器的核每一个值都是相等，因此，采用高斯平滑滤波器可以更好得到原图像中裂纹或凹坑的信息。为了消除噪声干扰并且不影响损伤区域的信息，在进行图像平滑处理时，高斯函数的标准方差σ的选取至关重要。为克服经典Canny算法采用人为设定该参数的缺陷，在N×N窗口中，将方差作为选取σ的度量标准之一，这样就兼顾了窗口内局部图像信息。而图像中非边缘区域或被噪声污染较小的区域往往是方差较小的像素，可将这些像素点作为边缘点和噪声点的参考。鉴于图像的整体特性，将最小方差作为选取σ值的度量标准，其中M、E、σ分别是N×N窗口内的均值、方差和高斯标准方差；Emin是最小方差，当方差最小时，σ最小值为1；Emin＝min(E)(3)这样无论方差E值很大还是很小，σ值都要小于公式(4)计算的值，这样可以防止图像过度平滑或边缘变模糊。步骤(4)中，在运用Canny算法进行边缘检测时，高低阈值的获取对检测到边缘信息的多少及检测正确性具有决定作用；由于边缘检测的起始点往往由高阈值控制，如果高阈值越小，虽然边缘信息保留得越多，但是误检测也会变得很多；如果定义高阈值很大，虽然误检测会变得很少，但是会造成目标关键信息丢失。因此，采用改进的Canny边缘检测算法，选择高低阈值时考虑图像整体特性，这样检测到的边缘信息就会比较多且是连续的，从而检测出整个图像中裂缝的信息。步骤(4)中，采用改进的Canny边缘检测算法进行高阈值H和低阈值L的选择，其算法如下；其中Eave、fave、lw、lh分别是平均方差、平均灰度、图像的宽度、图像的高度；其中低阈值L＝H/2，M是指在N×N窗口内的均值，k＝1/M，Emin是最小方差，fm(i,j)是在图像中第i行、第j列位置的像素值。m在求和符号中代表了从1加到lw*lh。步骤(5)中，小波变换Canny算法如下：对于去除裂缝图像的含有杂草的复杂背景，先建立一个核函数φ(x,y)，再进行边缘检测，如果核函数φ(x,y)的积分为0，再对x,y两个方向上的导数做基本小波，式中S为x与y围成的面积：为了去除杂草噪声，根据小波变换的原理，制作一个小波变换的滤波器，设尺度为2j，对图像进行离散的小波变换，分量为梯度方向上小波变换模值的局部极大值点，如公式(9)所示：模值如公式(10)所示：梯度方向如公式(11)所示：如果(x,y)是其局部最大值，局部最大时沿着梯度方向下降，可在裂缝图像检测中得到模值，用于保留其裂缝信息极大值，同时去除杂草信息非极大值；大于阈值的局部极大值才能作为边缘保留下；具体方法是对有杂草的图像利用小波系数模值进行非极大值抑制，对裂缝区域以外的背景像素点进行抑制，再按比例得到杂草在图像中的阈值，如果杂草的极大值小于给定的阈值，那么就会删除杂草，最后用Canny将边缘点检测出来。步骤(6)中，立体匹配的原理是选取点、线、面等匹配基本单元，将其沿着经过校正后的图像对(图像对是指左右两个摄像机同一时间获取的两张图片)的水平方向进行遍历(遍历是指沿着某条搜索路线，依次对每个像素点做一次且仅做一次访问)搜索，根据匹配基本单元的相似性判定为匹配或不匹配，从而求取左右图像中像素点的匹配关系；由于左右摄像机的视场不同，匹配点在两个摄像机的位置必然不同，故由此可以计算出相应的视差图；立体四配算法的核心思想是首先充分利用基本的约束条件消除匹配过程中的多解、歧义问题，然后将匹配问题转化为能量函数最优化问题；立体匹配算法的求解形式是通过建立一个基于匹配基元的代价能量函数，采取不同的匹配策略使得这个代价能量函数最小化来估计像素点视差值。进过步骤(2)到步骤(5)处理后，左右图像的非目标部分已经被去除掉了，只剩下裂纹部分，因此在立体匹配时得到的视差也只有裂纹部分。步骤(7)中，三维点云的生成方法是利用相似三角形的三角测量原理，某一点的深度与其视差之间存在如下关系：其中z为某一点的深度距离，本文档来自技高网...

【技术保护点】
1.一种水库大坝护坡表面损伤视觉检测方法，其特征在于包括下述步骤：(1)摄像机标定：首先，分别对两个摄像机进行标定，获取用于校正拍摄图像畸变的摄像机内部参数和畸变参数；进行立体视觉的标定，得到两个摄像机之间的位置关系及用于进行三维重构的重投影矩阵；(2)获取校正图像：通过摄像机来捕获全方位裂纹或凹坑的数字图像，然后根据摄像机的标定结果对数字图像进行畸变校正，得到裂纹或凹坑的校正图像；(3)灰度化与平滑：将裂纹或凹坑的校正图像进行灰度化，将其R、G、B三个通道，每个通道以不同的权值进行加权平均；然后用高斯函数对检测区域进行平滑处理，获得裂纹或凹坑的平滑单通道灰度图像；(4)改进Canny边缘检测：对裂纹或凹坑的平滑单通道灰度图像的边缘信息进行检测，采用改进的Canny边缘检测算法，根据图像的整体特征进行高阈值H和低阈值L的选择，使得检测到的边缘信息比较多且连续，从而检测出裂纹或凹坑的完整边缘信息；(5)基于小波变换去噪：基于小波变换Canny算法进一步去除杂草类噪声，针对含有杂草类噪声的复杂背景，先建立一个核函数φ(x,y)，然后进行边缘检测，如果核函数φ(x,y)的积分为0，再对x,y两个方向上的导数做基本小波；然后对去除了杂草类噪声的裂纹或凹坑的表面进行三维重构；(6)立体匹配：在获取了校正图像对并去除杂草类噪声后，对左右摄像机的左右图像进行立体匹配，获得各匹配点的视差图；(7)三维重构：得到步骤(6)的视差图后，再依据步骤(1)得到的重投影矩阵，生成三维点云，进行三维重构；(8)评估损伤形式与程度：依据损伤的不同形态，分别选择几何数学的方法，拟合裂纹或凹坑的长度、宽度或近似直径、深度参数；然后进行评估，得到损伤程度和损伤形式，最后将相关数据反馈给用户。...

【技术特征摘要】
1.一种水库大坝护坡表面损伤视觉检测方法，其特征在于包括下述步骤：(1)摄像机标定：首先，分别对两个摄像机进行标定，获取用于校正拍摄图像畸变的摄像机内部参数和畸变参数；进行立体视觉的标定，得到两个摄像机之间的位置关系及用于进行三维重构的重投影矩阵；(2)获取校正图像：通过摄像机来捕获全方位裂纹或凹坑的数字图像，然后根据摄像机的标定结果对数字图像进行畸变校正，得到裂纹或凹坑的校正图像；(3)灰度化与平滑：将裂纹或凹坑的校正图像进行灰度化，将其R、G、B三个通道，每个通道以不同的权值进行加权平均；然后用高斯函数对检测区域进行平滑处理，获得裂纹或凹坑的平滑单通道灰度图像；(4)改进Canny边缘检测：对裂纹或凹坑的平滑单通道灰度图像的边缘信息进行检测，采用改进的Canny边缘检测算法，根据图像的整体特征进行高阈值H和低阈值L的选择，使得检测到的边缘信息比较多且连续，从而检测出裂纹或凹坑的完整边缘信息；(5)基于小波变换去噪：基于小波变换Canny算法进一步去除杂草类噪声，针对含有杂草类噪声的复杂背景，先建立一个核函数φ(x,y)，然后进行边缘检测，如果核函数φ(x,y)的积分为0，再对x,y两个方向上的导数做基本小波；然后对去除了杂草类噪声的裂纹或凹坑的表面进行三维重构；(6)立体匹配：在获取了校正图像对并去除杂草类噪声后，对左右摄像机的左右图像进行立体匹配，获得各匹配点的视差图；(7)三维重构：得到步骤(6)的视差图后，再依据步骤(1)得到的重投影矩阵，生成三维点云，进行三维重构；(8)评估损伤形式与程度：依据损伤的不同形态，分别选择几何数学的方法，拟合裂纹或凹坑的长度、宽度或近似直径、深度参数；然后进行评估，得到损伤程度和损伤形式，最后将相关数据反馈给用户。2.根据权利要求1所述的水库大坝护坡表面损伤视觉检测方法，其特征在于：步骤(3)中，采用高斯函数进行平滑处理，高斯平滑滤波器的核内的数是呈现高斯分布的，为了消除噪声干扰并且不影响损伤区域的信息，在进行图像平滑处理时，高斯函数的标准方差σ的选取是鉴于图像的整体特性，将最小方差作为选取σ值的度量标准，其中M、E、σ分别是N×N窗口内的均值、方差和高斯标准方差；Emin是最小方差，当方差最小时，σ最小值为1；Emin＝min(E)(3)3.根据权利要求1所述的水库大坝护坡表面损伤视觉检测方法，其特征在于：步骤(4)中，采用改进的Canny边缘检测算法进行高阈值H和低阈值L的选择，其算法如下；其中Eave、fave、lw、lh分别是平均方差、平均灰度、图像的宽度、图像的高度；其中低阈值L＝H/2，M是指在N×N窗口内的均值，k＝1/M，Emin是最小方差，fm(i,j)是在图像中第i行、第j列位置的像素值。4.根据权利要求1所述的水库大坝护坡表面损伤视觉检测方法，其特征在于：步骤(5)中，小波变换Canny算法为：对于去除裂缝图像的含有杂草的复杂背景，先建立一个核函数φ(x,y)，再进行边缘检测，如果核函数φ(x,y)的积分为0，再对x,y两个方向上的导数做基本小波，式中S为x与y围成的面积：为了去除杂草噪声，根据小波变换的原理，制作一个小波变换的滤波器，设尺度...

【专利技术属性】
技术研发人员：唐昀超，姚明辉，
申请(专利权)人：仲恺农业工程学院，
类型：发明
国别省市：广东,44