一种基于目标检测及双目视觉的管道缺陷识别与定位方法技术

本发明专利技术提出了一种基于目标检测及双目视觉的管道缺陷识别与定位方法，其步骤包括：对双目相机进行标定与立体匹配，得到畸变相对很小的图像，通过立体匹配与深度计算确定图像中某一点在世界坐标系下的具体位置与其像素点位置的具体函数关系；通过目标检测算法训练目标检测模型并对视频图像进行识别；当识别到图像存在某一类缺陷时，该模型将框定缺陷目标，将其中心位置的世界坐标显示在屏幕上。本发明专利技术的管道缺陷检测与定位方法具有监测范围广，实时性好，精确度高，并能够准确定位等优点。同时，该方法克服了漏磁检测法等传统管道检测方法只能检测铁磁性材料管道的局限性，且不会产生虚假信号，对漏报、误报的情况有一定程度的改善。改善。改善。

【技术实现步骤摘要】
一种基于目标检测及双目视觉的管道缺陷识别与定位方法


[0001]本专利技术涉及计算机视觉中的目标检测及多目视觉定位
，特别是指一种基于目标检测及双目视觉的管道缺陷识别与定位方法。

技术介绍

[0002]目标检测是计算机视觉中的重要部分，用于检测数字图像和视频中某一类语义对象，研究重点是复杂环境下的类别检测，其中YOLO在速度方面表现突出，该方法采用单个神经网络直接预测对象边界和类别概率，实现了端到端的类别检测。双目视觉是计算机被动测距方法中重要的距离感知技术，在非接触式测量的前提下，通过对摄像头进行校准、立体匹配等操作后，计算左右图像的视差并得到深度图，以此反映物体在真实世界的坐标位置。
[0003]YOLOX是YOLO算法的最新成果，相比于YOLOV3
‑
V5系列，在识别精度上有提升，速度上也具有一定的竞争优势。在整合各个版本的优点后，通过改进数据增强策略、增加训练的正例样本，来提高目标检测精度，同时加入了无锚点的检测器提高检测速度。将YOLOX网络框架下训练出的模型代入识别网络中，可以实现对多目标、多类别的目标检测，具有检测类别范围广、准确率高、速度快等特点。
[0004]然而，目前主流的对管道缺陷检测方法，即光电检测方法，包含内窥镜法、激光投射法、CCD摄像机图像采集法等。尽管上述方法采用了图像视觉领域的检测技术，但检测精度较低且未涉及缺陷尺寸的进一步测量，需要耗费一定的人力，同时无法提取管道内表面环的数据，不能在视觉上进一步表示管道内表面的缺陷情况。而计算机视觉方法在管道缺陷分类领域的限制主要是检测精确度较低与数据集的缺乏。

技术实现思路

[0005]针对现有管道识别与定位技术在实际检测缺陷目标时，无法高精度检测与定位管道内部缺陷的技术问题，本专利技术提出了一种基于目标检测及双目视觉的管道缺陷识别与定位方法，将端到端的深度学习算法与双目视觉的位置测量结合，通过自建管道缺陷数据集，训练轻量化深度学习网络，预测缺陷类别，兼顾定位的速度与精度，能够在不同的管道环境下均呈现良好的检测效果，具有全自动、非接触式测量、定位精准且实时性高的特点。
[0006]本专利技术的技术方案是这样实现的：
[0007]一种基于目标检测及双目视觉的管道缺陷识别与定位方法，包括相机标定、立体校正、图像捕获与目标检测、立体匹配与深度计算模块四部分；其步骤如下：
[0008]步骤一：相机标定：建立相机成像的几何模型，确定空间物体表面上一点的三维几何位置与其在图像中对应点之间的相互关系，由标定板上特征点的图像坐标和世界坐标求解双目摄像机的标定参数，其中，标定参数包括左摄像头和右摄像头的内参、外参和畸变参数；
[0009]步骤二：立体校正：通过极线约束进行立体校正，使两幅图像中的对应点在同一条水平极线上，获取校正后的双目摄像机的标定参数；
[0010]步骤三：图像捕获与目标检测：自建数据集，进行目标检测模型训练，利用双目摄像机捕获图像，预测左摄像头显示的实时画面信息，并输出物体识别信息；
[0011]步骤四：立体匹配与深度计算模块：将经过立体校正后的左摄像头和右摄像头图像与步骤三中的物体识别信息作为输入量传输至立体匹配与深度计算模块，得到双目摄像头左摄像头图像中被识别物体映射到实际三维空间中的空间三维坐标。
[0012]优选地，所述相机标定的实现方法为：
[0013]步骤1.1：制作一块由黑白方块间隔组成的棋盘标定板，用双目摄像头在不同方向下拍摄棋盘标定板的棋盘图像，提取每一张棋盘图像的角点信息，获得棋盘图像上所有内角点的图像坐标及其空间三维坐标；
[0014]步骤1.2：建立相机成像的几何模型，确定空间物体表面一点的三维几何位置与其在图像中对应点之间的相互关系；
[0015]步骤1.3：将步骤1.1中获得的棋盘图像上所有内角点的图像坐标及其空间三维坐标作为输入，依据相机成像的几何模型，通过实验与计算求解并分别输出双目摄像机左摄像头和右摄像头的内参数矩阵和外参数矩阵；
[0016]步骤1.4：根据双目摄像机左摄像头和右摄像头的内参数矩阵和外参数矩阵，利用畸变校正前后的坐标关系，求解5个畸变参数k1、k2、k3、p1、p2以进行畸变矫正。
[0017]优选地，在步骤1.2中，外参数矩阵反应相机坐标系与世界坐标系的转换，R为双目摄像机右摄像头相对左摄像头的旋转矩阵，t为双目摄像机右摄像头相对左摄像头的平移向量；内参数矩阵反应像素坐标系与相机坐标系的转换，f为透镜焦距，(u0,v0)为图像坐标系原点在像素坐标系下的坐标，d
x
、d
y
为每个像素点在图像坐标系x轴、y轴方向的尺寸。
[0018]优选地，在步骤1.4中，畸变矫正的方法为：
[0019][0020]其中，(x
p
,y
p
)是图像的原坐标，(x
tcorr
,y
tcorr
)是图像修正后的坐标，r为变量。
[0021]优选地，所述立体校正的实现方法为：
[0022]步骤2.1：将双目摄像机右摄像头相对左摄像头的旋转矩阵R划分为左摄像头的合成旋转矩阵r1和右摄像头的合成旋转矩阵r2，左摄像头和右摄像头各旋转一半，使得左摄像头和右摄像头的光轴平行，实现左摄像头和右摄像头的成像面共面；
[0023]步骤2.2：将左摄像头的合成旋转矩阵r1、右摄像头的合成旋转矩阵r2、原始的左摄像头和右摄像头内参矩阵、平移向量t以及棋盘图像的大小输入OpenCV中，通过cvStereoRectify函数输出左摄像头的行对准校正旋转矩阵R1、右摄像头行对准校正旋转矩阵R2、校正后的左摄像头的内参矩阵M
l
、校正后的右摄像头的内参矩阵M
r
、校正后的左摄像头投影矩阵P
l
、校正后的右摄像头投影矩阵P
r
以及重投影矩阵Q；
[0024]步骤2.3：将步骤2.2中cvStereoRectify函数的输出结果作为已知常量，通过左右
视图的校正查找映射表，采用逆向映射，对目标图像上的每一个整形的像素位置，查找出其对应源图像上的浮点位置，并对周围源像素的每个整形值进行插值，在校正图像都被赋值之后，对图像进行裁剪，保存校正结果。
[0025]优选地，所述图像捕获与目标检测的实现方法为：
[0026]步骤3.1：利用双目相机与网络爬虫捕获并筛选管道缺陷图像，并对管道缺陷图像进行标记与分类，创建适应该环境下的数据集；
[0027]步骤3.2：对管道缺陷图像和标记进行组织目录上的整理，通过getitem方法加载数据集中的管道缺陷图像和标记，使用COCO Evaluator作为评估器，将深度学习模型中涉及的所有内容都放在一个单独的COCO Exp文件中，包括模型设置、训练设置和测试设置；
[0028]步骤3.3：设置完毕后，使用COCO开源数据集训练完成的预训练权重初始化模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，包括相机标定、立体校正、图像捕获与目标检测、立体匹配与深度计算模块四部分；其步骤如下：步骤一：相机标定：建立相机成像的几何模型，确定空间物体表面上一点的三维几何位置与其在图像中对应点之间的相互关系，由标定板上特征点的图像坐标和世界坐标求解双目摄像机的标定参数，其中，标定参数包括左摄像头和右摄像头的内参、外参和畸变参数；步骤二：立体校正：通过极线约束进行立体校正，使两幅图像中的对应点在同一条水平极线上，获取校正后的双目摄像机的标定参数；步骤三：图像捕获与目标检测：自建数据集，进行目标检测模型训练，利用双目摄像机捕获图像，预测左摄像头显示的实时画面信息，并输出物体识别信息；步骤四：立体匹配与深度计算模块：将经过立体校正后的左摄像头和右摄像头图像与步骤三中的物体识别信息作为输入量传输至立体匹配与深度计算模块，得到双目摄像头左摄像头图像中被识别物体映射到实际三维空间中的空间三维坐标。2.根据权利要求1所述的基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，所述相机标定的实现方法为：步骤1.1：制作一块由黑白方块间隔组成的棋盘标定板，用双目摄像头在不同方向下拍摄棋盘标定板的棋盘图像，提取每一张棋盘图像的角点信息，获得棋盘图像上所有内角点的图像坐标及其空间三维坐标；步骤1.2：建立相机成像的几何模型，确定空间物体表面一点的三维几何位置与其在图像中对应点之间的相互关系；步骤1.3：将步骤1.1中获得的棋盘图像上所有内角点的图像坐标及其空间三维坐标作为输入，依据相机成像的几何模型，通过实验与计算求解并分别输出双目摄像机左摄像头和右摄像头的内参数矩阵和外参数矩阵；步骤1.4：根据双目摄像机左摄像头和右摄像头的内参数矩阵和外参数矩阵，利用畸变校正前后的坐标关系，求解5个畸变参数k1、k2、k3、p1、p2以进行畸变矫正。3.根据权利要求2所述的基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，在步骤1.2中，外参数矩阵反应相机坐标系与世界坐标系的转换，R为双目摄像机右摄像头相对左摄像头的旋转矩阵，t为双目摄像机右摄像头相对左摄像头的平移向量；内参数矩阵反应像素坐标系与相机坐标系的转换，f为透镜焦距，(u0，v0)为图像坐标系原点在像素坐标系下的坐标，d
x
、d
y
为每个像素点在图像坐标系x轴、y轴方向的尺寸。4.根据权利要求2所述的基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，在步骤1.4中，畸变矫正的方法为：
其中，(x
p
，y
p
)是图像的原坐标，(x
tcorr
，y
tcorr
)是图像修正后的坐标，r为变量。5.根据权利要求3所述的基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，所述立体校正的实现方法为：步骤2.1：将双目摄像机右摄像头相对左摄像头的旋转矩阵R划分为左摄像头的合成旋转矩阵r1和右摄像头的合成旋转矩阵r2，左摄像头和右摄像头各旋转一半，使得左摄像头和右摄像头的光轴平行，实现左摄像头和右摄像头的成像面共面；步骤2.2：将左摄像头的合成旋转矩阵r1、右摄像头的合成旋转矩阵r2、原始的左摄像头和右摄像头内参矩阵、平移向量t以及棋盘图像的大小输入OpenCV中，通过cvStereoRectify函数输出左摄像头的行对准校正旋转矩阵R1、右摄像头行对准校正旋转矩阵R2、校正后的左摄像头的内参矩阵M
l
、校正后的右摄像头的内参矩阵M
r
、校正后的左摄像头投影矩阵P
l
、校正后的右摄像头投影矩阵P
r
以及重投影矩阵Q；步骤2.3：将步骤2.2中cvStereoRectify函数的输出结果作为已知常量，通过左右视图的校正查找映射表，采用逆向映射，对目标图像上的每一个整形的像素位置，查找出其对应源图像上的浮点位置，并对周围源像素的每个整形值进行插值，在校正图像都被赋值之后，对图像进行裁剪，保存校正结果。6.根据权利要求1所述的基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，所述图像捕获与目标检测的实现方法为：步骤3.1：利用双目相机与网络爬虫捕获...

【专利技术属性】
技术研发人员：何洪权，葛昱彤，申安慧，张琳，朱一沁，
申请(专利权)人：河南大学，
类型：发明
国别省市：