一种管道检测全景拍摄处理方法技术

本发明专利技术设计了一种管道检测全景拍摄处理系统及方法，系统包括主控制器、爬行器、摄像头和图像处理子系统，所述控制器用于控制爬行器行进，所述摄像头安装在爬行器上，所述爬行器在管道内以预设速度匀速前进，行进全程摄像头拍摄管道内壁的全景照片，图像处理子系统对全景照片进行拼接处理，生成从管道底部向顶部投射的展开全景图。本发明专利技术为管道检测时的病害抓拍、缺陷分析、修复评估等提供了更加清晰直观的图片资料，减少人工操作造成的疏漏。减少人工操作造成的疏漏。减少人工操作造成的疏漏。

【技术实现步骤摘要】
一种管道检测全景拍摄处理方法


[0001]本专利技术涉及排水管道检测
，特别涉及一种管道检测全景拍摄处理方法。

技术介绍

[0002]城市污水处理经过几十年的快速发展，已逐渐步进入系统性查缺补漏阶段，开始对发展过程中重地上轻地下、重厂轻网、重水轻泥等系列问题进行纠正，污水治理提质增效问题成为行业关注的重点。然而污水管网系统“内渗外漏”、“管网错接混接”、“干支失联”等问题依然普遍存在，导致污水处理效能偏低。优化排水系统，提高排水管网质量，是目前污水处理提质增效的关键之一。目前，采用“四位一体”排查方法，对排水管网展开测绘、调查、检测和评估。通过测绘，查清排水管网的基本情况；通过调查，查清排水管网存在的污水直排、雨污混接、溢流污染、地表水倒灌、外水入渗等问题以及排水户接管情况；通过检测，查清管道及检查井结构情形缺陷和功能性缺陷；通过评估，梳理排水管网系统存在的问题，形成问题整改项目清单，为后续整改工作提供依据。
[0003]目前常用的排水管道检测方式有：1）电视检测（采用闭路电视系统进行管道检测的方法，简称CCTV检测）；2）声呐检测（采用声波探测技术对管道内水面以下的状况进行检测的方法）；3）管道潜望镜检测（采用管道潜望镜在检查井内对管道进行检测的方法，简称QV检测）。
[0004]CCTV检测拍摄设备工作流程：
①
机器人进入管道后，由检测人员控制机器人在管道内爬行。在机器人行进期间，摄像头拍摄管道内部画面，行进过程中，画面保持正向水平、拍摄角度和焦距不得中途改变，检测人员观看实时传输的视频画面，画面不应产生暂停、间断记录、剪接的现象。
[0005]②
通过实时传输视频画面发现管道内部缺陷时，机器人停止前进，在完全能够解析缺陷的位置停留至少10秒，重点拍摄缺陷部位。
[0006]③
检测人员通过实时传输的视频画面发现管道内部的结构性/功能性缺陷、特殊结构，填写原始记录表，初步判读并记录缺陷的名称、等级、距离信息，形成原始资料。
[0007]④
现场检测完毕后，由资料处理人员对检测视频和原始资料进行复核，抓取管道内结构性/功能性缺陷处的高清图片，备注缺陷的长度和在管道内环向时钟表示的位置，整理编制检测与评估报告。
[0008]在技术娴熟的检测人员的操作下，利用现有的CCTV检测设备，可以得到一段管道的完整、清晰的内部检测视频资料。然而，现有的CCTV检测设备由检测人员手动控制，检测期间，设备爬行的速度、稳定性无法保证始终处于均衡状态，对管道内缺陷的侧向抓拍，也依赖于现场检测人员的肉眼发现，拍摄角度、时长和图像清晰度亦受制于检测人员的拍摄技术。因此，在无法保证现场检测人员对仪器设备使用技术娴熟、工作态度严谨认真的情况下，拍摄出的视频资料质量亦会参差不齐，影响后续的管道缺陷判读、报告编制和修复评估。

技术实现思路

[0009]本专利技术的目的在于针对现有管道检测过程中缺陷捕捉难、拍摄视频容量大、储存传输难、人工核查工作量大的问题，提出一种管道检测全景拍摄处理方法，从而提高管道检测的精准度，提高工作效率，节约人力成本。
[0010]本专利技术公开了一种管道检测全景拍摄处理系统，包括：主控制器、爬行器、摄像头和图像处理子系统，所述控制器用于控制爬行器行进，所述摄像头安装在爬行器上，所述爬行器在管道内以预设速度匀速前进，行进全程摄像头拍摄管道内壁的全景照片，图像处理子系统对全景照片进行拼接处理，生成从管道底部向顶部投射的展开全景图；所述图像处理子系统包括图像预处理模块、特征提取模块、目标检测识别模块、增强空间变换模块和图像拼接模块，所述图像预处理模块用于对摄像头拍摄的照片预处理，进行降噪和增强，所述特征提取模块用于对经过预处理后的照片提取视觉特征，所述目标检测识别模块用于检测和识别不同摄像头采集照片中相同的目标，所述增强空间变换模块用于计算不同摄像头中相同目标的空间坐标映射关系，所述图像拼接模块用于对增强空间变换后的图像拼接，生成从管道底部向顶部投射的展开全景图。
[0011]进一步地，所述摄像头采用等比例安装的三个全景拍摄摄像头，所述摄像头前端设有可调节光强的照明灯，管道检测时，摄像头根据管径调整摄像头位置，使爬行器前端的摄像头始终保持在管道中轴线位置上，拍摄期间全景摄像头根据管道内部环境因素自动调整拍摄焦，所述爬行器匀速前进过程中，三个全景摄像头从不同方向分别拍摄管道内壁的部分内面的全景照片，每两张照片之间互有15
°
重叠部分。
[0012]进一步地，所述特征提取模块由faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB组成，经过图像预处理后的照片分别经过faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB处理，获得特征提取模块RCNNB输出特征和通道注意模块CHAB输出特征将，两者相结合，形成表征能力更强的视觉特征，公式为：其中表示通道级相乘。
[0013]进一步地，所述通道注意模块由全局平均池化、卷积层、Mish激活函数、Sigmoid函数构成，通道注意模块CHAB的数据处理公式为：其中，表示通道注意模块数据，是图像块特征，表示Sigmoid函数，Mish表示Mish激活函数，Conv1D表示1维卷积操作，GAP表示全局平均池化。
[0014]进一步地，所述目标检测识别模块的网络结构为：
其中，conv1表示卷积核为1的卷积操作，conv3表示卷积核为3的卷积操作，relu表示激活函数线性修正单元，feature表示目标检测识别模块中的输入视觉特征，img
info
表示图像信息，reshape是变形操作，proposal 表示区域候选操作，ROIPOOL是感兴趣区域池化操作，softmax表示softmax函数,FC 是全连接操作， 表示目标候选框的回归偏移量， 表示候选目标属于特定类的概率；当候选目标属于特定类的概率高于预设值时，记录对应目标并标记为U，对应的视觉特征为，根据余弦相似度准则识别与目标U对应的目标V，对应的视觉特征为。
[0015]进一步地，所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块，其中，所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取，通过结合通道感知构建有效的视觉特征；所述空间坐标变换模块用于对感知视觉特征提取模块输出的视觉特征进行空间坐标提取、坐标映射和像素采集；所述感知视觉特征提取模块的输出视觉特征，表示为：表示为：其中，代表目标检测识别模块中第s个摄像头目标U的视觉特征， 表示视觉特征经过三个卷积模块后的视觉输出，ConvB表示一个卷积操作；表示S形函数Sigmoid, Relu表示线性修正单元激活函数，FC 表示全连接操作，GAP表示全局平均池化操作， 表示通道级相乘；所述空间坐标变换模块对视觉特征进行空间坐标提取，输出空间坐标参数可以表示为：其中，FC是全连接操作，Relu表示线性修正单元激活函数, CMRB
1 、CMRB2、CMRB3表示3个卷积
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种管道检测全景拍摄处理系统，其特征在于，包括：主控制器、爬行器、摄像头和图像处理子系统，所述控制器用于控制爬行器行进，所述摄像头安装在爬行器上，所述爬行器在管道内以预设速度匀速前进，行进全程摄像头拍摄管道内壁的全景照片，图像处理子系统对全景照片进行拼接处理，生成从管道底部向顶部投射的展开全景图；所述图像处理子系统包括图像预处理模块、特征提取模块、目标检测识别模块、增强空间变换模块和图像拼接模块，所述图像预处理模块用于对摄像头拍摄的照片预处理，进行降噪和增强，所述特征提取模块用于对经过预处理后的照片提取视觉特征，所述目标检测识别模块用于检测和识别不同摄像头采集照片中相同的目标，所述增强空间变换模块用于计算不同摄像头中相同目标的空间坐标映射关系，所述图像拼接模块用于对增强空间变换后的图像拼接，生成从管道底部向顶部投射的展开全景图。2.根据权利要求1所述的管道检测全景拍摄处理系统，其特征在于，所述摄像头采用等比例安装的三个全景拍摄摄像头，所述摄像头前端设有可调节光强的照明灯，管道检测时，摄像头根据管径调整摄像头位置，使爬行器前端的摄像头始终保持在管道中轴线位置上，拍摄期间全景摄像头根据管道内部环境因素自动调整拍摄焦，所述爬行器匀速前进过程中，三个全景摄像头从不同方向分别拍摄管道内壁的部分内面的全景照片，每两张照片之间互有15
°
重叠部分。3.根据权利要求1所述的管道检测全景拍摄处理系统，其特征在于，所述特征提取模块由faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB组成，经过图像预处理后的照片分别经过faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB处理，获得特征提取模块RCNNB输出特征和通道注意模块CHAB输出特征，将两者相结合，形成表征能力更强的视觉特征，公式为：其中表示通道级相乘。4.根据权利要求3所述的管道检测全景拍摄处理系统，其特征在于，所述通道注意模块由全局平均池化、卷积层、Mish激活函数、Sigmoid函数构成，通道注意模块CHAB的数据处理公式为：其中，表示通道注意模块数据，是图像块特征，表示Sigmoid函数，Mish表示Mish激活函数 ，Conv1D表示1维卷积操作，GAP表示全局平均池化。5.根据权利要求1所述的管道检测全景拍摄处理系统，其特征在于，所述目标检测识别模块的网络结构为：
其中，conv1表示卷积核为1的卷积操作，conv3表示卷积核为3的卷积操作，relu表示激活函数线性修正单元，feature表示目标检测识别模块中的输入视觉特征，img
info
表示图像信息，reshape是变形操作，proposal 表示区域候选操作，ROIPOOL是感兴趣区域池化操作，softmax表示softmax函数,FC 是全连接操作， 表示目标候选框的回归偏移量， 表示候选目标属于特定类的概率；当候选目标属于特定类的概率高于预设值时，记录对应目标并标记为U，对应的视觉特征为，根据余弦相似度准则识别与目标U对应另一摄像头的目标V，对应的视觉特征为。6.根据权利要求1所述的管道检测全景拍摄处理系统，其特征在于，所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块，其中，所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取，通过结合通道感知构建有效的视觉特征；所述空间坐标变换模块用于对感知视觉特征提取模块输出的视觉特征进行空间坐标提取、坐标映射和像素采集；所述感知视觉特征提取模块的输出视觉特征，表示为：表示为：其中，表示目标检测识别模块中第s个摄像头目标U的视觉特征， 表示视觉特征经过三个卷积模块后的视觉输出，ConvB表示一个卷积操作；表示S形函数Sigmoid, Relu表示线性修正单元激活函数，FC 表示全连接操作，GAP表示全局平均池化操作， 表示通道级相乘；所述空间坐标变换模块对视觉特征进行空间坐标提取，输出空间坐标参数 可以表示为：其中，FC是全连接操作，Relu表示线性修正单元激活函数, CMRB
1 、CMRB2、CMRB3表示3个卷积
‑
池化
‑
激活模块；所述空间坐标变换模块对空间坐标参数进...

【专利技术属性】
技术研发人员：蒋湘成，相入喜，董淑环，方诗颖，
申请(专利权)人：南京北控工程检测咨询有限公司，
类型：发明
国别省市：