基于全景图像CNN的隧道病害自动识别装置制造方法及图纸

本发明专利技术公开了一种基于全景图像CNN的隧道病害自动识别装置。首先通过一种全景视觉传感器快速获取隧道内壁的全景图像，然后对全景图像进行处理，主要包括全景图像展开、图像预处理、二值化处理等提取疑似病害区域；最后，采用卷积神经网络对病害进行自动检测分类识别。本发明专利技术提出的方案极大程度简化了检测装置在获取隧道内壁全景图像的结构，通过端对端的卷积神经网络实现了各种隧道病害特征自动提取、检测和识别，为隧道的维护、竣工验收提供了有效的技术支撑。

【技术实现步骤摘要】
基于全景图像CNN的隧道病害自动识别装置
本专利技术涉及全方位视觉传感器、模式识别、人工智能、应用数学、数字图像处理以及计算机视觉技术在隧道病害的检测方面的应用，尤其涉及一种基于全景图像CNN的隧道病害自动识别装置。
技术介绍
为解决人口流动与就业点相对集中给交通、环境等带来的压力，满足国家环境和局势变化需求，修建各种各样的隧道及地下工程(如城市地铁、公路隧道、铁路隧道、水下隧道、市政管道、地下能源洞库等)成为必然趋势。截止2014年，全国公路隧道为12404座，1075.67万延米。其中，特长隧道626座，合计276.62万延米；长隧道2623座，合计447.54万延米。如何运营好、管理好数以万计的公路隧道，为国民经济和社会发展发挥更大的作用，是当前研究的热点问题之一。隧道的渗水和裂缝是隧道工程中的两大主要病害。在隧道建设初期，由于部分隧道建设的资金少、周期短，导致了许多隧道在建成时没有及时进行支护，形成了“裸洞隧道”。这些隧道在建成多年后，由于没有衬砌的保护，随着时间的推移，在地质地形条件、气候条件和设计、施工、运营过程中的各种因素影响下，在长期的使用过程中，出现了各种各样的不同程度的裂缝及渗水情况，严重影响到我国铁路的行车安全和人民群众生命财产安全。隧道的健康监测可分为两个阶段：施工阶段和运营阶段。在隧道的运营过程中，隧道的安全问题主要受到以下几个方面的影响：一是运营过程中长期振动荷载引起的道床整体沉降；二是由于大多数长大隧道处于复杂的地质条件中，车辆荷载引起的线路沿轴线方向的不均匀沉降；最后就是隧道周边建筑物和地质条件变化等影响。而这些影响会造成隧道轮廓的开裂，变形，漏水甚至脱落等一系列安全问题。隧道运输运行管理过程中，由于我国处于高速建设期，重建轻管，缺少长期有效的在线监测和检测数据，导致隧道的运行状况不清楚。目前我国对隧道安全监测基本上还停留在人工排查的水平上。中国专利技术专利申请号为201110281700.9本专利技术公开了一种基于机器视觉技术的隧道病害快速调查系统及调查方法，装置安置在调查承载车上，包括：机器视觉子系统，用CCD摄像机获取待调查对象图像数据；激光测距子系统，用激光测距法测量机器视觉子系统采集的图像的成像距离；光电测速子系统，用于提供采集图像在隧道中的对应坐标；控制子系统，控制激光测距及光电测速子系统，将该两子系统获得数据传至数据处理子系统，触发机器视觉子系统采集图像传至数据处理子系统；数据处理子系统，根据控制子系统传来的数据处理机器视觉子系统获取的图像；电源子系统，为各子系统提供电压。该案采用多个CCD摄像机采集隧道内壁图像，除了增加了设备成本以外，还带来了多摄像机的标定、图像数据的配准、协调控制等众多问题，同时在近距离拍摄隧道内壁时获取的图像有较大变形影响着测量精度，另外数据处理子系统要同时处理多幅隧道内壁图像需要在调查承载车上配置性能很高的计算机。中国专利技术专利申请号为201410275604.7公开了一种隧道病害的识别方法以及多图像识别方法。利用线阵CCD以及图像融合技术，高速获取隧道表面的数字图像并存储。再利用数字图像处理算法对已知隧道病害进行特征分类建模，建立特征数据库，进行病害特征匹配与病害识别。该案采用多个CCD线阵摄像机采集隧道内壁图像，因此也存在着中国专利技术专利申请号为201110281700.9同样的问题。申请号为201410791514.3的中国专利申请公开了一种公路隧道病害集成检测车，该检测车通过集成线阵相机、红外相机和雷达三种检测装备实现对衬砌裂缝、渗漏水和空洞三种病害的同时检测，其检测车具有检测效率高、非接触性和安全性高等。申请号为201521140003.1的中国专利申请公开了一种隧道病害检测系统，包括机械臂和安装在机械臂上的病害探测装置，机械臂能够托举病害探测装置在隧道内移动，以检测隧道病害。此系统能有效解决一些检测设备需要人工托举其天线进行检测，特别是对于无线检测系统中一些天线(例如探地雷达)，由于其重量较大，导致施工人员手动托举负载过大的问题。但是仍然无法解决隧道病害检测的自动化水平低的问题。申请号为201510418537.4的中国专利申请公开了一种隧道裂缝快速检测装置，它包括运载工具、设置在运载工具内的电脑和主控机以及探测模块、安装在运载工具的滚轮上的里程记数器，探测模块包括照相机、激光断面扫描器、红外成像仪、惯性导航器和灯光频闪器，主控机的各个通信端通过对应的电缆分别连接照相机、激光断面扫描器、红外成像仪、惯性导航器、灯光频闪器和里程记数器的通信端，主控机数据通信端连接电脑的数据通信端。但最终需要将获取得到隧道三维结构图、隧道三维成像图、隧道顶部红外温度图以及运载工具路线图进行肉眼识别来判断待测隧道的待测区域是否存在衬砌裂缝、衬砌渗水、漏水、剥落、脱空、衬砌形变进行检测等病害。这种方式智能化水平较低，容易受检测人员的主观经验影响，导致耗费较大人力资源。综上所述，针对隧道病害检测的内容，目前尚存在着如下若干个棘手的问题：1)如何全方位高效高保真的获取隧道病害数据；2)如何对隧道病害图像进行自动检测识别。
技术实现思路
针对目前隧道衬砌病害检测过程中快速方便获取隧道内壁全景图像难和自动检测识别各种病害难等问题等不足，本专利技术提供一种基于全景图像CNN的隧道病害自动识别装置，在检测装置上能有效提高隧道病害的视觉识别的自动化和智能化水平、能保证在较好的检测识别精度基础上有实时检测识别能力、能较好解决隧道内壁识别的复杂性和推广性的矛盾、具有较佳的普适性。在隧道的维护、竣工验收方面提供了有效的技术支撑。要实现上述
技术实现思路
，必须要解决几个核心问题：(1)设计一种快速获取隧道内壁全景图像的全景视觉传感器；(2)通过数字图像处理技术对隧道全景图像进行处理，提取出疑似病害区域；(3)实现一种含有对隧道病害图像进行分类功能的卷积神经网络；(4)实现一批可以用于卷积神经网络(CNN)训练用的隧道病害图像样本数据。本专利技术解决其技术问题所采用的技术方案是：一种基于全景视觉CNN的隧道病害自动识别装置，包括：隧道检测车和远程计算机；所述的隧道检测车上配置有主动式全景视觉传感器、RFID读取器、测距轮、无线接发送单元、控制器和工控机，所述的主动式全景视觉传感器安装在所述的隧道检测车的前方中央，所述的RFID读取器读取配置在隧道内壁上安置的RFID信息，所述的隧道检测车的底部安装一个测距轮，所述的控制器读取测距轮中光电编码器的脉冲当量并估算所述的隧道检测车的行走距离Zi；所述的控制器读取主动式全景视觉传感器所获取的隧道全断面全景图像并以所述的隧道检测车的行走距离Zi和现在时刻为文件名保存在所述的控制器的存储单元中；当所述的隧道检测车达到下一个站点时，所述的控制器通过所述的无线接发送单元将所述的控制器的存储单元中的隧道全断面全景图像发送给所述的站级通信系统；所述的主动式全景视觉传感器包括全方位视觉传感器和投射照明光源；所述的全方位视觉传感器与所述的投射照明光源进行同轴固定连接，安装在所述的隧道检测车的前方中央位置；所述全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩；所述的双曲面镜面固定在所述的上盖上，所述的连接单本文档来自技高网...

【技术保护点】
一种基于全景视觉CNN的隧道病害自动识别装置，其特征在于：所述的装置包括隧道检测车和远程计算机；所述的隧道检测车上配置有主动式全景视觉传感器、RFID读取器、测距轮、无线接发送单元、控制器和工控机，所述的主动式全景视觉传感器安装在所述的隧道检测车的前方中央，所述的RFID读取器读取配置在隧道内壁上安置的RFID信息，所述的隧道检测车的底部安装一个测距轮，所述的控制器读取测距轮中光电编码器的脉冲当量并估算所述的隧道检测车的行走距离Z

【技术特征摘要】
1.一种基于全景视觉CNN的隧道病害自动识别装置，其特征在于：所述的装置包括隧道检测车和远程计算机；所述的隧道检测车上配置有主动式全景视觉传感器、RFID读取器、测距轮、无线接发送单元、控制器和工控机，所述的主动式全景视觉传感器安装在所述的隧道检测车的前方中央，所述的RFID读取器读取配置在隧道内壁上安置的RFID信息，所述的隧道检测车的底部安装一个测距轮，所述的控制器读取测距轮中光电编码器的脉冲当量并估算所述的隧道检测车的行走距离Zi；所述的控制器读取主动式全景视觉传感器所获取的隧道全断面全景图像并以所述的隧道检测车的行走距离Zi和现在时刻为文件名保存在所述的控制器的存储单元中；当所述的隧道检测车达到下一个站点时，所述的控制器通过所述的无线接发送单元将所述的控制器的存储单元中的隧道全断面全景图像发送给站级通信系统；所述的主动式全景视觉传感器包括：全方位视觉传感器和投射照明光源；所述的全方位视觉传感器与所述的投射照明光源进行同轴固定连接，安装在所述的隧道检测车的前方中央位置；所述的远程计算机作为服务器采用Linux系统，所述的隧道检测车行进过程中，工控机每隔时间T采集隧道内壁全景图像，时间T是由隧道检测车的行进速度V以及全景视觉垂直成像范围F来决定的，全景图像采集间隔时间用公式(1)计算得到，T＝0.8×F/V(1)式中，T为ODVS的采样间隔，V为隧道检测车的行进速度，F为全景视觉垂直成像范围；工控机通过无线接发送单元将携带着隧道空间位置信息的展开的隧道内壁全景图像发送给远程计算机，所述远程计算机包括用于隧道病害自动识别的CNN模块。2.如权利要求1所述的一种基于全景视觉CNN的隧道病害自动识别装置，其特征在于：所述全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩；所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体，所述的透明半圆形外罩与所述的上盖以及所述的上罩固定在一起，所述的摄像单元固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上，所述的全方位视觉传感器中的所述的摄像单元的输出通过千兆网数据接口与所述的控制器连接。3.如权利要求1或2所述的一种基于全景视觉CNN的隧道病害自动识别装置，其特征在于：所述的照明光源包括光源上盖、圆锥形镜面、透明外罩、底座和24颗LED，24颗LED均匀分布固定在底座外圆侧对隧道内壁进行照明，圆锥形镜面的轴心线与光源上盖轴心线一致，透明外罩将嵌入24颗LED和固定圆锥形镜面的光源上盖集成为投射照明光源。4.如权利要求1或2所述的一种基于全景视觉CNN的隧道病害自动识别装置，其特征在于：所述的工控机中的图像处理部分包括隧道断面全景图像数据读取单元和隧道横断面全景图像展开单元；远程计算机中的图像处理部分主要包括：隧道疑似病害图像预处理单元和隧道疑似病害图像提取单元。5.如权利要求4所述的一种基于全景视觉CNN的隧道病害自动识别装置，其特征在于：隧道断面全景图像数据读取单元每隔时间T通过ODVS来获取隧道内壁的一帧全景图像；接着，隧道横断面全景图像展开单元全景图像进行展开处理，展开处理后的全景图像用隧道检测车的行走距离zi为文件名保存；全景柱状展开是以全景图像中心坐标为原点建立平面坐标系O(0,0)，X轴水平向右，Y轴竖直向上；选取合适的内径为r1、外径为r2，展开半径为R＝(r1+r2)/2，方位角为θ＝tan-1(y/x)；全景柱状展开图以坐标原点O*(0,0)、X*轴、Y*轴为平面坐标系，将全景图像坐标系下点(r,0)作为全景柱状展开图坐标原点O*(0,0)，以方位角θ顺时针方向展开建立全景柱状展开图；建立全景柱状展开图像中任意一点象素坐标P*(x*,y*)与全景图像中的象素坐标P(x,y)的对应关系，其计算公式为：x＝y/(tan(360x*/π(r1+r2)))(2)y＝(y*+r1)cosθ(3)式中：x*,y*为全景柱状展开图的坐标，x，y为全景图像的坐标，R为全景图像展开区域的外径，r为全景图像展开区域的内径，θ为全景图像坐标的方位角；模拟隧道内壁柱状展开图用隧道检测车的行走距离zi为文件名保存，请求服务器来读取该图像文件；远程计算机得到从隧道检测车发送过来的读取请求后，读取暂时存储在工控机内的展开全景图像，递交给隧道疑似病害图像预处理单元进行图像预处理，对隧道柱状展开图像进行增强，包括灰度校正和图像平滑；隧道疑似病害的提取包括：图像分割以及图像的形态学处理，首先采用Otsu法对隧道疑似病害图像进行二值分割，然后对隧道疑似病害二值图像的数学形态学处理；在数学形态学处理中采用先进行开运算再进行闭运算。6.如权利要求1或2所述的一种基于全景视觉CNN的隧道病害自动识别方法，其特征在于：所述CNN模块中，卷积神经网络CNN的结构为6层，包括依次连接的输入层，C1层，S2层，C3层，...

【专利技术属性】
技术研发人员：汤一平，胡克钢，袁公萍，吴挺，鲁少辉，韩国栋，陈麒，何霞，陈朋，王丽冉，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33