【技术实现步骤摘要】
本专利技术涉及一种轻量化路面病害智能巡检系统、机器人、无人机、巡检车和模块，属于公路运营养护技术。
技术介绍
1、随着全国公路总里程不断增加，以及对公路技术状况(mqi)优等路率(90％以上)和公路路面技术状况(pqi)优等路率(88％以上)要求，对公路运营养护的工作量、效率、质量要求大幅增加。目前依靠人工巡查发现道路病害、上报、养护复查的主要方式，难以及时、准确、全面发现和复查公路病害及养护效果，无法实现高频次和灵活的公路巡检。虽然目前有一些巡检装备的辅助，但多为重型装备，成本过高，解决不了检测频次和灵活性提升需求。路旁视频图像识别方法具有较好的实时性和较低的检测成本，目前使用较为广泛，但是路旁摄像设施通常距离局面变形位置教员，受限于监控摄像设备的清晰度，仅能识别明显的坍塌或裂缝，无法对路面的微小变形进行检测。
技术实现思路
1、专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种轻量化路面病害智能巡检系统、机器人、无人机、巡检车和模块，通过勾画道路3d空间模型和比对的方式确定路面病害的类型和位置，兼有多客户端的信息收集渠道，便于及时定位和处理路面病害问题。
2、技术方案：为实现上述目的，本专利技术采用的技术方案为：
3、一种轻量化路面病害智能巡检系统，包括巡检车、巡检机器人和无人机，巡检车、巡检机器人和无人机通过无线方式通信连接，在巡检机器人上设置有定位装置i和高清摄像机，在无人机上设置有定位装置ii、高清摄像机，在巡检车上设置有定位装置iii
4、所述巡检机器人行驶在待巡检路面上，使用高清摄像机采集路面区域照片，使用定位装置i定位路面区域照片的位置信息，将路面区域照片及位置信息发送给巡检车；
5、所述无人机飞行在待巡检路面上空，使用高清摄像机采集路面整体照片，使用定位装置ii定位路面整体照片的位置信息，将路面整体照片及位置信息发送给巡检车；
6、所述巡检车行驶在待巡检路面上，使用定位装置iii定位巡检车的位置信息；
7、所述道路空间刻画模块，先基于定位装置iii提供的位置信息对定位装置i和定位装置ii提供的位置信息进行矫正，再基于矫正后的位置信息对路面区域照片和路面整体照片进行拼接刻画道路3d空间模型；
8、所述路面状况识别模块，使用训练好的路面病害识别模型对新拍摄的路面照片进行路面病害类别识别，通过比对3d空间模型和路面照片进行路面病害位置识别；所述图路面照片为巡检机器人采集的路面区域照片、无人机飞采集的路面整体照片或者其他移动终端采集的路面照片或路面照片组；
9、使用巡检机器人采集路面修复后的路面区域照片，使用无人机采集路面修复后的路面整体照片，使用路面修复后的路面区域照片和路面整体照片更新道路3d空间模型。
10、本案相对于现有技术，首先通过道路空间刻画模块和路面状况识别模块刻画了道路3d空间模型，再通过对移动终端拍摄的照片的识别分析路面病害的类别和位置，为路面病害识别提供了一种全新的思路。为了能够有效刻画道路3d空间模型，本案采用无人机对路面整体照片进行拍摄，采用巡检机器人对路面区域照片进行拍摄；在构建道路3d空间模型时，先通过路面整体照片进行初步勾画，再通过路面区域照片进行细节的完善；由于道路空间整体的视觉效果较为一致，尤其是高速公路，因此，为了确保空间拼接的准确性，在拍摄照片时同时对位置信息进行采集和矫正。该方案在前期勾画道路3d空间模型时对算力要求较高，但是后期的维护和使用将会非常方便。在使用过程中，任何移动端都可以对路面病害进行图像采集，单张或成组照片皆可，若同时采集位置信息将会更容易定位，在定位和病害识别时，可采用现有的各种关于图片的目标识别方法。
11、优选的，所述巡检车上还设置有现场修复控制器、水箱、路面冲洗装置、路面铣平装置、使用聚氨酯发泡的路面缝隙填充装置和路表柔性表层涂附装置；所述水箱通过管路与路面冲洗装置连通；在现场修复控制器收到路面修复指令后，控制路面冲洗装置冲洗待修复路面或正在修复的路面，控制路面铣平装置铣平路表凸出部分，控制路面缝隙填充装置填充路面缝隙，控制路表柔性表层涂附装置在清洗后、铣平并清洗后、填充并铣平并清洗后的路表涂附柔性表层。该设置，是为了能够在信息采集现场进行一些及时的、简单的路面修复，对于修复信息可以在道路3d空间模型进行标注，便于后期的检查和深度修护。
12、优选的，所述巡检机器人和无人机上的高清摄像机采用relight渲染方法调整照片拍摄时的光照条件，所述道路空间刻画模块和路面状况识别模块均采用神经网络学习架构，先采用非极大抑制算法进行过滤，再使用环状生成对抗网络提取照片的特征，接着基于多尺度集成模型的目标检测方法对不同照片的相同区域进行识别。为了增加图片的清晰度，最简单有效的方式是在光照条件较好的情况下进行照片的采集，为了避免可能存在的光照条件差的情况，可以在照片拍摄时进行relight渲染，模拟出日照条件良好的情况，提高照片的清晰度。由于道路3d空间模型刻画时，需要的照片量较大，尤其针对长距离路段，为了提高刻画速度，前期采用神经网络进行学习，后期通过完成学习的神经网络进行路面空间刻画，将会大幅提高速度。路面病害识别所提取的图片特征要尽可能地多，采用环状生成对抗网络将会尽可能多地保留图片特征，便于神经网络的学习，也便于后期的特征比对。
13、优选的，所述道路空间刻画模块和路面状况识别模块的神经网络架构采用低功耗深度神经网络稀疏推理硬件进行算法加速。该算法基于rise随机稀疏推理加速器架构，采用深度神经网络稀疏推理技术，能够实现高算力低功耗支撑边缘侧算法的目标，稀疏等效算力达到国内ai芯片等同水平；基于yolo的目标检测应用，能够提供至少6倍的加速比，可以解决硬件算力与成本之间的矛盾大幅降低项目产品的成本，提升产品市场竞争力。
14、一种轻量化路面病害智能巡检系统的巡检机器人，在巡检机器人上设置有定位装置i和高清摄像机，所述巡检机器人行驶在待巡检路面上，使用高清摄像机采集路面区域照片，使用定位装置i定位路面区域照片的位置信息，将路面区域照片及位置信息发送给巡检系统中的道路空间刻画模块和路面状况识别模块。
15、一种轻量化路面病害智能巡检系统的无人机，在无人机上设置有定位装置ii、高清摄像机，所述无人机飞行在待巡检路面上空，使用高清摄像机采集路面整体照片，使用定位装置ii定位路面整体照片的位置信息，将路面整体照片及位置信息发送给巡检系统中的道路空间刻画模块和路面状况识别模块。
16、一种轻量化路面病害智能巡检系统的巡检车，在巡检车上设置有定位装置iii、道路空间刻画模块、路面状况识别模块；所述巡检车行驶在待巡检路面上，使用定位装置iii定位巡检车的位置信息；所述道路空间刻画模块，先基于定位装置iii提供的位置信息对定位装置i和定位装置ii提供的位置信息进行矫正，再基于矫正后的位置信息对路面区域照片和路面整体照片进行拼接刻画道路3d空间模型；所本文档来自技高网...
【技术保护点】
1.一种轻量化路面病害智能巡检系统，其特征在于：包括巡检车、巡检机器人和无人机，巡检车、巡检机器人和无人机通过无线方式通信连接，在巡检机器人上设置有定位装置I和高清摄像机，在无人机上设置有定位装置II、高清摄像机，在巡检车上设置有定位装置III、道路空间刻画模块和路面状况识别模块；
2.根据权利要求1所述的轻量化路面病害智能巡检系统，其特征在于：所述巡检车上还设置有现场修复控制器、水箱、路面冲洗装置、路面铣平装置、使用聚氨酯发泡的路面缝隙填充装置和路表柔性表层涂附装置；所述水箱通过管路与路面冲洗装置连通；在现场修复控制器收到路面修复指令后，控制路面冲洗装置冲洗待修复路面或正在修复的路面，控制路面铣平装置铣平路表凸出部分，控制路面缝隙填充装置填充路面缝隙，控制路表柔性表层涂附装置在清洗后、铣平并清洗后、填充并铣平并清洗后的路表涂附柔性表层。
3.根据权利要求1或2所述的轻量化路面病害智能巡检系统，其特征在于：所述巡检机器人和无人机上的高清摄像机采用Relight渲染方法调整照片拍摄时的光照条件，所述道路空间刻画模块和路面状况识别模块均采用神经网络学习架构，先
4.根据权利要求3所述的轻量化路面病害智能巡检系统，其特征在于：所述道路空间刻画模块和路面状况识别模块的神经网络架构采用低功耗深度神经网络稀疏推理硬件进行算法加速。
5.一种轻量化路面病害智能巡检系统的巡检机器人，其特征在于：在巡检机器人上设置有定位装置I和高清摄像机，所述巡检机器人行驶在待巡检路面上，使用高清摄像机采集路面区域照片，使用定位装置I定位路面区域照片的位置信息，将路面区域照片及位置信息发送给巡检系统中的道路空间刻画模块和路面状况识别模块。
6.一种轻量化路面病害智能巡检系统的无人机，其特征在于：在无人机上设置有定位装置II、高清摄像机，所述无人机飞行在待巡检路面上空，使用高清摄像机采集路面整体照片，使用定位装置II定位路面整体照片的位置信息，将路面整体照片及位置信息发送给巡检系统中的道路空间刻画模块和路面状况识别模块。
7.一种轻量化路面病害智能巡检系统的巡检车，其特征在于：在巡检车上设置有定位装置III、道路空间刻画模块、路面状况识别模块；所述巡检车行驶在待巡检路面上，使用定位装置III定位巡检车的位置信息；所述道路空间刻画模块，先基于定位装置III提供的位置信息对定位装置I和定位装置II提供的位置信息进行矫正，再基于矫正后的位置信息对路面区域照片和路面整体照片进行拼接刻画道路3D空间模型；所述路面状况识别模块，使用训练好的路面病害识别模型对新拍摄的路面照片进行路面病害类别识别，通过比对3D空间模型和路面照片进行路面病害位置识别；所述图路面照片为巡检机器人采集的路面区域照片、无人机飞采集的路面整体照片或者移动终端采集的路面照片或路面照片组；所述路面区域照片是巡检机器人行驶在待巡检路面上时拍摄的照片，所述定位装置I提供的位置信息是安装在巡检机器人上的定位装置I在拍摄路面区域照片时采集的位置信息；所述路面整体照片是无人机飞行在待巡检路面上空时拍摄的照片，所述定位装置II提供的位置信息是安装在无人机上的定位装置II在拍摄路面整体照片时采集的位置信息。
8.一种道路空间刻画模块和路面状况识别模块，其特征在于：应用于轻量化路面病害智能巡检系统中；所述道路空间刻画模块，先基于定位装置III提供的位置信息对定位装置I和定位装置II提供的位置信息进行矫正，再基于矫正后的位置信息对路面区域照片和路面整体照片进行拼接刻画道路3D空间模型；所述路面状况识别模块，使用训练好的路面病害识别模型对新拍摄的路面照片进行路面病害类别识别，通过比对3D空间模型和路面照片进行路面病害位置识别；所述图路面照片为巡检机器人采集的路面区域照片、无人机飞采集的路面整体照片或者移动终端采集的路面照片或路面照片组；所述路面区域照片是巡检机器人行驶在待巡检路面上时拍摄的照片，所述定位装置I提供的位置信息是安装在巡检机器人上的定位装置I在拍摄路面区域照片时采集的位置信息；所述路面整体照片是无人机飞行在待巡检路面上空时拍摄的照片，所述定位装置II提供的位置信息是安装在无人机上的定位装置II在拍摄路面整体照片时采集的位置信息；所述定位装置III提供的位置信息是安装在巡检车上的定位装置III行驶在待巡检路面上是采集的位置信息。
...【技术特征摘要】
1.一种轻量化路面病害智能巡检系统，其特征在于：包括巡检车、巡检机器人和无人机，巡检车、巡检机器人和无人机通过无线方式通信连接，在巡检机器人上设置有定位装置i和高清摄像机，在无人机上设置有定位装置ii、高清摄像机，在巡检车上设置有定位装置iii、道路空间刻画模块和路面状况识别模块；
2.根据权利要求1所述的轻量化路面病害智能巡检系统，其特征在于：所述巡检车上还设置有现场修复控制器、水箱、路面冲洗装置、路面铣平装置、使用聚氨酯发泡的路面缝隙填充装置和路表柔性表层涂附装置；所述水箱通过管路与路面冲洗装置连通；在现场修复控制器收到路面修复指令后，控制路面冲洗装置冲洗待修复路面或正在修复的路面，控制路面铣平装置铣平路表凸出部分，控制路面缝隙填充装置填充路面缝隙，控制路表柔性表层涂附装置在清洗后、铣平并清洗后、填充并铣平并清洗后的路表涂附柔性表层。
3.根据权利要求1或2所述的轻量化路面病害智能巡检系统，其特征在于：所述巡检机器人和无人机上的高清摄像机采用relight渲染方法调整照片拍摄时的光照条件，所述道路空间刻画模块和路面状况识别模块均采用神经网络学习架构，先采用非极大抑制算法进行过滤，再使用环状生成对抗网络提取照片的特征，接着基于多尺度集成模型的目标检测方法对不同照片的相同区域进行识别。
4.根据权利要求3所述的轻量化路面病害智能巡检系统，其特征在于：所述道路空间刻画模块和路面状况识别模块的神经网络架构采用低功耗深度神经网络稀疏推理硬件进行算法加速。
5.一种轻量化路面病害智能巡检系统的巡检机器人，其特征在于：在巡检机器人上设置有定位装置i和高清摄像机，所述巡检机器人行驶在待巡检路面上，使用高清摄像机采集路面区域照片，使用定位装置i定位路面区域照片的位置信息，将路面区域照片及位置信息发送给巡检系统中的道路空间刻画模块和路面状况识别模块。
6.一种轻量化路面病害智能巡检系统的无人机，其特征在于：在无人机上设置有定位装置ii、高清摄像机，所述无人机飞行在待巡检路面上空，使用高清摄像机采集路面整体照片，使用定位装置ii定位路面整体照片的位置信息，将路面整体照片及位置信息发送给巡检系统中的道路空间刻画模块和路面状况识别模块。
【专利技术属性】
技术研发人员：郭新兰，李涛，
申请(专利权)人：南京交通职业技术学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。