一种基于物联网和深度学习的道路病害智能巡检平台制造技术

本发明专利技术公开了一种基于物联网和深度学习的道路病害智能巡检平台，该平台由两部分组成，分别是道路病害检测车和计算机系统。道路病害检测车实现道路图像信息与位置坐标信息实时采集与传递功能。计算机系统由道路病害识别系统、通信系统、车辆控制系统组成，实现道路病害实时检测和道路病害检测车实时控制功能。本发明专利技术可以实现对道路病害的实时检测和对道路病害检测设备的远程控制。路病害检测设备的远程控制。路病害检测设备的远程控制。

【技术实现步骤摘要】
一种基于物联网和深度学习的道路病害智能巡检平台


[0001]本专利技术属于道路检测领域，尤其涉及一种基于物联网和深度学习的道路病害智能巡检平台，适用于道路病害智能巡检。

技术介绍

[0002]道路病害对于交通出行的安全性有着严重威胁，对道路病害进行检测是交通行业的重要工作。目前常用的道路病害检测方式是人工检测法和检测车检测法。人工检测需要投入大量人力资源，检测效率低，并且需要检测过程中需要封路，对交通产生严重不利影响。检测车检测需要购置专业车辆，设备成本高昂，适用范围只包括机动车道，并且检测车各种时需要以较低的速度行驶，会形成交通瓶颈，对交通产生不利影响。

技术实现思路

[0003]本专利技术提出了一种基于物联网和深度学习的道路病害智能巡检平台，可以实现对道路病害的实时检测和对道路病害检测设备的远程控制。
[0004]本专利技术采用的技术方案为一种基于物联网和深度学习的道路病害智能巡检平台，该平台由道路病害检测车和计算机系统两部分组成。该平台的道路病害检测车使用视频传感器获取道路图像信息，使用树莓派作为主板，使用无线网卡作为通信模块，并安装GPS定位模块；该平台的计算机系统由三部分组成，分别是信息传输系统、道路病害检测系统、车辆控制系统。信息传输系统用于接收道路病害检测车传输的信息以及向道路病害检测车发送控制指令，道路病害检测系统用于根据接收的道路病害检测车传输的信息检测道路病害，车辆控制系统用于根据道路病害检测系统检测结果生成道路病害检测车行驶方案。
[0005]该平台的具体实施步骤如下：
[0006]步骤一，道路病害检测车与计算机系统间连接通信。
[0007]在计算机系统的服务器上搭建flask框架，基于python语言的开源微型web 框架，并具有相当的可扩展性。服务器用来接收道路病害检测车发送的图片以及 GPS定位信息。计算机系统本地开启80端口作为服务器的收发端口。
[0008]实施道路病害检测车使用JETSON NANO 8265NGW型号的网卡来连接网络，选择2.4G频率的网卡，它的优势在于同时有蓝牙和WIFI两种模式并且兼容Linux系统，不需要再安装驱动来使用。在得到道路病害检测车的IP地址之后，用计算机系统通过公网与道路病害检测车通信。在道路病害检测车把得到的照片传送到计算机系统的服务器过程中，使用frp技术，把计算机系统的80端口与服务器的8000端口连接，通过反向代理把道路病害检测车作为客户端传输的照片发送到frp服务器里，再通过frp发送到计算机系统的网络端口里。这种通讯模式比之前用本地网络的优势在于，通讯的效率更高且道路病害检测车可以活动的范围更广，不受到本地网络信号范围的限制。
[0009]步骤二，深度学习检测模型建立。
[0010]建立基于深度学习的路面病害识别模型。选取多种天气状态和时间下的场景作为
训练集，使得网络训练具有更强的适用性，更加贴近实际应用。
[0011]使用YOLO V5算法进行深度学习，并使用Mosaic数据增强、自适应锚框、自适应图片缩放，加强模型的准确性与鲁棒性。
[0012]步骤三，道路巡检。
[0013]对于道路病害检测车拍照原理，主要分为三步：初步在道路病害检测车端调用高清广角摄像头获取路面情况；之后将路面状况传回PC端，进行道路病害识别；最后，由服务器处理得到识别结果后发送行驶指令到道路病害检测车。
[0014]对于路面状况获取，处理技术主要调用NVIDIA官方提供的JetBot库。初步引用camera，并完成该对象实例化。经由该对象获取Robot摄像头数据，操控该摄像头完成实时路面状况获取，以视频帧形式写入存储既定地址。
[0015]对于PC端传输及处理，调用python开源库request实现PC端与JetBot端图像实时传输。通过构建request命令，完成发送实时路面状况到服务器既定地址。在PC端调用YOLO V5网络训练模型对路面状况做出病害识别处理，识别结果包括目标位置、大小、类别、置信度，并结合阈值分析输出JetBot自动驾驶指令。
[0016]JetBot端接收行驶指令，在PC端执行request命令，将驾驶指令发送到JetBot 端。并于JetBot端建立request响应对象，该对象接收驾驶指令后，依照该指令完成自动驾驶。
[0017]在接收到服务器传回的行驶指令后，调用行驶函数控制道路病害检测车四个电机的转速，从而控制道路病害检测车的行驶速率与方向。道路病害检测车的四个电机速率分为10档，可根据图片的传输速率与计算机端检测速率来设置适合的转率，从而设置合适的道路病害检测车行驶速率。从而做到在有限的时间内，使道路病害检测车减速到目标速度或者更换车道。通过设置不同的左右电机转速，可以实现以左右轮差速的转向方法，这种原地转向的方法也能增大避障的成功率。
[0018]道路病害检测车在检测到路面检测对象后，根据不同的检测对象类别，并依据道路病害检测车动力性能，进行不同的行驶策略调整。
[0019]检测对象类别分为以下4类：
[0020]A类：对行驶产生严重影响的检测对象，包括坑槽等；
[0021]B类：对行驶产生较大影响的检测对象，包括裂缝等；
[0022]C类：对行驶产生较小影响的检测对象，包括井盖等；
[0023]D类：对行驶几乎没有影响的检测对象，包括标线等；
[0024]行驶策略调整包括以下4个等级：
[0025]A级响应：当道路病害检测车检测到行驶前方存在A类检测对象时，道路病害检测车依次进行Ⅰ级减速行驶、避让行驶、加速行驶。
[0026]B级响应：当道路病害检测车检测到行驶前方存在B类检测对象时，道路病害检测车依次进行Ⅰ级减速行驶、匀速行驶、加速行驶。
[0027]C级响应：当道路病害检测车检测到行驶前方存在C类检测对象时，道路病害检测车依次进行Ⅱ级减速行驶、匀速行驶、加速行驶。
[0028]D级响应：当道路病害检测车检测到行驶前方存在D类检测对象时，道路病害检测车保持原有行驶状态。
[0029]驾驶策略调整具体行动说明如下：
[0030]Ⅰ级减速行驶：道路病害检测车以减速时最大加速度a
m
将速度由正常行驶速度v0减小至v1，v1＝0.25v0。
[0031]避让行驶：绕行共包括4次转向和3段行驶，共7步。
[0032]对于A类检测对象所产生的矩形框，前向边长为2a，右侧边长为b；道路病害检测车与A类检测对象前向边初始距离为x0，且该距离较长；道路病害检测车行驶方向为正北方向，方位角α0＝0
°
，且与A类检测对象前向边垂直，并经过A类检测对象重心；初始时刻道路病害检测车速度为v1；道路病害检测车与A类检测对象间安全距离为x
s
。
[0033]①
第一次转向：道路病害检测车在很短的时间内将方位角调整为α1，α1＝60
°
，同时保持速度大小本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物联网和深度学习的道路病害智能巡检平台，其特征在于：该平台由道路病害检测车和计算机系统两部分组成；该平台的道路病害检测车使用视频传感器获取道路图像信息，使用树莓派作为主板，使用无线网卡作为通信模块，并安装GPS定位模块；该平台的计算机系统由三部分组成，分别是信息传输系统、道路病害检测系统、车辆控制系统；信息传输系统用于接收道路病害检测车传输的信息以及向道路病害检测车发送控制指令，道路病害检测系统用于根据接收的道路病害检测车传输的信息检测道路病害，车辆控制系统用于根据道路病害检测系统检测结果生成道路病害检测车行驶方案。2.根据权利要求1所述的一种基于物联网和深度学习的道路病害智能巡检平台，其特征在于：该平台的具体实施步骤如下：步骤一，道路病害检测车与计算机系统间连接通信；在计算机系统的服务器上搭建flask框架，基于python语言的开源微型web框架；服务器用来接收道路病害检测车发送的图片以及GPS定位信息；计算机系统本地开启80端口作为服务器的收发端口；道路病害检测车使用JETSON NANO 8265NGW型号的网卡来连接网络，选择2.4G频率的网卡；在得到道路病害检测车的IP地址之后，用计算机系统通过公网与道路病害检测车通信；在道路病害检测车把得到的照片传送到计算机系统的服务器过程中，使用frp技术，把计算机系统的80端口与服务器的8000端口连接，通过反向代理把道路病害检测车作为客户端传输的照片发送到frp服务器里，再通过frp发送到计算机系统的网络端口里；步骤二，深度学习检测模型建立；建立基于深度学习的路面病害识别模型；选取多种天气状态和时间下的场景作为训练集；使用YOLO V5算法进行深度学习，并使用Mosaic数据增强、自适应锚框、自适应图片缩放；步骤三，道路巡检；对于道路病害检测车拍照原理，分为三步：初步在道路病害检测车端调用高清广角摄像头获取路面情况；之后将路面状况传回PC端，进行道路病害识别；最后，由服务器处理得到识别结果后发送行驶指令到道路病害检测车；路面状况调用JetBot库；初步引用camera，并完成该对象实例化；经由该对象获取Robot摄像头数据，操控该摄像头完成实时路面状况获取，以视频帧形式写入存储既定地址；对于PC端传输及处理，调用python开源库request实现PC端与JetBot端图像实时传输；通过构建request命令，完成发送实时路面状况到服务器既定地址；在PC端调用YOLO V5网络训练模型对路面状况做出病害识别处理，识别结果包括目标位置、大小、类别、置信度，并结合阈值分析输出JetBot自动驾驶指令；JetBot端接收行驶指令，在PC端执行request命令，将驾驶指令发送到JetBot端；并于JetBot端建立request响应对象，该request响应对象接收驾驶指令后，依照该驾驶指令完成自动驾驶；在接收到服务器传回的行驶指令后，调用行驶函数控制道路病害检测车四个电机的转速，从而控制道路病害检测车的行驶速率与方向；道路病害检测车的四个电机速率分为10
档，根据图片的传输速率与计算机系统检测速率来设置转率；道路病害检测车在检测到路面检测对象后，根据不同的检测对象类别，并依据道路病害检测车动力性能，进行不同的行驶策略调整；道路病害检测车避障过程中，不再重复执行新的避障指令，直至本次避障动作执行完毕...

【专利技术属性】
技术研发人员：严海，潘硕，任子源，史淼，葛一飞，高思语，王峥，郑新楠，张妍，高月喆，赵恒睿，奚世佳，侯越，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：