一种基于无人机视觉的沿山区公路自主巡检系统技术方案

本发明专利技术公开了一种基于无人机视觉的沿山区公路自主巡检系统，系统主要包括若干用于执行任务的无人机、用于存储数据的数据中心(在本发明专利技术的具体实施例中，其包括云数据中心和布置在基站的数据资源库，当然也可以仅包括布置在基站的数据资源库或云数据中心)、病害检测评估模块和山区公路巡检可视化模块。系统能够在地形复杂、高低起伏较大、弯道较多的山区公路情况下对无人机自主飞行状态进行调整，采集高清稳定的图像、并进行病害识别和可视化显示。示。示。

【技术实现步骤摘要】
一种基于无人机视觉的沿山区公路自主巡检系统


[0001]本专利技术属于无人机巡检领域，具体涉及一种基于无人机视觉的沿山区公路自主巡检系统。所述系统能够在地形复杂、高低起伏较大、弯道较多的山区公路情况下对无人机自主飞行状态进行调整，采集高清稳定的图像、并进行病害识别和可视化显示。

技术介绍

[0002]山区公路存在分布范围广、所处地形复杂、高差起伏较大、弯道较多等特点，许多山区公路由于交通运输负荷的增加、路面的老化、山体的稳定性变动等多种因素的影响，其安全性存在很大隐患。公路养护管理工作的落后、日常公路巡检的疏忽会出现道路受损、山体滑坡、塌方而不没有及时发现等情况，以至于后期养护成本大大增加，并威胁到人民的生命财产安全。通常来说，通过道路巡检可实现对道路病害的预防，一般道路巡检通过人工及多动能道路检测车完成，但是存在巡查周期较长，成本较高，工程量巨大的问题。随着无人机技术逐渐成熟，利用无人机灵活性高、操作便捷、成本低廉等独特优势，开展山区公路自动化巡检，能够大大加快巡检工作效率、避免安全隐患。目前通过无人机为公路巡检的方式有两种：通过技术人员根据经验的人工操纵飞行和利用无人机地面站实现自主航线规划及飞行。CN201711471859.0提出了基于无人机和地面控制中心的道路巡检系统，但未对无人机沿路自主飞行进行深入研究。CN201510890484.6提出了无人机高速公路智能巡检控制方法，但未对基于无人机视觉的车道线检测以及病害检测进行深入研究。

技术实现思路

[0003]为了考虑地理环境复杂、道路形态多样的山区道路的无人机日常巡检需求，针对复杂山区环境下定位信号弱，弯道众多，道路高度差异大导致的无人机沿路飞行困难的问题，本专利技术提供一种基于无人机视觉的沿山区公路自主巡检系统。
[0004]本专利技术解决其技术问题所采用的技术方案是：
[0005]本专利技术首先提供了一种基于无人机视觉的沿山区公路自主巡检系统，其包括：
[0006]若干无人机，所述的无人机搭载有摄像机和无人机循迹飞行模块，所述的无人机循迹飞行模块基于无人机上摄像机实时采集的图像数据，通过检测算法得到山区公路的车道线，基于所得到的车道线，控制无人机沿山区公路巡迹飞行；无人机循迹飞行模块将无人机的位置、姿态、图像视频数据上传到数据中心；
[0007]病害检测评估模块，所述病害检测评估模块设置在基站，其根据数据中心中无人机上摄像机采集的图像视频数据，进行基于深度学习的公路病害定位及基于迁移学习的公路病害分类评估，得到公路病害定位和分类结果上传到数据中心；
[0008]数据中心，其用于存储无人机的位置、姿态、图像视频数据，以及公路病害定位和分类结果数据；
[0009]山区公路巡检可视化模块，所述山区公路巡检可视化模块设置在基站，其通过合作地图API，加载嵌入的地图界面，通过调用相应的API接口来实现地图控件、覆盖物、滚动
缩放以及地图类型转换；山区公路巡检可视化模块获取数据中心存储的数据，实现视频及图像回放、病害可视化显示，并通过数据实时更新实现无人机实时动态轨迹显示。
[0010]作为本专利技术的优选方案，所述的无人机循迹飞行模块基于无人机上摄像机实时采集的图像数据，通过检测算法得到山区公路的车道线，具体为：
[0011]1)无人机上摄像机实时采集山区公路的图像数据，对摄像头采集的图像数据进行去畸变和视觉增强；
[0012]2)利用Sobel算子提取图像梯度信息，将图像转换成HLS通道提取颜色信息，将梯度信息和颜色信息叠加，得到车道线所对应的像素所在位置；
[0013]3)对图像进行透视变换，变成鸟瞰视角；
[0014]4)利用滑动窗口定位车道线；
[0015]5)将车道线检测结果反投影到原图。
[0016]作为本专利技术的优选方案，所述的步骤4)具体为：
[0017]4.1)定位滑窗左右两条车道线的搜寻起始点
[0018]首先，划分搜素区域，按照x轴方向将图像一分为二，划分为左右两个部分；然后，对二值图像两个部分在x方向做直方图统计，定位峰值作为左右两条车道线的搜寻起点；设置搜寻窗口的大小，即设置width和height；
[0019]4.2)搜寻过程
[0020]以搜寻起始点作为当前搜寻的基点，并以当前基点为中心，做网格化搜寻；其次，对每个搜寻窗口分别做水平和垂直方向直方图统计，统计在搜索框区域内非零像素个数，并过滤掉非零像素数目小于50的框；最后，计算非零像素坐标的均值作为当前搜索框的中心，并对这些中心点做一个二阶的多项式拟合，得到当前搜寻对应的车道线曲线参数；
[0021]4.3)更新搜寻基点
[0022]步骤4.2)中，二阶多项式逼近后，会得到一个曲线方程：ay2+by+c＝x，令y＝img.height，得到新的搜寻基点；重复步骤4.2)的搜寻过程，得到新的搜寻基点对应的车道线曲线参数；4.4)如果n个步长中均存在曲线，即已经得到n 个曲线方程，即，则n个曲线方程中断开，即每三个曲线选取其中两个；然后，将曲线方程离散化后的坐标点取均值，再做二阶多项式逼近，得到车道线。
[0023]作为本专利技术的优选方案，所述的基于所得到的车道线，控制无人机沿山区公路巡迹飞行，具体为：
[0024]对获取的车道线数据进行离散化；根据离散化的数据形成控制点；然后获取当前无人机位置与控制点偏差，将偏差值作为输入进入PID控制器；PID控制器根据输入偏差，计算输出控制量，将PWM控制波输出给无人机电机，控制电机沿车道线飞行。
[0025]作为本专利技术的优选方案，所述的数据中心包括云数据中心和布置在基站的数据资源库；数据中心采用SQL数据库支持无人机收集的多源山区公路信息的存储需求，采用NoSQL数据库存储无人机收集的文本、图像、视频数据；
[0026]所述数据中心提供一致的SQL语言接口用于数据访问。
[0027]作为本专利技术的优选方案，所述病害检测评估模块采用基于Faster R
‑
CNN 的公路路面病害检测方法进行病害检测，具体为：
[0028]病害检测评估模块的特征提取网络对公路路面病害特征进行提取，输出特征图；
候选区域网络RPN在特征提取网络输出的特征图上对候选区域进行提取，输出包含有病害的候选区域；Fast R
‑
CNN将特征提取网络输出的特征图与RPN 输出的候选区域作为输入，输出病害类别与置信度，并对候选区域位置进行调整。
[0029]本专利技术综合基于无人机视觉的无人机循迹飞行技术、基于图像的山区公路损坏检测与多维评估和巡检数据的结构化存储和可视化技术，实现基于无人机视觉的沿山区公路自主巡检系统的构成。所述系统不仅能基于车道线检测对无人机飞行状态进行调整，而且能够使无人机实现自主沿路飞行并采集稳定的道路数据用于后续的道路检测。
附图说明
[0030]图1为本专利技术系统的框图；
[0031]图2为方向示意图；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机视觉的沿山区公路自主巡检系统，其特征在于，包括：若干无人机，所述的无人机搭载有摄像机和无人机循迹飞行模块，所述的无人机循迹飞行模块基于无人机上摄像机实时采集的图像数据，通过检测算法得到山区公路的车道线，基于所得到的车道线，控制无人机沿山区公路巡迹飞行；无人机循迹飞行模块将无人机的位置、姿态、图像视频数据上传到数据中心；病害检测评估模块，所述病害检测评估模块设置在基站，其根据数据中心中无人机上摄像机采集的图像视频数据，进行基于深度学习的公路病害定位及基于迁移学习的公路病害分类评估，得到公路病害定位和分类结果上传到数据中心；数据中心，其用于存储无人机的位置、姿态、图像视频数据，以及公路病害定位和分类结果数据；山区公路巡检可视化模块，所述山区公路巡检可视化模块设置在基站，其通过合作地图API，加载嵌入的地图界面，通过调用相应的API接口来实现地图控件、覆盖物、滚动缩放以及地图类型转换；山区公路巡检可视化模块获取数据中心存储的数据，实现视频及图像回放、病害可视化显示，并通过数据实时更新实现无人机实时动态轨迹显示。2.根据权利要求1所述的基于无人机视觉的沿山区公路自主巡检系统，其特征在于，所述的无人机循迹飞行模块基于无人机上摄像机实时采集的图像数据，通过检测算法得到山区公路的车道线，具体为：1)无人机上摄像机实时采集山区公路的图像数据，对摄像头采集的图像数据进行去畸变和视觉增强；2)利用Sobel算子提取图像梯度信息，将图像转换成HLS通道提取颜色信息，将梯度信息和颜色信息叠加，得到车道线所对应的像素所在位置；3)对图像进行透视变换，变成鸟瞰视角；4)利用滑动窗口定位车道线；5)将车道线检测结果反投影到原图。3.根据权利要求2所述的基于无人机视觉的沿山区公路自主巡检系统，其特征在于，所述的步骤4)具体为：4.1)定位滑窗左右两条车道线的搜寻起始点首先，划分搜素区域，按照x轴方向将图像一分为二，划分为左右两个部分；然后，对二值图像两个部分在x方向做直方图统计，定位峰值作为左右两条车道线的搜寻起点；设置搜寻窗口的大小，即设置width和height；4.2)搜寻过程以搜寻起始点作为当前搜寻的基点，并以当前基点为中心，做...

【专利技术属性】
技术研发人员：周家柳，罗喜伶，王珺珺，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：