利用无人机多目视觉重建高速公路的自动巡检方法及系统技术方案

本发明专利技术提供利用无人机多目视觉重建高速公路的自动巡检方法及系统包括：处理器发出命令；巡检设备采集图像数据、定位信息和相机标定结果并存储；采集的数据通过5G通讯回传到车载系统地面服务站；对道路上的运动目标进行剔除并获取三维模型；与前一次上传数据生成的三维模型进行分析比对；判断是否有道路损坏；若是，记录道路损坏类型；若否，则将相关数据和分析结果上传到监控中心；判断是否发现道路损坏；若是，开展道路损坏处置工作并发出指示信号，若否，则结束无人机巡检流程。本发明专利技术解决了公路巡检误差大、巡检效率低以及量产成本高的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
利用无人机多目视觉重建高速公路的自动巡检方法及系统


[0001]本专利技术涉及无人机工业巡检、多目机器视觉及摄像装备领域，具体涉及利用无人机多目视觉重建高速公路的自动巡检方法及系统。

技术介绍

[0002]高速公路巡检是道路养护的第一步，坑洼裂痕，地表塌陷，以及路侧基塌方在高速公路上时有发生，尤其山区，我国西南地区，此类危害如果不被及时发现和修复就会迅速恶化，降低道路的使用寿命，严重威胁道路交通安全，甚至发生重大交通安全事故，危害人员的生命。目前大部分高速公路巡检主要依靠人工巡检和拍照记录来完成。漏检率高且效率低下，同时巡检人员在车流中开展路面巡检工作存在较大的安全隐患。
[0003]1.提高养护效率是保障高速公路安全运营的重要措施。目前人工巡检高速公路的方式不能及时发现道路损坏，缺乏实时性和准确率，费时费力，操作量大且危险系数高。公布号为CN109540104A的现有专利技术专利申请文献《一种利用摄影测量技术用于公路管理的无人机系统》包括无人机飞行单元、摄像采集单元及地面管理单元，其巡察管理流程如下，S1、设定飞行参数：规划无人机飞行单元的飞行航线，设定影像采集角度和采集频率；S2、公路巡察：摄像采集单元基于PPK和高清摄像机对公路进行影像拍摄，获取包含公路管理区的区域影像；S3、影像数据处理，对区域影像进行处理并比对，进而输出问题区。通过高清数字摄像机对公路实施航拍，并对航拍影像进行处理。该现有文献中披露的技术方案中采用了相机标定、相机投影以及点云分布处理技术，但从该现有专利申请文献的说明书中可知，该现有方案在由于数据处理软件生成的成密集空中三角加密点为全局点云，为确保数据成果的精度和符合工作实际，需要人工检校和修改密集点云数据，可见该现有技术通过人工检校和修改密集的空中三角加密点云，并据此生成的正射影像图和DEM模型，无法排除人工检校修改操作产生的误差以及主观影响，无法保证公路信息检测及反馈的精度。
[0004]2.对于使用激光雷达来实现巡检的方案，三维激光扫描技术能够提供物体表面的三维点云数据，因此可以用于获取高精度、高分辨率的数字场景模型。公布号为CN109612427A的现有专利申请文献《一种多传感器协同的无人机公路桥梁形变检测方法及系统》包括无人机模块和桥梁形变检测工作站模块。无人机模块主要由无人机和检测桥梁形变的多传感器组成。桥梁形变检测工作站模块由地面控制中心移动端和桥梁形变检测工作站模块两部分组成。桥梁检测人员设置无人机的作业模式。无人机通过搭载的传感器获取桥梁检测的数据并传回地面移动工作站,采集的数据通过桥梁形变检测数据管理系统进行存储、管理、处理、分析、可视化，另外可利用系统中桥梁风险评估模型进行桥梁风险评估，并建立桥梁健康档案。由该现有申请文献的具体实施方式可知，该现有技术对于初次检测的桥梁，通过所采集到的三维激光点云数据和航拍的高清相片构建起桥梁的仿真三维模型，之后，对地质雷达所测得的数据、高清航拍相片检测出的裂缝、红外传感器所检测到的混凝土温度异常数据三者相互验证。但是现有技术中涉及的激光点云受限于较高的成本，在量产方面比较困难，不利于在全国范围内大规模推广使用。同时，激光雷达生成的三维点
云比较稀疏，对于远距离物体或者小物体来说，反射点的数量非常少，同时激光雷达产生的点云没有颜色信息，尤其是路面绘制标记线，以及油污等，激光点云无法有效识别，不利于数据的实时处理与识别状况。
[0005]3.市面上也存在使用双目的方案来获得深度信息，但是实际案例中，发现双目的深度信息在z坐标上的误差非常大，很难得到准确的结果，在应用上有许多不可改善的问题。
[0006]4.现有无人机吊舱无法做到高空影像数据的实时回传，只能通过存储卡，地面人工传输数据的方式完成对数据的获取。
[0007]5.现有无人机吊舱三维重建技术，产生的模型无法主动剔除运动目标，对于巡检应用，需要得到没有汽车，没有其他无关目标，以及无关高速公路主体的建模数据。
[0008]综上，现有技术存在公路巡检误差大、巡检效率低以及量产成本高的技术问题。

技术实现思路

[0009]本专利技术所要解决的技术问题在于如何解决现有技术中的公路巡检误差大、巡检效率低以及量产成本高的技术问题。
[0010]本专利技术是采用以下技术方案解决上述技术问题的：利用无人机多目视觉重建高速公路的自动巡检方法包括：
[0011]S1、以预置无人机按预置路线进行飞行巡检，并通过多目图像采集装置根据处理器采集命令，通过多目相机阵列采集高速公路的公路巡检图像；
[0012]S2、利用GPS定位装置获取多目相机阵列定位信息，据以对多目相机阵列进行标定，据以得到多目相机阵列标定结果，其中，多目相机阵列标定结果包括：内参数和外参数；
[0013]S3、利用预置5G通讯，将公路巡检图像及多目相机阵列标定参数回传至车载服务站；
[0014]S4、以车载服务站从公路巡检图像中提取图像特征点，利用匹配算法处理图像特征点，据以获得特征点匹配对；
[0015]S5、通过空三算法处理图像特征点，据以获取深度信息，并通过三维重建剔除公路巡检图像中的运动目标，以得到空三加密成果；
[0016]S6、获取并根据空三加密成果与深度关系，将空三加密成果转化为深度信息，从而获得物体表面的三维点云，利用REMOVERT算法将目标地图分为静态点云地图及动态点云地图，其中，静态点云地图包括静态点云，动态点云地图包括动态点云；基于多重分辨率深度图像判断并剔除动态点云，以保留静态点，降低多重分辨率深度图像的分辨率，以从动态点云中，将误剔除静态点修复还原，并将误剔除静态点并入静态点云中，以剔除动态点云并构建适用静态点云；
[0017]S7、根据适用静态点云进行点云网格化，据以得到道路三维模型；
[0018]S8、分析当前及前次生成的道路三维模型，据以识别获取道路损坏类型分析数据，并通过预置5G通讯发送到监控中心；
[0019]S9、在监控中心根据道路损坏类型分析数据向道路养护部门发出养护指示信号，据以维护高速公路。
[0020]本专利技术利用无人机全自动实现路面自动巡检不仅实时性得到了保证，效率得到了
大幅提高，数据精准，还减少了巡检人员的工作量和巡检盲区，操作上也更加便捷和安全。避免了传统技术中依靠人工巡检，导致的费人费力以及施工维护复杂的问题，能够及时发现并修复道路损坏，排除巡检中的盲点，弥补了人工巡检的不足。
[0021]本专利技术完成路面巡检用时少且巡检全程自动对准道路，无需人工干预，极大提高了巡检效率，同时能有效降低巡检人员工作的安全风险，整个数据自动检查，并且便于数据历史检索，方便道路数据长期维护，同时本专利技术实现了在道路实时三维重建过程中剔除运动目标，对大场景的三维模型优化效果显著。
[0022]本专利技术在多目立体视觉三维重建过程中，通过5G通讯将影像数据实时回传到车载系统地面服务站进行实时处理，实现数据与影像的边采集边处理功能，大幅度减少了终端设备的处理时间。本专利技术采用5G分布式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述方法包括：S1、以预置无人机按预置路线进行飞行巡检，并通过多目图像采集装置根据处理器采集命令，通过多目相机阵列采集高速公路的公路巡检图像；S2、利用GPS定位装置获取多目相机阵列定位信息，据以对所述多目相机阵列进行标定，据以得到多目相机阵列标定结果，其中，所述多目相机阵列标定结果包括：内参数和外参数；S3、利用预置5G通讯，将所述公路巡检图像及所述多目相机阵列标定参数回传至车载服务站；S4、以所述车载服务站从所述公路巡检图像中提取图像特征点，利用匹配算法处理所述图像特征点，据以获得特征点匹配对；S5、通过空三算法处理所述图像特征点，据以获取深度信息，并通过三维重建剔除所述公路巡检图像中的运动目标，以得到空三加密成果；S6、获取并根据所述空三加密成果与深度关系，将所述空三加密成果转化为深度信息，从而获得物体表面的三维点云，利用REMOVERT算法将目标地图分为静态点云地图及动态点云地图，其中，所述静态点云地图包括静态点云，所述动态点云地图包括动态点云；基于多重分辨率深度图像判断并剔除所述动态点云，以保留静态点，降低所述多重分辨率深度图像的分辨率，以从所述动态点云中，将误剔除静态点修复还原，并将所述误剔除静态点并入所述静态点云中，以剔除所述动态点云并构建适用静态点云；S7、根据所述适用静态点云进行点云网格化，据以得到道路三维模型；S8、分析当前及前次生成的所述道路三维模型，据以识别获取道路损坏类型分析数据，并通过所述预置5G通讯发送到监控中心；S9、在监控中心根据所述道路损坏类型分析数据向道路养护部门发出养护指示信号，据以维护所述高速公路。2.根据权利要求1所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S2包括：S21、利用下述逻辑表示二维点m＝[u,v]
T
与对应的三维点M＝[X,Y,Z]
T
的增广向量：m
′
＝[u,v,1]
T
M
′
＝[X,Y,Z,1]
T
。S22、根据预置相机模型处理得到张正友标定法一般公式：sm
′
＝A[R|t]M
′
其中，为相机内参矩阵，[R|t]为相机外参矩阵，s为缩放系数；S23、通过方程求解可得相机的所述内参数及所述外参数，并结合极大似然估计的非线性优化方法，以下述逻辑优化所述内参数及所述外参数：其中，n标定平面数量，m为标定平面角点数量。
3.根据权利要求1所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S4包括：S41、根据一个像素与周围邻域的像素差别程度判断该所述像素是否为一个角点，其中，如果所述像素与周围邻域像素差别超出预置阈值，则判定该所述像素为所述角点；S42、非极大值抑制处理所述特征点，以在预置区域内保留响应极大值特征点；S43、采用二进制串作为描述向量，据以表示所述响应极大值特征点的邻域内的所述像素p、所述像素q的灰度值；S44、比较所述像素p与所述像素q的大小，据以获取n维像素特征点描述向量；S45、通过计算一个所述n维像素特征点描述向量与其他所有所述n维像素特征点描述向量之间的距离并排序，取所述距离最近的所述特征点作为匹配点，并选择已匹配的所述特征点，以预置判据判断是否匹配正确并滤除错误匹配结果，据以获取所述特征点匹配对。4.根据权利要求3所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S41包括：S411、在所述公路巡检图像中选择所述像素p，其灰度值为I
p
，据以设置所述预置阈值T；S412、选择所述像素p周围半径为r的m个所述周围邻域像素，以作为比较像素；S413、选取的圆上有连续的N个所述比较像素大于I
p
+T或I
p
‑
T，判定所述像素p为所述特征点。5.根据权利要求1所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S45中，以所述特征点之间的汉明距离小于最小距离的两倍作为所述预置判据，其中，汉明距离公式为其中i＝0,1,
…
,n
‑
1，x、y都是n位的编码，表示亦或。6.根据权利要求1所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S5包括：S51、进行数据准备工作，其中，依序准备构架航线及基本航线，所述构架航线的像片排列顺序与所述基本航线一致；S52、在预置区域范围内按所述构架航线及所述基本航线依次建立像对模型，并通过连接点实现所述构架航线及所述基本航线内的模型连接以及航线间模型连接；S53、再进行点位量测，以获取控制点并选定加密点；S54、进行空中三角测量平差处理，以得到平差数据；S55、利用下述逻辑根据所述平差数据及所述控制点检测加密精度，以得到所述加密点中的误差：其中，M
控
为控制点检测中误差，
△
为多余控制点的不符值，n为评定精度检测点个数。7.根据权利要求6所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S54包括：S541、预平差剔除粗差点...

【专利技术属性】
技术研发人员：王智博，王志健，王斌，
申请(专利权)人：上海托旺数据科技有限公司，
类型：发明
国别省市：