一种路面异物自动识别预警方法和系统技术方案

本发明专利技术公开了一种路面异物自动识别预警方法和系统，该方法包括以下步骤：数据采集单元通过各地灾隐患点安装摄像头获取图像信息；将获取的图像信息进行处理，增强源图后像将获取的图像信息中各类特征进行提取；通过结构相似度识别相邻时间段获取的图像信息的差异性；采用数学形态学方法简化提取的特征信息；采用YOLOv2多目标检测识别模型对获取的图像信息中异物是否为机动车辆、非机动车辆和行人进行检测。本发明专利技术通过比较图像间在空间结构上的差异同时采用YOLOv2多目标检测识别模型从而识别和检测路面落石及其他地质灾害，解决公路路面及边坡地质灾害自动识别和预测预警的问题，提高图像识别和目标检测精度。

【技术实现步骤摘要】
一种路面异物自动识别预警方法和系统
本专利技术涉及公路灾害防护
，尤其涉及一种路面异物自动识别预警方法和系统。
技术介绍
公路是国家交通大动脉，公路的安全、稳定是人民生命安全的保障。目前北京市对普通公路地质灾害监测尤其是路面落石主要以人工巡查为主，养护单位通过对山区公路及地质灾害隐患点段进行巡查、看守、值守，及时发现路面落石和地灾隐患点山体变化情况，以及时进行道路清理和预警宣传和车辆疏导等工作。然而人工巡查不可能实时巡查所有路段，对路面异物及隐患的发现是非实时的。同时，当遇到恶劣天气或发生地质灾害时，人工巡查存在一定的危险性。通过在公路沿线安装视频监控设备，利用视频监控技术实时的获取海量的影像和图像数据，及时获取路面和公路边坡状况，发现路面落石、塌方等地质灾害和潜在地质灾害，以便于各级管理人员实时查看地灾隐患点和路面和周边的实时图像。视频监控是了解公路运行状态的耳目，具有实时、直观、信息丰富、可追溯等特点，在一定程度上弥补了人工巡查的不足，在地质灾害隐患点实时监控、安全防范和应急指挥方面具有重要作用。但是视频监控系统获取的海量的视频和图片数据，远超过人类的手动处理能力，必须借助计算机自动化完成。同时，对公路地质灾害防护的要求是以主动提防为首要任务，因此实现系统中图像自动识别和目标检测，实现路面落石和地灾隐患的实时监测和主动预警，改革传统的公路路面异物及地质灾害巡查和管理模式，从根本上提高公路路面异物和地质灾害识别和管理的智能化水平，显著提高公路网安全性能和服务水平以及应急处置能力。路面异物的自动识别预警即是应用目标自动识别技术通过一系列图像数据实现对路面异物等目标的自动地提取和识别。目前目标自动识别方法应用较广泛的是基于统计学习的自动目标识别方法，主要是利用神经网络、支持向量机、AdBaoost算法等统计学习方法通过对大量目标样本和非目标样本的学习得到一系列的统计特征，然后根据这些特征构建相应的模型，用于检测和识别目标。由于在构建模型的参数是从大量样本中提取的统计特征，因此能够更好的反应样本间的本质区别，具有较好的鲁棒性。但是对于本系统中路面异物自动识别检测，基于统计学习的自动目标识别方法具有较大的局限性。基于统计学习的自动目标识别方法需要对大量的目标样本和非目标样本进行训练学习获取特征，而现阶段路面异物样本的积累无法满足方法训练学习过程对样本量的需求，因此，需要通过图像识别路面异物，以达到有效提供路面异物预警信息。
技术实现思路
为克服相关技术中存在的问题，本专利技术实施例提供一种路面异物自动识别预警方法和系统，解决了遇到恶劣天气或发生地质灾害时，人工巡查存在一定的危险性和滞后性的问题。本专利技术实施例提供一种路面异物自动识别预警方法，包括以下步骤：数据采集单元通过各地灾隐患点安装摄像头获取图像信息；将获取的图像信息进行处理，增强源图后像将获取的图像信息中各类特征进行提取；通过结构相似度识别相邻时间段获取的图像信息的差异性；采用数学形态学方法简化提取的特征信息；采用YOLOv2多目标检测识别模型对获取的图像信息中异物是否为出现的机动车辆、非机动车辆和行人进行检测；结合差异性信息和YOLOv2多目标检测识别模型的检测结果对路面异物进行识别预警。进一步的，所述获取图像信息包括视频和抓拍图片。进一步的，所述图像预处理技术包括图像滤波、变换、恢复、平滑以及增强。进一步的，通过对比相邻时间段图像/视频间在亮度、对比度和结构度三个方面的差异性，从而识别相邻时间段图像中是否存在的异物。进一步的，差异性公式如下：S(X,Y)＝l(X,Y)α·c(X,Y)β·s(X,Y)γ，式中l(X,Y)、c(X,Y)和s(X,Y)分别为亮度比较函数、对比度比较函数和结构比较函数；μX、μY——X、Y子块像素值的均值，δX、δY——X、Y子块像素值方差，δXY——X和Y子块像素值的协方差，α、β、γ——均大于零，分别用来调整3个比较函数所占比重，取α＝β＝γ＝1，C1、C2、C3——用于避免分式出现异常情况引入的常量，其中C3＝C2/2，考虑到图像像素值的值域范围(0–1)及其对SSIM值的影响，所以C1＝C2＝0.0001。进一步的，所述检测包括五个最大池化层及二十个卷积层，使用Linear激活函数，初始学习率为千分之一，学习过程中样本为在不同种类车辆在不同路段、光照下已标定好的机动车辆、非机动车辆和行人数据各五百张。还包括，输出特征图，将图像分为nxn个区域，如果标注目标的中心位于某一区域，则该区域负责对该区域的图像进行计算，得到其boundingbox的位置及置信度；通过boundingbox和其对应的待检测目标概率、boundingbox和真实位置区域的IOU积的关系反应该boundingbox预测位置的精度，公式如下：其中，Pr(Object)为区域中是否检测到目标的概率，Pr(Object)＝1表示存在目标，Pr(Object)＝0表示不存在；为预测目标框与真实目标框的面积相交比，area(boxpred∩boxtruth)为预测目标框与真实目标框相交的面积，area(boxpred∪boxtruth)为预测目标框与真实目标框并集的面积；如在区域中检测到目标，则对目标继续进一步分类判断，使用表示最终判断概略，同时将其与置信度Confidence相乘，得到该目标类别M的置信度Confidence(M)，如公式所示：最终根据分类判断道路中存在的异物是否为通过车辆和行人，如检测结果为异物全部为车辆或行人，则表示道路中没有落石等危险物；如不全为车辆或行人，则进行警报提醒相关工作人员对该区域进行人工识别，以便对该区域实际情况进行判断。一种路面异物自动识别预警系统，包括数据采集单元、通讯单元、数据库单元、数据分析单元和可视化显示单元，数据采集单元与通讯单元连接，数据库单元与数据采集单元连接，数据库单元与数据分析单元，数据分析单元与可视化显示单元连接，其中，数据采集单元包括前端摄像头和云台，摄像头用于实时采集视频和图片信号，云台用于远程控制摄像头的监控区域和监控角度，还可控制画面调焦；通讯单元采用DTU通信模块，兼容SMS短消息、GPRS/3G/4G等移动通信网络多种通信方式；数据库单元用于存储视频和图像信号，并将获得的具有不同属性值的数据按照一定的阈值进行合并；数据分析单元用于存储海量数据的数据库；可视化显示单元用于将最终的分析结果通过不同方式显示出来，同时发布预警结果。进一步的，所述数据分析单元还包括，运用数据挖掘技术从海量数据中提取有价值信息；然后运用图像分析识别技术，综合分析判断一定时间间隔的图像间的空间结构的差异以识别出异物，然后基于YOLOv2多目标检测识别模型对异物是否为路过的机动车辆、非机动车辆和行人进行检测，从而识别和检测路面落石等路面异物。本专利技术的实施例提供的技术方案具有以下有益效果：通过比较图像间在空间结构上的差异同时采用YOLOv2多目标检测识别模型从而本文档来自技高网...

【技术保护点】
1.一种路面异物自动识别预警方法，其特征在于，包括以下步骤：/n数据采集单元通过各地灾隐患点安装摄像头获取图像信息；/n将获取的图像信息进行处理，增强源图后像将获取的图像信息中各类特征进行提取；/n通过结构相似度识别相邻时间段获取的图像信息的差异性；/n采用数学形态学方法简化提取的特征信息；/n采用YOLOv2多目标检测识别模型对获取的图像信息中异物是否为机动车辆、非机动车辆和行人进行检测；/n结合差异性信息和YOLOv2多目标检测识别模型的检测结果对路面异物进行识别预警。/n

【技术特征摘要】
1.一种路面异物自动识别预警方法，其特征在于，包括以下步骤：
数据采集单元通过各地灾隐患点安装摄像头获取图像信息；
将获取的图像信息进行处理，增强源图后像将获取的图像信息中各类特征进行提取；
通过结构相似度识别相邻时间段获取的图像信息的差异性；
采用数学形态学方法简化提取的特征信息；
采用YOLOv2多目标检测识别模型对获取的图像信息中异物是否为机动车辆、非机动车辆和行人进行检测；
结合差异性信息和YOLOv2多目标检测识别模型的检测结果对路面异物进行识别预警。


2.根据权利要求1所述的路面异物自动识别预警方法，其特征在于，所述获取图像信息包括视频和抓拍图片。


3.根据权利要求1所述的路面异物自动识别预警方法，其特征在于，所述图像预处理技术包括图像滤波、变换、恢复、平滑以及增强。


4.根据权利要求1所述的路面异物自动识别预警方法，其特征在于，所述通过结构相似度识别相邻时间段获取的图像信息的差异性进一步的，通过对比相邻时间段图像/视频间在亮度、对比度和结构度三个方面的差异性，从而识别相邻时间段图像中是否存在的异物。


5.根据权利要求1所述的路面异物自动识别预警方法，其特征在于，差异性公式如下：S(X,Y)＝l(X,Y)α·c(X,Y)β·s(X,Y)γ，式中l(X,Y)、c(X,Y)和s(X,Y)分别为亮度比较函数、对比度比较函数和结构比较函数；
μX、μY——X、Y子块像素值的均值，δX、δY——X、Y子块像素值方差，δXY——X和Y子块像素值的协方差，α、β、γ——均大于零，分别用来调整3个比较函数所占比重，取α＝β＝γ＝1，C1、C2、C3——用于避免分式出现异常情况引入的常量，其中C3＝C2/2，考虑到图像像素值的值域范围(0–1)及其对SSIM值的影响，所以C1＝C2＝0.0001。


6.根据权利要求1所述的路面异物自动识别预警方法，其特征在于，所述检测包括五个最大池化层及二十个卷积层，使用Linear激活函数，初始学习率为千分之一，学习过程中样本为在不同种类车辆在不同路段、光照下已标定好的机动车辆、非机动车辆和行人数据各五百张。


7.根据权利要求1所述的路面异物自动识别预警方法，其特征在于，所述采用YOLOv2多目标检测识别模型对获取的图像信息中异物是否为机动车辆、非机动车辆和行人进行检测还包括，输出特征...

【专利技术属性】
技术研发人员：白雪娇，李江涛，耿丹阳，艾云飞，孙云华，孙士凯，苏飞，赵鹏志，邓蕾，
申请(专利权)人：中国交通通信信息中心，中交信息技术国家工程实验室有限公司，
类型：发明
国别省市：北京;11