基于视觉神经网络模型的路面裂缝检测方法技术

本发明专利技术提出一种基于视觉神经网络模型的路面裂缝检测方法，通过对路面检测视觉图像实施滤波，提高图像检测识别率；通过结合天气标记，建立路面特征的视觉神经网络模型，提高视觉检测方法对图像特征的识别精度，从而改善固定式路面缺陷检测的应用效果。定式路面缺陷检测的应用效果。

【技术实现步骤摘要】
基于视觉神经网络模型的路面裂缝检测方法


[0001]本专利技术属于路面检测领域，特别地，涉及基于视觉神经网络模型的路面裂缝检测方法。

技术介绍

[0002]混凝土路面缺陷检测对于安全驾驶与运输至关重要,是国家和地方交通维护部门的重要任务。这项任务中尤其是对裂缝的检测在公路养护和修复中起着关键的作用。快速及时地掌握公路路面信息和实现自动化路面缺陷检测模型是亟待解决的工程实践问题。目前传统的路面检测工作需要人工走查来完成，效率低，主观性强，成本高。
[0003]为了解决这些问题,基于计算机视觉的检测方法得到广泛应用。从检测手段看，又分为移动式视觉检测方案与固定式视觉检测方案。随着人工智能技术的发展,计算机视觉和机器学习技术已成功应用于移动式、固定式路面检测。基于移动式检测方案一般通过移动巡检车实施，但是由于会对交通状况有要求并造成一定影响，只能选择车流量小的时段进行，难以实现路网级高速公路路面裂缝图像测量。另外，高频率的使用巡检车也造成了较大的能源成本与人力成本。
[0004]相比之下，基于固定式的视觉检测方案能较好的解决上述问题。固定式检测方案采用固定在立交桥、隧道、灯具等视频监控设备对路面进行监控，由于当前国内公路视觉监控设备已经较为广泛，通过适当改变摄相机焦距就可以使原有摄像机拍摄的视觉图像具有检测路面裂缝的能力，投入较低且是一次性投入，能够大量降低路面巡检的人力、物力、资金投入。但固定式检测方案由于视觉图像采集点距离路面较远，易受光照、阴影、背景和纹理等环境因素影响,特别是在检测诸如坑洼、松散和裂缝等细节缺陷时,检测结果可靠性较差。现有方法仍然面临在长视距、低光照等不利条件下图像映射精度下降、检测识别率低等问题。
[0005]对于检测算法，传统图像处理的速度和准确度已经不能适用于这种固定式检测方案的需求，目前也有研究提出使用神经网络模型进行处理。然而，现有的神经网络模型虽然是用于图像处理，但没有专门用于固定式路面裂缝检测领域。也就是未针对该特定场景进行模型构建和优化，特别是未考虑天气等因素对于远距离裂缝检测准确度的影像，更未进行有针对性的预处理，从而导致模型在该场景下适用性不佳。

技术实现思路

[0006]本专利技术提出一种基于视觉神经网络模型的路面裂缝检测方法，通过对路面检测视觉图像实施滤波，提高图像检测识别率；通过结合天气标记，建立路面特征的视觉神经网络模型，提高视觉检测方法对图像特征的识别精度，从而改善固定式路面缺陷检测的应用效果。
[0007]基于视觉神经网络模型的路面裂缝检测方法，采用固定式高清高频摄像机对路面进行连续拍摄，获得路面状况的多帧图像数据；对图像数据按照时间戳建立索引，并根据时
间戳对原始图像数据作天气标记；
[0008]计算多帧图像数据在X方向、Y方向和时间三个方向的梯度数据，并进行均值滤波后得到滤波后数据F
x
、F
y
、F
t
；计算分量：
[0009][0010]将ρ(x,y,t)、θ(x,y,t)两组分量分别按照如下区间：
[0011]排列成映射矩阵Φ(ρ,θ)，共形成8
×
8＝64个分级；
[0012]如果某个邻域的计算结果满足：
[0013][0014]且
[0015]则将该邻域的中心作为动态目标的像元，否则作为静态目标的像元；并生成掩膜图像M(x,y,t)，当M(x,y,t)＝1时，像元为静态，当M(x,y,t)＝0时，像元为动态；
[0016]构建神经网络模型，判断路面裂缝，其中对于神经网络模型的优化在于：
[0017](1)根据该掩膜修正卷积层，得：
[0018][0019]其中V
n
是瞬时记忆图像，ω1是卷积核，β1是截距参数，l表示独立卷积核数，u,v为卷积核坐标，L1表示根据输入获得的卷积层输出，σ是激活函数；
[0020](2)卷积层L1后是天气标记修正层L2，定义为：
[0021]L2(x,y,l)＝σ(β2+A2(u,v)*L1(x,y,l))
…
(6)
[0022]其中，A2表示天气卷积核，为由天气因素参数构成的矩阵，*表示卷积符号，L1作为上一层输出，β2是本层的截距参数；
[0023](3)天气标记修正层L2后是池化层L3。
[0024]映射矩阵中每个元素表示根据式(4)计算，在立方体围成的邻域中满足对应条件的瞬时记忆中的像元的个数；上述映射矩阵作为反应瞬时记忆的变化特征，从而有效区分动态目标和静态目标；
[0025]天气标记包括拍摄地点的温度、晴雨、污染指数。
[0026]池化层L3为：L3(x,y,l)＝max
u,v
(L2(4x+u,4y+v,l))。
[0027]根据其他天气标记重复进行步骤(1)
‑
(3)。
[0028]采用裂缝图像、无裂缝图像对上述网络模型进行训练。
[0029]采用BP算法并设置代价函数为：
[0030][0031]表示训练样本标记值。
[0032]利用上述训练后的神经网络网络模型，输入一帧图像，并输出该图像中是否含有裂缝。
[0033]设置阈值δ，当输出Z>δ时，认为含有裂缝，否则认为不含有裂缝。
[0034]δ＝0.5。
[0035]本专利技术专利技术点及技术效果：
[0036]1、本专利技术提出一种基于视觉的路面裂缝检测图像及相关数据采集方法，利用固定在路面固定设备如隧道、天桥、信号灯、路灯等上的摄像机，拍摄路面上一定范围内的图像，基于瞬时记忆滤波(通过梯度数据)的图像序列优化的预处理方法，过滤图像中的不稳定(动态)目标，为神经网络模型处理提供优化的输入模板，从而提高对图像中路面裂缝的识别准确率。
[0037]2、建立并优化了专门用于固定式远距离路面裂缝检测的神经网络模型结构，特别是通过天气标记对图像进行修正并检测的模型与方法，可以减少由于天气变化对图像表观变化的影响，从而提高对图像中路面裂缝的检测率。
具体实施方式
[0038]步骤1所述的一种基于视觉的路面裂缝检测图像及相关数据采集方法，利用固定在路面固定设备如隧道、天桥、信号灯、路灯等上的摄像机，拍摄路面上一定范围内的图像，并获得相关数据，并存储数据。
[0039]采用高清高频摄像机(分辨率不低于1920*1080，采集帧率不低于15帧/秒)对路面进行连续拍摄，获得路面状况的原始图像数据。
[0040]对原始图像数据按照时间戳建立索引，并根据时间戳对原始图像数据作天气标记；典型的独立天气标记包括拍摄地点的温度、晴雨、污染指数等。独立天气标记进行采样离散化。
[0041]步骤2提出一种基于瞬时记忆滤波的图像序列优化方法，过滤图像中的不稳定(动态)目标，从而提高对图像中路面裂缝的识别准确率。
[0042]图像序列的瞬时记忆定义为一组短时间内连续拍摄的图像，即：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视觉神经网络模型的路面裂缝检测方法，其特征在于：采用固定式高清高频摄像机对路面进行连续拍摄，获得路面状况的多帧图像数据；对图像数据按照时间戳建立索引，并根据时间戳对原始图像数据作天气标记；计算多帧图像数据在X方向、Y方向和时间三个方向的梯度数据，并进行均值滤波后得到滤波后数据F
x
、F
y
、F
t
；计算分量：将ρ(x,y,t)、θ(x,y,t)两组分量分别按照如下区间：排列成映射矩阵Φ(ρ,θ)，共形成8
×
8＝64个分级；如果某个邻域的计算结果满足：且则将该邻域的中心作为动态目标的像元，否则作为静态目标的像元；并生成掩膜图像M(x,y,t)，当M(x,y,t)＝1时，像元为静态，当M(x,y,t)＝0时，像元为动态；构建神经网络模型，判断路面裂缝，其中对于神经网络模型的优化在于：(1)根据该掩膜修正卷积层，得：其中V
n
是瞬时记忆图像，ω1是卷积核，β1是截距参数，l表示独立卷积核数，u,v为卷积核坐标，L1表示根据输入获得的卷积层输出，σ是激活函数；(2)卷积层L1后是天气标记修正层L2，定义为：L2(x,y,l)＝σ(β2+A2(u,v)*L1(x,y,l))
…
(6)其中，A2表示天气卷积核，为由天气因素参数构成的矩阵，*表示卷积符号，L1作为上一层输出，β2是本层的截距参数；(3)天气标记修正层L2后是池化层L3。2.如权利要求1所述的基于视觉神经网...

【专利技术属性】
技术研发人员：杨永双，何燕，陈燕，王凤琴，胡颖，
申请(专利权)人：郑州轻工业大学，
类型：发明
国别省市：