基于深度学习的路面灌缝检测方法、系统、终端及介质技术方案

本发明专利技术公开了基于深度学习的路面灌缝检测方法、系统、终端及介质，涉及图像识别技术领域，其技术方案要点是：实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；将第一图像数据与第二图像数据中针对同一路面段的图像进行关联；筛选出第一图像数据中的异常图像；从第二图像数据中匹配得到与异常图像关联的目标图像；将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果。本发明专利技术可降低参与精准识别的图像数量，提高识别效率；将全局视角下和局部视角下的图像关联后进行识别，既可以适应高速行驶状态，又可以在有车辆遮挡的情况下进行全面覆盖识别。面覆盖识别。面覆盖识别。

【技术实现步骤摘要】
基于深度学习的路面灌缝检测方法、系统、终端及介质


[0001]本专利技术涉及图像识别
，更具体地说，它涉及基于深度学习的路面灌缝检测方法、系统、终端及介质。

技术介绍

[0002]传统的公路路面灌缝检测方法是人工检测，这种人工的检测的结果不仅耗时、成本高、效率低、工作强度大、速度慢，并且带有很强的主观性和不安全因素。为此，一系列基于深度学习的道路灌缝检测方法被开发了出来，并应用于工程实际。
[0003]然而，基于真实路面状况的复杂多变，使得现有的深度卷积神经网络算法虽然在识别效果和泛化能力上较传统的算法模型有质的提升，但在路面灌缝的精确定量评估上仍然有进一步的研究发展空间。如现有的深度卷积神经网络算法应用于路面灌缝检测的效果非常容易受到光照强度以及路面噪声的影响，从而出现大量的误识别以及目标边界定位不准确的现象，降低识别率较低，鲁棒性较差；此外，针对每一个采集的路面图像数据均进行识别，在一定程度上占用了大量的网络资源，且大量的图像识别也容易导致识别效率低；另外，道路上正常行驶的车辆也容易导致大量的误识别以及无法进行全面识别。
[0004]因此，如何研究设计一种能够克服上述缺陷的基于深度学习的路面灌缝检测方法、系统、终端及介质是我们目前急需解决的问题。

技术实现思路

[0005]为解决现有技术中的不足，本专利技术的目的是提供基于深度学习的路面灌缝检测方法、系统、终端及介质，可降低参与精准识别的图像数量，从而提高识别效率；此外，将全局视角下和局部视角下的图像关联后进行识别，既可以适应高速行驶状态，又可以在有车辆遮挡的情况下进行全面覆盖识别。
[0006]本专利技术的上述技术目的是通过以下技术方案得以实现的：第一方面，提供了基于深度学习的路面灌缝检测方法，包括以下步骤：实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；将第一图像数据与第二图像数据中针对同一路面段的图像进行关联；筛选出第一图像数据中的异常图像；从第二图像数据中匹配得到与异常图像关联的目标图像；将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果。
[0007]进一步的，所述全局视角下所对应的单一摄像头的采集区域覆盖目标路面的宽度范围；所述局部视角下所对应的多个摄像头的采集区域交集处理后覆盖目标路面的宽度范围；
以及，同一路面段中第一图像数据的采集时间先于第二图像数据的采集时间。
[0008]进一步的，所述第一图像数据和第二图像数据以相同的采集间隔时间进行同步采集；第一图像数据中的第m个图像与第二图像数据中的第m+n个图像关联，n为正整数；其中，n由采集间隔时间、采集车的移动速度以及摄像头的安装参数决定，摄像头的安装参数包括摄像方向的俯仰角以及摄像头距离目标路面的垂直高度。
[0009]进一步的，所述第一图像数据与第二图像数据的关联表达式具体为：；其中，表示第一图像数据与第二图像数据关联的图像序号差值；表示摄像头距离目标路面的垂直高度；表示全局视角下所对应摄像方向的俯仰角；表示局部视角下所对应摄像方向的俯仰角；表示采集车的移动速度；表示图像采集的采集间隔时间；表示第一图像数据中第个图像；表示第二图像数据中第个图像；表示两侧图像所采集的路面段相同。
[0010]进一步的，所述异常图像的筛选过程具体为：提取第一图像数据中单个图像的路面标线，并将路面标线去除后得到非标图像；计算非标图像中沿路面标线的延伸方向的像素均值；沿路面标线的延伸方向计算两个相邻的像素均值的差值，若存在差值大于设定阈值的情况，则判定相应的图像为异常图像。
[0011]进一步的，所述深度学习网络模型以图像分类网络deeplabv3+为基础，并使用轻量级网络MobileNetv2替换DeepLabv3+的主干网络Xception。
[0012]进一步的，所述深度学习网络模型通过编码器和解码器进行特征提取，具体过程为：利用Mobilenetv2对路面图像进行初步提取，得到8
×
16大小的深层特征图以及32
×
64大小的浅层特征图；将深层特征图传入ASPP模块进行特征提取，然后进行合并，再执行上采样4倍操作，得到32
×
64大小的第一特征图，第一特征图为原输入尺寸大小的1/8；将32
×
64大小的浅层特征图通过卷积核大小为1
×
1、步长为1的卷积层以及标准化和非线性激活函数RELU，得到原输入尺寸1/8大小的第二特征图；将第一特征图、第二特征图进行特征的拼接融合，得到最后高语义特征和多尺度特征信息的融合结果，然后将融合结果传入ECA Attention结构，接着通过3
×3×
1的卷积层得到的单通道特征图，最后执行上采样8倍操作实现最后的语义分割结果。
[0013]第二方面，提供了基于深度学习的路面灌缝检测系统，包括：图像采集模块，用于实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；图像关联模块，用于将第一图像数据与第二图像数据中针对同一路面段的图像进
行关联；异常筛选模块，用于筛选出第一图像数据中的异常图像；图像匹配模块，用于从第二图像数据中匹配得到与异常图像关联的目标图像；灌缝检测模块，用于将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果。
[0014]第三方面，提供了一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任意一项所述的基于深度学习的路面灌缝检测方法。
[0015]第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如第一方面中任意一项所述的基于深度学习的路面灌缝检测方法。
[0016]与现有技术相比，本专利技术具有以下有益效果：1、本专利技术提供的基于深度学习的路面灌缝检测方法，先对全局视角下相对模糊的第一图像数据进行异常识别，再利用深度学习网络模型对存在异常的路面段所对应的相对清晰的第二图像数据进行精准识别，可降低参与精准识别的图像数量，从而提高识别效率；此外，将全局视角下和局部视角下的图像关联后进行识别，既可以适应高速行驶状态，又可以在有车辆遮挡的情况下进行全面覆盖识别；2、本专利技术通过将第一图像数据与第二图像数据中不同时序的图像进行直接关联，可以降低图像匹配的难度，且可以依据实际应用情况灵活调整关联位置；3、本专利技术以图像分类网络deeplabv3+为基础，并使用轻量级网络MobileNetv2替换DeepLabv3+的主干网络Xception，可以减少参数量、提高训练速度；4、本专利技术在解码部分引入有效通道注意力(ECA)模块，在因光线造成的明暗差异处，不会像传统算法一样完全误判，能够准确的识别暗处的灌缝，对于灌缝附近出现的井盖干扰物，也可以很好的排除干扰，实现了灌缝的高精度分割识别。
附图说明
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的路面灌缝检测方法，其特征是，包括以下步骤：实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；将第一图像数据与第二图像数据中针对同一路面段的图像进行关联；筛选出第一图像数据中的异常图像；从第二图像数据中匹配得到与异常图像关联的目标图像；将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果。2.根据权利要求1所述的基于深度学习的路面灌缝检测方法，其特征是，所述全局视角下所对应的单一摄像头的采集区域覆盖目标路面的宽度范围；所述局部视角下所对应的多个摄像头的采集区域交集处理后覆盖目标路面的宽度范围；以及，同一路面段中第一图像数据的采集时间先于第二图像数据的采集时间。3.根据权利要求1所述的基于深度学习的路面灌缝检测方法，其特征是，所述第一图像数据和第二图像数据以相同的采集间隔时间进行同步采集；第一图像数据中的第m个图像与第二图像数据中的第m+n个图像关联，n为正整数；其中，n由采集间隔时间、采集车的移动速度以及摄像头的安装参数决定，摄像头的安装参数包括摄像方向的俯仰角以及摄像头距离目标路面的垂直高度。4.根据权利要求3所述的基于深度学习的路面灌缝检测方法，其特征是，所述第一图像数据与第二图像数据的关联表达式具体为：；其中，表示第一图像数据与第二图像数据关联的图像序号差值；表示摄像头距离目标路面的垂直高度；表示全局视角下所对应摄像方向的俯仰角；表示局部视角下所对应摄像方向的俯仰角；表示采集车的移动速度；表示图像采集的采集间隔时间；表示第一图像数据中第个图像；表示第二图像数据中第个图像；表示两侧图像所采集的路面段相同。5.根据权利要求1所述的基于深度学习的路面灌缝检测方法，其特征是，所述异常图像的筛选过程具体为：提取第一图像数据中单个图像的路面标线，并将路面标线去除后得到非标图像；计算非标图像中沿路面标线的延伸方向的像素均值；沿路面标线的延伸方向计算两个相邻的像素均值的差值，若存在差值大于设定阈值的情况，则判定相应的图像为异常图像。6.根据权利要求1所述的基于深度学习的路面灌缝检测方法，其特征是，所述深度学习网络模型以图像分类网络deeplabv3+为基础，并使用轻量级网络M...

【专利技术属性】
技术研发人员：张傲南，李宸，柯宇，林志豪，严莹子，马智鑫，
申请(专利权)人：成都量子泉溪科技有限公司，
类型：发明
国别省市：