一种基于无监督学习的路面裂缝检测方法技术

本发明专利技术提供一种基于无监督学习的路面裂缝检测方法，包括采集正常路面数据并生成正常路面数据集，还包括以下步骤：下载在Imagenet数据集上预训练的vgg16网络模型作为专家网络，并分别设计识别克隆网络和定位克隆网络；使用正常路面数据集中的数据对识别克隆网络和定位克隆网络进行训练；获取实际路面图像；把实际路面图像分别导入专家网络和识别克隆网络，判断是否有裂缝，如果有裂缝，则执行下一步骤；把实际路面图像分别导入专家网络和定位克隆网络，实现裂缝具体位置的定位。本发明专利技术用于路面裂缝识别和定位，只需提供由正常路面图片构建的训练集，无需进行像素级路面裂缝标注，节省了大量人力成本，同时还能具有较高的检测精度和实时性。检测精度和实时性。检测精度和实时性。

【技术实现步骤摘要】
一种基于无监督学习的路面裂缝检测方法


[0001]本专利技术涉及图像处理的
，特别是一种基于无监督学习的路面裂缝检测方法。

技术介绍

[0002]路面裂缝是道路最具代表性的缺陷之一，主要由超载、温度变化和路面老化引起。这些损坏会降低路面的性能，缩短道路的使用寿命，并危及车辆的驾驶安全，对道路安全构成潜在威胁。为了保持道路处于良好状态，对裂缝进行定位和修复是运输维护部门的重要职责。早期人工巡检耗时低效，已逐渐被道路巡检车代替。然而靠人力从巡检车检测视频中定位存在裂缝的路段也面临很大的挑战。快速准确的路面裂缝检测有助于及时维护道路，防止道路状况进一步恶化。随着计算机视觉技术的发展，人们致力于应用计算机视觉技术进行自动裂缝检测。现有的基于计算机视觉技术的裂缝检测方法可以大致分为三类：传统方法、基于机器学习的和基于深度学习的方法。
[0003]传统检测方法中，不需要从数据集学习，并且大多数数学计算都是分析性的，并且具有轻量级计算的快速性。但是对各种随机变量因子的泛化能力较弱，一旦应用场景或环境发生变化，就需要对参数进行或重新设计算法。
[0004]基于机器学习的算法在路面裂缝检测方面获得成功应用。基于机器学习的检测模型大多数都需要人工设计路面裂缝特征，但是面对多种类型的路面裂缝，很难设计通用的特征提取模型来提取路面裂缝特征，从而导致检测模型效果不佳。
[0005]虽然基于深度学习的路面裂缝检测方法可以达到较高精度，但大多属于有监督算法，需要进行大量像素级标注，耗费大量人力物力。而且路面裂缝检测中的异常样本属于小概率事件，样本量较小，导致有监督学习时存在严重的样本不平衡问题。
[0006]2021年在Computer Vision and Pattern Recognition.IEEE上公开了Salehi M、Sadjadi N和Baselizadeh S的题目为《Multiresolution Knowledge Distillation for Anomaly Detectio》(的文章，提出一种基于无监督学习的多分辨率知识蒸馏(Multiresolution Knowledge Distillation for Anomaly Detection,MKD)方法进行异常检测，只用正常样本训练网络，但学习到的特征能够区分正常和异常样本。该方法的缺点是对裂缝的识别准确率不高。

技术实现思路

[0007]为了解决上述的技术问题，本专利技术提出了一种基于无监督学习的路面裂缝检测方法，用于路面裂缝识别和定位，只需提供由正常路面图片构建的训练集，无需进行像素级路面裂缝标注，节省了大量人力成本，同时还能具有较高的检测精度和实时性。
[0008]本专利技术提供一种基于无监督学习的路面裂缝检测方法，包括采集正常路面数据并生成正常路面数据集，还包括以下步骤：
[0009]步骤1：下载在Imagenet数据集上预训练的vgg16网络模型作为专家网络，并分别
设计识别克隆网络和定位克隆网络；
[0010]步骤2：使用所述正常路面数据集中的数据对所述识别克隆网络和所述定位克隆网络进行训练；
[0011]步骤3：获取实际路面图像；
[0012]步骤4：把实际路面图像分别导入所述专家网络和所述识别克隆网络，判断是否有裂缝，如果有裂缝，则执行步骤5；
[0013]步骤5：把实际路面图像分别导入所述专家网络和所述定位克隆网络，实现裂缝具体位置的定位。
[0014]优选的是，所述专家网络采用所述vgg16网络模型的前10层作为骨干网，其中，P1、P2、P3、P4分别为网络结构中第2、第4、第7和第10个卷积层后的池化操作。
[0015]在上述任一方案中优选的是，所述步骤1包括通过最小化蒸馏层的差异，使所述识别克隆网络模型和所述定位克隆网络模型学习所述vgg16网络模型的知识。
[0016]在上述任一方案中优选的是，在所述学习的过程中，所述识别克隆网络模型舍弃P4池化操作后的卷积层。
[0017]在上述任一方案中优选的是，最小化池化操作P4处的特征图差异用于实现针对路面裂缝识别任务的最佳知识蒸馏。
[0018]在上述任一方案中优选的是，在所述学习的过程中，所述识别克隆网络模型把除第10个卷积层外其他所有卷积层的通道数改为32。
[0019]在上述任一方案中优选的是，在所述学习的过程中，所述定位克隆网络模型舍弃P3池化操作后的卷积层。
[0020]在上述任一方案中优选的是，最小化池化操作P3处的特征图差异用于实现针对路面裂缝定位任务的最佳知识蒸馏。
[0021]在上述任一方案中优选的是，在所述学习的过程中，所述定位克隆网络模型把除第7个卷积层外其他所有卷积层的通道数改为32。
[0022]在上述任一方案中优选的是，所述差异是指训练无监督网络的损失函数，包括知识的幅值和方向两部分，分别用均方根误差和余弦相似度误差来表示。
[0023]在上述任一方案中优选的是，所述均方根误差是指专家网络和克隆网络输出的欧氏距离，公式为
[0024][0025]其中，N
i
是指克隆网络第P
i
个池化操作后所得特征图的元素个数，是专家网络第P
i
个池化操作后所得特征图中第j个元素，是克隆网络第P
i
个池化操作后所得特征图中第j个元素，i表示第几个池化层，s表示专家网络，c表示识别克隆网络和定位克隆网络。
[0026]在上述任一方案中优选的是，所述余弦相似度误差是指专家网络知识和克隆网络知识之间的方向差异，公式为
[0027][0028]其中，vec(x)为矢量化函数，T为矩阵转置。
[0029]在上述任一方案中优选的是，总损失函数为所述均方根误差和所述余弦相似度误差的加权和，公式为
[0030]L
total
＝L1+λL2[0031]其中，λ是调整两类损失函数权重大小的比例因子。
[0032]在上述任一方案中优选的是，裂纹的判断方法包括以下子步骤：
[0033]步骤41：通过专家网络和所述定位克隆网络模型两个前向传播计算第P3个池化操作后输出的特征图总损失；
[0034]步骤42：利用可解释性方法得到对损失贡献大于阈值的所有像素点；
[0035]步骤43：通过滤波处理获取图像中裂缝形态。
[0036]在上述任一方案中优选的是，所述步骤41包括使用专家网络和定位克隆网络第P3个池化操作后输出所述总损失函数L
total
对输入的路面图像x求导，可以得到输入图像x每个像素对损失贡献度的归因图Λ，公式为
[0037][0038]其中，为求偏导。
[0039]在上述任一方案中优选的是，采用高斯平滑和图像形态滤波降低所述归因图中的噪声，公式为
[0040]M＝g
σ
(Λ)
[0041][0042]其中，g
σ<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无监督学习的路面裂缝检测方法，包括采集正常路面数据并生成正常路面数据集，其特征在于，还包括以下步骤：步骤1：下载在Imagenet数据集上预训练的vgg16网络模型作为专家网络，并分别设计识别克隆网络和定位克隆网络；步骤2：使用所述正常路面数据集中的数据对所述识别克隆网络和所述定位克隆网络进行训练；步骤3：获取实际路面图像；步骤4：把所述实际路面图像分别导入所述专家网络和所述识别克隆网络，判断是否有裂缝，如果有裂缝，则执行步骤5；步骤5：把所述实际路面图像分别导入所述专家网络和所述定位克隆网络，实现裂缝具体位置的定位。2.如权利要求1所述的基于无监督学习的路面裂缝检测方法，其特征在于，所述专家网络采用所述vgg16网络模型的前10层作为骨干网，其中，P1、P2、P3、P4分别为网络结构中第2、第4、第7和第10个卷积层后的池化操作。3.如权利要求2所述的基于无监督学习的路面裂缝检测方法，其特征在于，所述步骤1包括通过最小化蒸馏层的差异，使所述识别克隆网络模型和所述定位克隆网络模型学习所述专家网络的知识。4.如权利要求3所述的基于无监督学习的路面裂缝检测方法，其特征在于，在...

【专利技术属性】
技术研发人员：刘艳霞，胡美振，李少佳，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：