基于多迁移学习模型融合的大坝裂缝检测方法技术

本发明专利技术基于多迁移学习模型融合的大坝裂缝检测方法涉及图像识别领域，尤其是一种多模型融合的大坝裂缝检测方法。该方法首先收集道路、墙壁、桥梁和大坝裂缝数据集，对大坝裂缝图片数据集进行数据增强处理；构建MobileNet‑SSD目标检测模型，将SSD算法中原有的VGG网络替换成MobileNet网络结构；进行模型训练；训练完成后，提取道路裂缝检测模型和墙壁裂缝检测模型中已经训练好的MobileNet结构参数，导入未训练的MobileNet‑SSD中，对MobileNet结构进行冻结；利用数据增强后的大坝裂缝数据集进行迁移学习，得到多个模型后，将多个模型进行融合计算，提高大坝裂缝检测的准确度。

Dam crack detection method based on multi migration learning model fusion

The dam crack detection method based on multi migration learning model fusion of the invention relates to the field of image recognition, in particular to a dam crack detection method based on multi model fusion. This method first collects the data sets of road, wall, bridge and dam crack, and then enhances the data set of dam crack image; constructs the mobilenet \u2011 SSD target detection model, and replaces the original VGg network in SSD algorithm with the mobilenet network structure; conducts model training; after the training, extracts the road crack detection model and the wall crack detection model that have been trained Good mobilenet structural parameters are imported into the untrained mobilenet \u2011 SSD to freeze the mobilenet structure; the dam crack data set enhanced by data is used for migration and learning to get multiple models, and then multiple models are fused for calculation to improve the accuracy of dam crack detection.

【技术实现步骤摘要】
基于多迁移学习模型融合的大坝裂缝检测方法
本专利技术基于多迁移学习模型融合的大坝裂缝检测方法涉及图像识别领域，尤其是一种多模型融合的大坝裂缝检测方法。
技术介绍
在过去的几十年里，我国水利建设取得了巨大的发展，大坝作为水利建设最重要的部分，在我国发挥着巨大的工程效益。然而大坝长期处于复杂的环境中，不可避免地会产生裂缝，大坝裂缝是大坝安全的极大隐患，对大坝裂缝的检测及其重要。但水下环境复杂，采集到的裂缝图像存在模型不清、亮度偏暗、对比度低等缺点，使得裂缝检测极为困难。针对这些问题，许多学者对裂缝的检测展开了研究。范新南（范新南，巫鹏，顾丽萍，等.基于匀光处理的自适应裂缝分割与提取算法[J].科学技术与工程，2014(7):72-77.）等人针对光照不均匀与水体模糊效应导致水下图像中建筑物裂缝提取难度增加的问题，提出一种基于匀光处理的自适应阈值分割算法；Chen（CHENCP,WANGJ,ZOUL,etal.Underwaterdamimagecracksegmentationbasedonmathematicalmorpholog[J].本文档来自技高网...

【技术保护点】
1.一种基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，包括如下步骤：/n步骤1，收集数据集，包括道路裂缝、墙壁裂缝、桥梁裂缝及大坝裂缝数据集和图片；利用图像数据增强技术，对大坝裂缝图片进行预处理，并扩充到原有数据集，以达到提高模型精度和泛化能力的目的；/n步骤2，构建目标检测网络模型MobileNet-SSD；/n（2-1）MobileNet-SSD目标检测网络模型将SSD算法中原有的VGG网络替换成MobileNet网络结构，MobileNet卷积和普通卷积相比，压缩了大量参数，能有效地减少计算量，加速模型的计算；/n（2-2）在MobileNet网络结构的最后一个卷积层后添加8个卷...

【技术特征摘要】
1.一种基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，包括如下步骤：
步骤1，收集数据集，包括道路裂缝、墙壁裂缝、桥梁裂缝及大坝裂缝数据集和图片；利用图像数据增强技术，对大坝裂缝图片进行预处理，并扩充到原有数据集，以达到提高模型精度和泛化能力的目的；
步骤2，构建目标检测网络模型MobileNet-SSD；
（2-1）MobileNet-SSD目标检测网络模型将SSD算法中原有的VGG网络替换成MobileNet网络结构，MobileNet卷积和普通卷积相比，压缩了大量参数，能有效地减少计算量，加速模型的计算；
（2-2）在MobileNet网络结构的最后一个卷积层后添加8个卷积层，并从中选取6个卷积层作为SSD网络结构中的特征输出部分；
（2-3）对步骤（2-2）得到的特征输出部分的所有窗口进行非极大值抑制，去除冗余的检测框，保留其中置信度高的窗口；
步骤3，基于步骤1中的道路裂缝、墙壁裂缝和桥梁裂缝数据集，进行模型训练，将损失函数分为两部分，即窗口目标类别的置信度损失以及相应的位置回归损失；
步骤4，步骤3模型训练完成后，提取道路裂缝检测模型、墙壁裂缝检测模型和桥梁裂缝检测模型中已经训练好的MobileNet网络结构参数；重新构建MobileNet-SSD网络，将网络参数随机初始化，在输入大坝裂缝数据集进行训练前，将提取到的MobileNet网络结构参数导入MobileNet-SSD中，对MobileNet网络结构进行冻结；
步骤5，利用步骤1得到的数据增强后的大坝裂缝数据集进行迁移学习，得到多个模型，进行模型融合；
将融合后的模型进行测试，在测试过程，计算每个模型之间匹配的预测框，将预测框的位置坐标集合组成矩阵进行线性回归，最终输出框坐标。


2.根据权利要求1所述的基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，步骤5所述的模型融合的训练过程，包括如下步骤：
（5-1）计算每个模型与标注框匹配的预测框；
（5-2）将预测框的位置坐标集合组成矩阵进行线性回归，每个预测框的位置坐标乘上相应的权重进行融合计算，输出四个位置坐标；
（5-3）计算四个位置坐标与真实坐标的均方误差，使用梯度下降法减小该误差。


3.根据权利要求1所述的基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，步骤1中的预处理过程包括图像的随机亮度失真变换，随机对比度失真变换，随机饱和度失真变换，随机图像通道变换，及图像的随机裁剪和随机采集块域。


4.根据权利要求1所述基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，所述步骤1所述的图像数据增强的具体过程如下：
（1-1）读取图片RGB三通道数据，作为待处理数据Image=[B,G,R]，其中B表示蓝色，G表示绿色，R表示红色；
（1-2）对图像进行随机对比度失真变换，随机亮度失真变换，随机饱和度失真变换，和随机图像通道变换；
随机对比度失真变换如下公式，，其中；
将图像数据从RGB色彩模式转换成HSV模式，进行随机亮度失真变换，和随机饱和度失真变换，这些变化的公式如下：
色彩转换，Image=[H,S,V]，H表示色相，S表示饱和度，V表示明度；
随机亮度失真变换，；
随机饱和度失真变换，，
再将图片转换成RGB色彩模式，进行随机图像通道变换；
转换成RGB色彩模式，Image=[R,G,B]；
随机图像通道变换，将R,G,B进行排列组合，共有六种情况，Image=[B,G,R]，Image=[B,R,G]，Image=[G,B,R]，Image=[G,R,B]，Image=[R,G,B]，Image=[R,B,G]，随机选择其中的一种；
（1-3）对图像进行随机裁剪和随机采集块域；
具体的是随机采样一个小块，采样的小块比例是[0.1,1]；当groundtruthbox的中心在采样的小块中时，保留重叠部分，groundtruthbox表示真实框；
对每一张图片，上述的随机采样过程进行50次，在这些采样步骤之后，每一个采样的小块被resize改变大小到固定的大小；随机采集块域能够获取小目标样本，有助于网络检测小目标，提高网络的鲁...

【专利技术属性】
技术研发人员：陈峙宇，刘凡，郑豪，杨赛，
申请(专利权)人：刘凡，
类型：发明
国别省市：江苏;32