基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法技术

本发明专利技术公开了基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，包括改进和训练UNet模型、利用改进和训练UNet模型的堤坝渗漏险情检测两个过程。改进和训练UNet模型具有以下内容：数据采集,制作样本，生成样本和划分数据集，改进UNet模型，训练改进的UNet模型，利用改进和训练UNet模型的堤坝渗漏险情检测，堤坝渗漏险情的确定,堤坝渗漏险情检测。本发明专利技术的有益效果是：本发明专利技术将堤坝渗漏险情与背景分离的二分类问题转换成多分类问题，通过对这些易干扰堤坝渗漏险情的检测的地物进行识别，有利于提升堤坝渗漏险情的检测精度；针对堤坝渗漏险情小目标检测问题对Unet模型进行了改进，提升的检测的精度和速度。升的检测的精度和速度。升的检测的精度和速度。

【技术实现步骤摘要】
基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法


[0001]本专利技术属于图像处理
，具体涉及一种基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法。

技术介绍

[0002]已建堤坝存在堤段沉陷、渗水、裂缝或建筑物本身不同程度损坏等问题，在汛期设计洪水标准内仍会发生不同程度险情，其中渗漏是最为常见的一种堤坝险情。如何对渗漏险情进行检测，实现堤坝常见险情快速发现、精准定位，提升巡堤效率，减少人员投入和危险暴露率，在洪水防御中具有重要作用和现实意义。
[0003]堤坝渗漏检测问题是一种利用图像进行目标检测问题。目前，已有较多的基于深度学习的目标检测方法被提出，并且在众多领域中取得令人瞩目的成绩。但是由于渗漏的形状与地形有关，所以渗漏没有固定的形状。而在目标检测模型中，目标的形状对模型而言是一种重要信息。
[0004]UNet模型是一个基于卷积神经网络的图像分割网络，主要用于医学图像分割上，该模型最初提出时是用于细胞壁的分割，之后在眼底视网膜上的血管提取等方面都有着出色的表现。但UNet模型结构相对简单，在跳跃连接的过程中，不同重要程度的信息分配的计算资源是相同的，导致在特征提取的时候没有侧重点，并且传播的过程中没有考虑到可能会出现的网络退化的问题，存在优化的空间。
[0005]为了提升堤坝渗漏检测精度，本专利技术建立基于多任务辅助的UNet模型的热红外图像堤坝渗漏险情检测方法，该方法首先对UNet模型结构进行改进，其次建立多任务辅助损失函数以提升堤坝渗漏检测精度。本专利技术可用于基于无人机热红外图像的堤坝渗漏险情检测，具有检测速度快，成本低的优势。目前没有发现同本专利技术类似技术的说明或报道，也尚未收集到国内外类似的资料。

技术实现思路

[0006]本专利技术的目的是针对现有技术的不足，提供一种基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，可用于堤坝的巡查。
[0007]为实现上述目的，本专利技术采用了下述技术方案：基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，包括改进和训练UNet模型（卷积神经网络模型）、利用改进和训练UNet模型的堤坝渗漏险情检测两个过程。
[0008]进一步的，改进和训练UNet模型，具体步骤如下：步骤S1，数据采集：利用无人机获取堤坝的热红外图像数据和可见光图像数据；步骤S2，制作样本：手工选取热红外图像数据和可见光图像数据的一些区域，利用数据标注工具对手工选取的一些区域的数据进行标注，包括标注堤坝渗漏险情和与易干扰堤坝渗漏险情的检测的地物；步骤S3，生成样本和划分数据集：对手工选取的一些区域的数据进行扩增，并建立
训练集、验证集和测试集；步骤S4，改进UNet模型：在UNet模型上增加注意力门、空间注意力模块和残差模块，同时在UNet模型上引入小目标检测任务、RGB图像识别任务、多尺度检测任务三个辅助任务，构建三个辅助任务相应的三个损失函数；步骤S5，训练改进的UNet模型：采用损失函数通过自适应运动估计优化算法Adam对改进的UNet模型不断优化，使损失函数误差不断减小，直到改进的UNet模型收敛，损失函数包括Dice Loss损失函数和通过三个辅助任务构建相应的三个损失函数。
[0009]进一步的，利用改进和训练UNet模型的堤坝渗漏险情检测，具体步骤如下：步骤S6，堤坝渗漏险情的确定：通过携带热红外传感器的无人机获取堤坝的热红外图像和可见光图像；步骤S7，堤坝渗漏险情检测：将无人机获取堤坝的热红外图像和可见光图像输入到步骤S5训练好的Unet模型，设置置信度阈值，得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度；再利用加权非极大抑制剔除重叠预测框，得到最终检测结果。
[0010]进一步的，步骤S1中数据采集是采集热红外图像数据和可见光图像数据相同区域作为训练样本，相同区域包括小的水体、灌木丛、草丛、阴影和正常堤体。
[0011]进一步的，步骤S2中制作样本，具体过程为：步骤S21，从数据采集到的热红外图像数据中选取包含渗漏相似的区域（如水体和植被）进行标注，选择的区域像素大小为320*320；步骤S22，利用数据标注工具（如labelme等）标出所有疑似区域，使用矩形框进行标注，获得一组与热红外图像对应的标注集；
[0012]步骤S23，最后选取一些没有险情的常见的堤坝热红外图像作为负样本。
[0013]进一步的，步骤S2中易干扰堤坝渗漏险情的检测的地物包括小的水体、灌木丛、草丛、阴影这4个类别。
[0014]进一步的，步骤S3中生成样本和划分数据集，具体过程为：采用随机比例尺缩放、翻转、裁剪、模糊和改变对比度、亮度、随机排布扩增样本；所有的样本统一缩放为320*320像素；将生成的样本和采集到的训练样本按照6:2:2随机划分为训练集、验证集、测试集；使用聚类分析算法（K
‑
means）对训练集中标注的候选框进行聚类以优化预测框的大小。
[0015]进一步的，步骤S4中改进UNet模型，由基础Unet模型、空间注意力模块、残差模块及三个辅助任务损失函数组成；具体如下：首先，尺寸为320*320输入图像经过第一个残差模块，得到尺寸为320*320*64的特征图A；接着，特征图A经过2*2最大池化的输出经过第二个残差模块，得到尺寸为160*160*128的特征图B；接着，特征图B经过2*2最大池化的输出经过第三个残差模块，得到尺寸为80*80*256的特征图C；接着，特征图C经过2*2最大池化的输出经过第四个残差模块，得到尺寸为40*40*516的特征图D；接着，特征图D经过一次2*2上采样的输出与特征图C跨接在一起，并经过第五个残差模块，得到尺寸为80*80*256的特征图E；
接着，特征图E通过1*1的卷积得到识别结果3；接着，接着，特征图E经过一次2*2上采样的输出与特征图B跨接在一起，并经过第六个残差模块，得到尺寸为160*160*128的特征图F；接着，特征图F通过1*1的卷积得到识别结果2；接着，特征图F经过一次2*2上采样的输出G与特征图A跨接在一起，并经过AG注意力门和SAM空间注意力模块得到320*320*64的特征图H；接着，特征图H并经过第七个残差模块，得到尺寸为320*320*64的特征图I；接着，特征图I通过1*1的卷积得到识别结果1；接着，根据识别结果1利用公式（1）计算RGB直方图损失函数RGBL：（1）；其中， 分别是欧式距离，分别是预测值区域的三个通道的灰度值分布直方图，分别是实际值检测为水体的区域对应的RGB颜色直方图；通过计算检测区域与水体模板；接着，利用识别结果1根据对应矩形框做出获取预测值后根据外接矩形坐标将预测图像与真实图像进行裁剪，将裁剪的图像分别通过公式（2）的交叉熵损失函数计算小目标检测损失，并调整权重为面积的反比；（2）；其中，是小目标检测损失，coe为固定系数，用于控制小目标检测损失的数量级，CEL为交叉熵损失函数，为真实值第i个矩形框内的特征值，为第i个矩形框内预测值相同位置的特征值，为第i个矩形框内的面积；小目标的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：包括改进和训练UNet模型、利用改进和训练UNet模型的堤坝渗漏险情检测两个过程；改进和训练UNet模型，具体步骤如下：步骤S1，数据采集：利用无人机获取堤坝的热红外图像数据和可见光图像数据；步骤S2，制作样本：手工选取热红外图像数据和可见光图像数据的一些区域，利用数据标注工具对手工选取的一些区域的数据进行标注，包括标注堤坝渗漏险情和与易干扰堤坝渗漏险情的检测的地物；步骤S3，生成样本和划分数据集：对手工选取的一些区域的数据进行扩增，并建立训练集、验证集和测试集；步骤S4，改进UNet模型：在UNet模型上增加注意力门、空间注意力模块和残差模块，同时在UNet模型上引入小目标检测任务、RGB图像识别任务、多尺度检测任务三个辅助任务，构建三个辅助任务相应的三个损失函数；步骤S5，训练改进的UNet模型：采用损失函数通过自适应运动估计优化算法Adam对改进的UNet模型不断优化，使损失函数误差不断减小，直到改进的UNet模型收敛，损失函数包括Dice Loss损失函数和通过三个辅助任务构建相应的三个损失函数。2.根据权利要求1所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：利用改进和训练UNet模型的堤坝渗漏险情检测，具体步骤如下：步骤S6，堤坝渗漏险情的确定：通过携带热红外传感器的无人机获取堤坝的热红外图像和可见光图像；步骤S7，堤坝渗漏险情检测：将无人机获取堤坝的热红外图像和可见光图像输入到步骤S5训练好的Unet模型，设置置信度阈值，得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度；再利用加权非极大抑制剔除重叠预测框，得到最终检测结果。3.根据权利要求2所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：步骤S1中数据采集是采集热红外图像数据和可见光图像数据相同区域作为训练样本，相同区域包括小的水体、灌木丛、草丛、阴影和正常堤体。4.根据权利要求3所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：步骤S2中制作样本，具体过程为：步骤S21，从数据采集到的热红外图像数据中选取包含渗漏相似的区域进行标注，选择的区域像素大小为320*320；步骤S22，利用数据标注工具标出所有疑似区域，使用矩形框进行标注，获得一组与热红外图像对应的标注集；步骤S23，最后选取一些没有险情的常见的堤坝热红外图像作为负样本。5.根据权利要求4所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：步骤S2中易干扰堤坝渗漏险情的检测的地物包括小的水体、灌木丛、草丛、阴影这4个类别。6.根据权利要求5所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：
步骤S3中生成样本和划分数据集，具体过程为：采用随机比例尺缩放、翻转、裁剪、模糊和改变对比度、亮度、随机排布扩增样本；所有的样本统一缩放为320*320像素；将生成的样本和采集到的训练样本按照6:2:2随机划分为训练集、验证集、测试集；使用...

【专利技术属性】
技术研发人员：许小华，叶发茂，张秀平，舒望，黄萍，周信文，林淇昕，
申请(专利权)人：东华理工大学南昌校区，
类型：发明
国别省市：