基于多注意力机制双流融合网络的黄河冰凌语义分割方法技术

本发明专利技术公开了一种基于多注意力机制双流融合网络的黄河冰凌语义分割方法，用于解决现有黄河冰凌检测方法准确度差的技术问题。技术方案是首先采集数据集并进行标注，将标注好的数据集划分训练数据集和测试数据集。然后构建分割网络结构，网络包含浅层分支和深层分支，在深层分支加入通道注意力模块；在浅层分支加入位置注意力模块；融合模块用于浅层分支和深层分支的融合。将训练集中数据分批次放入网络中，并采用交叉熵损失和RMSprop优化器对构建的神经网络进行训练。最后输入待测试的图像，使用训练好的模型进行测试。本发明专利技术能够有选择地进行多层级和多尺度的特征融合，并且基于注意力机制捕捉上下文信息，获得更高分辨率的特征图，得到更好的分割效果。

A semantic segmentation method of ice cream in the Yellow River Based on multi attention mechanism and dual flow fusion network

【技术实现步骤摘要】
基于多注意力机制双流融合网络的黄河冰凌语义分割方法
本专利技术涉及一种黄河冰凌检测方法，特别涉及一种基于多注意力机制双流融合网络的黄河冰凌语义分割方法。
技术介绍
语义分割是计算机视觉中十分重要的领域，它是指像素级别的识别图像，即标注出图像中每个像素所属的对象类别，其目标是预测出图像中每一个像素的类标签。河流冰情监测对航运业的河流管理具有重要意义。精确的冰分割是其中之一冰情监测研究中最重要的技术。无人机航拍影像具有高清晰、大比例尺、小面积、高现势性的优点。它可以提供计算冰盖密度、漂移冰速的先决条件信息，冰盖分布、变化检测等。同时，无人机航拍图像的发展无论在军事领域或商业领域都产生很大的影响。无人机航拍图像分辨率及解析力的提升带动各种相关产业的发展。诸如地震救灾、冰川融化评估、交通及导航等方面都对无人机航拍图像分割提取有极大需求。文献“申请公布号是CN105913023A的中国专利技术专利”公开了一种基于多光谱图像和SAR图像的黄河冰凌协同检测方法，该算法首先利用遥感图像，通过对黄河遥感图像几何矫正、Bow-tie校正、云剔除、图像裁剪等预处理，进而对河流区域粗分割，最后利用NDSI检测方法与聚类法相结合，得到分割区域集合m；然后将区域m利用SAR图像检测方法输入，通过超像素分割和计算显著图得到分割区域集合n，最后通过交替迭代，寻找黄河冰凌监测模型最优的解，获取到最佳冰凌检测区域。该方法在解决冰凌监测问题时，面临自动化程度低、处理结果不准确等问题。
技术实现思路
为了克服现有黄河冰凌检测方法准确度差的不足，本专利技术提供一种基于多注意力机制双流融合网络的黄河冰凌语义分割方法。该方法首先采集数据集并进行标注，将标注好的数据集划分训练数据集和测试数据集。然后构建分割网络结构，网络包含浅层分支和深层分支。为了编码通道之间的关联，在深层分支加入了通道注意力模块；为了保留纹理，颜色等细节信息，强调同一张特征图中不同位置像素之间的相关性，在浅层分支加入了位置注意力模块；同时，为了更好的融合浅层分支和深层分支的特征，引入了融合模块。其次将训练集中数据分批次放入网络中，并采用交叉熵损失和RMSprop优化器对构建的神经网络进行训练。最后输入待测试的图像，使用训练好的模型进行测试。本专利技术能够有选择地进行多层级和多尺度的特征融合，并且基于注意力机制捕捉上下文信息，获得更高分辨率的特征图，得到更好的分割效果。本专利技术解决其技术问题所采用的技术方案：一种基于多注意力机制双流融合网络的黄河冰凌语义分割方法，其特点是包括以下步骤：步骤一、数据集采集，此数据集中的图像是由不同的无人机在黄河宁夏-内蒙古河段进行拍摄的。通过人工制作相应的标签，对黄河冰凌图像予以分割标注，得到的最终数据集，并根据图像拍摄的时期，等比例划分为训练集、验证集和测试集。步骤二、构建分割网络结构，整个网络包含浅层分支和深层分支，深层分支中，在残差模块之后加入通道注意力模块；加入浅层分支并且浅层分支加入通道注意力模块；引入融合模块融合浅层分支和深层分支的特征。步骤三、对构建的分割网络进行训练，将训练集中数据分批次放入网络中，生成像素类别预测标签概率分布图，利用预测标签概率和原始标签概率计算预测损失，采用交叉熵损失，使用RMSprop优化器进行优化，直至目标函数的值不下降时结束训练。步骤四、测试图像集输入步骤三训练的语义分割网络，得到预测的结果图，并使用平均交并比指标mIoU进行评价。本专利技术的有益效果是：该方法首先采集数据集并进行标注，将标注好的数据集划分训练数据集和测试数据集。然后构建分割网络结构，网络包含浅层分支和深层分支。为了编码通道之间的关联，在深层分支加入了通道注意力模块；为了保留纹理，颜色等细节信息，强调同一张特征图中不同位置像素之间的相关性，在浅层分支加入了位置注意力模块；同时，为了更好的融合浅层分支和深层分支的特征，引入了融合模块。其次将训练集中数据分批次放入网络中，并采用交叉熵损失和RMSprop优化器对构建的神经网络进行训练。最后输入待测试的图像，使用训练好的模型进行测试。本专利技术能够有选择地进行多层级和多尺度的特征融合，并且基于注意力机制捕捉上下文信息，获得更高分辨率的特征图，得到更好的分割效果。具体的，由于在浅层分支对浅层特征使用了位置注意力模块，考虑不同像素之间的相似性，更好的关注细节信息，提高不同大小，颜色，纹理的冰凌分割准确度；由于在深层分支针对深层特征，采用全局平均池化和通道注意力模块，考虑了通道之间的相似性，得到了更准确的语义表示，提高了不同类别之间的分割准确度；由于在深层分支融合了不同残差模块的特征，有选择的进行多尺度融合，获得了更高质量的特征图。通过融合两个分支的特征图，综合考虑了空间信息和语义信息，提高了算法的鲁棒性和准确性。下面结合附图和具体实施方式对本专利技术作详细说明。附图说明图1是本专利技术基于多注意力机制双流融合网络的黄河冰凌语义分割方法的网络结构图。图2是本专利技术方法残差模块1,2,3,4的结构图。图3是本专利技术方法通道注意力模块结构图。图4是本专利技术方法位置注意力模块结构图。图5是本专利技术方法融合模块结构图。具体实施方式参照图1-5。本专利技术基于多注意力机制双流融合网络的黄河冰凌语义分割方法具体步骤如下：1、准备和构建数据集。数据集由不同的无人机载黄河宁夏-内蒙古河段进行拍摄，经过人工挑选，对数据集进行标注，对图像予以逐像素的标记，标记为三类，包含冰，水，岸。将标注好的数据集按照拍摄时间等比例划分为训练集、验证集和测试集。图像大小为1600×640，训练集包含570张图像，验证集包含82张图像，测试集包含244张图像。2、构建语义分割网络。网络包括两个分支，浅层分支和深层分支，同时为了更好的融合两个分支的特征图，引入了融合模块。具体的步骤如下：1)构建深层分支的网络结构，深层网络主要是由残差模块组成的，首先将输入图像经过步长为2的7×7卷积，然后将输入图像经过步长为2的3×3最大池化得到大小为原图大小1/4的特征图。得到的特征图依次经过残差模块1，2，3，4。其中残差模块1由3个模块组成，每个模块中依次包含64个1×1卷积核，64个3×3卷积核，256个1×1卷积核，卷积核的步长均为1。残差模块2由4个模块组成，其中第一个模块的第一个1×1卷积核的步长为2，其余均为1。每个模块中依次包含128个1×1卷积核，128个3×3卷积核和512个1×1卷积核。残差模块3由23个模块组成，每个模块依次包含256个1×1卷积核，256个3×3卷积核，1024个1×1卷积核，卷积核的步长均为1。残差模块4由3个模块组成，每个模块依次包含512个1×1卷积核，512个3×3卷积核，2048个1×1卷积核，卷积核的步长均为1。经过第四个残差模块后，特征图的分辨率为原图1/16,之后经过一个全局平均池化层得到全局平均池化的值。在残差模块2，3，4之后分别加入通道注意力模块，残差模块4经过通本文档来自技高网...

【技术保护点】
1.一种基于多注意力机制双流融合网络的黄河冰凌语义分割方法，其特征在于包括以下步骤：/n步骤一、数据集采集，此数据集中的图像是由不同的无人机在黄河宁夏-内蒙古河段进行拍摄的；通过人工制作相应的标签，对黄河冰凌图像予以分割标注，得到的最终数据集，并根据图像拍摄的时期，等比例划分为训练集、验证集和测试集；/n步骤二、构建分割网络结构，整个网络包含浅层分支和深层分支，深层分支中，在残差模块之后加入通道注意力模块；加入浅层分支并且浅层分支加入通道注意力模块；引入融合模块融合浅层分支和深层分支的特征；/n步骤三、对构建的分割网络进行训练，将训练集中数据分批次放入网络中，生成像素类别预测标签概率分布图，利用预测标签概率和原始标签概率计算预测损失，采用交叉熵损失，使用RMSprop优化器进行优化，直至目标函数的值不下降时结束训练；/n步骤四、测试图像集输入步骤三训练的语义分割网络，得到预测的结果图，并使用平均交并比指标mIoU进行评价。/n

【技术特征摘要】
1.一种基于多注意力机制双流融合网络的黄河冰凌语义分割方法，其特征在于包括以下步骤：
步骤一、数据集采集，此数据集中的图像是由不同的无人机在黄河宁夏-内蒙古河段进行拍摄的；通过人工制作相应的标签，对黄河冰凌图像予以分割标注，得到的最终数据集，并根据图像拍摄的时期，等比例划分为训练集、验证集和测试集；
步骤二、构建分割网络结构，整个网络包含浅层分支和深层分支，深层分支中，在残差模块之后加入通道注意力模块；加入浅...

【专利技术属性】
技术研发人员：张秀伟，张艳宁，兰泽泽，金娇娇，余欣，范旻昊，李春江，王亚飞，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61