基于混合注意力的滑坡解译语义分割方法、系统、装置及介质制造方法及图纸

本发明专利技术公开了一种基于混合注意力的滑坡解译语义分割方法、系统、装置及介质，包括：混合注意力模块采用并行双分支结构，并采用空间

【技术实现步骤摘要】
基于混合注意力的滑坡解译语义分割方法、系统、装置及介质


[0001]本专利技术属于人工智能和深度学习
，涉及一种基于混合注意力的滑坡解译语义分割方法、系统、装置及介质。

技术介绍

[0002]早期的山体滑坡检测手段以传统的机器学习为主，彼时深度神经网络的应用还没有被应用于该领域。除了山体滑坡区域的检测，对于滑坡易发性的检测也至关重要。灾害和风险发生概率图绘制的目标是在空间上识别并描述灾害易发区域，同时进行有针对性的研究来分析潜在风险。为了分析风险，有必要研究过去的灾害发生原因，特征和影响，然后将所有的因素与现状联系起来生成灾害易发概率图。几乎所有的机器学习方法都需要用于训练，验证和测试的标注数据集，然而传统的山体滑坡制图方法中，耗时且消耗人力资源是不可避免的问题。
[0003]近年来，随着深度学习技术的迅速发展，其在各种任务中表现出超越传统机器学习方法的优越性，因此深度学习模型越来越受到欢迎。然而，深度学习模型在滑坡解译中的广泛应用也带来了新的挑战。一个主要挑战是将模型应用于具有不同地理条件的数据时所遇到的泛化性困难。另一个基本的挑战是缺乏针对滑坡的公开数据集，这妨碍了滑坡检测的广泛发展，影响了深度学习在山体滑坡领域的适用性和准确性。

技术实现思路

[0004]本专利技术的目的在于解决现有技术中深度学习在不同地理条件下泛化性困难，影响整体的适用性和准确性的问题，提供一种基于混合注意力的滑坡解译语义分割方法、系统、装置及介质。
[0005]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0006]基于混合注意力的滑坡解译语义分割方法，包括：
[0007]步骤1：获取山体滑坡数据集，并划分为训练集和测试集；
[0008]步骤2：构建基于混合注意力的特征提取模块，基于交叉窗口注意力提取空间特征，基于连续堆叠的深度可分离卷积提取通道特征；
[0009]步骤3：构建空间
‑
通道双向交互模块，将所获取的空间特征信息和通道特征信息进行交互，得到融合后的特征；
[0010]步骤4：基于多尺度融合模块将融合后的特征进行编码，获取当前阶段不同尺度和不同粒度的信息；并将当前阶段不同尺度和不同粒度的信息与其他阶段的特征进行特征融合；
[0011]步骤5：基于特征金字塔解码器对融合得到的特征进行解码，输出特征图像；
[0012]步骤6：基于训练集对步骤2至步骤5进行重复训练，获取最优化的语义分割模型；
[0013]步骤7：基于最优化的语义分割模型对测试集进行山体滑坡的区域识别，得到最终的语义分割结果。
[0014]本专利技术的进一步改进在于：
[0015]进一步的，训练集和测试集的划分比例为随机划分或以预设的比例进行划分；所述预设的比例为人为设定。
[0016]进一步的，构建混合注意力模块，基于交叉窗口注意力提取空间特征，基于连续堆叠的深度可分离卷积提取通道特征，具体为：
[0017]设计交叉窗口注意力提取空间特征得到一个分支的特征表示；深度可分离卷积提取通道特征；每一个混合注意力模块均包括层归一化、混合注意力、前馈神经网络和残差链接；其中，混合注意力模块为：
[0018][0019][0020]其中，X
l+1
分别代表整个混合注意力模块的输出和前馈神经网络的输出；Hybrid表示输出融合通道特征和空间特征的函数，LN表示层归一化函数；
[0021]混合注意力中的交叉窗口注意力为：
[0022][0023]V
*
＝V
×
σ(C2(()))
[0024]其中，H
‑
Attention代表水平方向的注意力，Q、K和V分别代表查询、键值和价值矩阵，σ代表sigmoid激活函数，C2T代表下一节的通道
‑
空间交互注意力模块，CFE代表通道特征提取模块，V*代表经过了通道
‑
空间交互后的价值矩阵；
[0025]对交叉窗口注意力进行总结，具体为：
[0026][0027][0028]其中，head表示经过线性投射之后的多头注意力，K为投射的维度数，H/V
‑
Attention分别代表水平方向和竖直方向的注意力。
[0029]进一步的，构建空间
‑
通道双向交互模块，将所获取的空间特征信息和通道特征信息进行交互，得到融合后的特征，具体为：
[0030]所述空间
‑
通道双向交互模块包括通道
‑
空间交互模块和空间
‑
通道交互模块；通道
‑
空间交互模块由两组1
×
1深度卷积核、批归一化操作和ReLU非线性激活函数连续堆叠而成；具体地，通道特征提取模块得到通道数为C的输出，结果经过通道
‑
空间交互模块之后通道维度依旧维持，基于非线性激活函数sigmoid将通道特征作为通道因子赋给交叉窗口注意力的价值矩阵的每一个通道维度，注意力模块的学习结果兼具空间特征和通道特征；所述通道特征提取模块为连续堆叠的深度可分离卷积；相对地，空间
‑
通道交互模块将最终注意力机制学习到的空间特征作为特征因子传递给通道特征提取模块的结果；最后将双分支结构提取到的特征再进行特征相加得到融合后的特征。
[0031]进一步的，多尺度特征融合模块，具体为：所述空间特征和通道特征在特征图像内部的关系为完全解耦，采用跨越连接结构进行连接，所述跨越连接结构包括第一深度可分离卷积模块和第二深度可分离卷积模块；所述第一深度可分离卷积模块运用于相同阶段的编码器
‑
解码器之间的提取特征；所述第二深度可分离卷积模块运用于跨阶段的编码器
‑
解码器之间的特征提取；
[0032]将上一阶段编码器提取到的细粒度的特征与下一阶段编码器提取出的粗粒度的特征做融合，使得每一阶段中网络的bottleneck部分在利用第一深度可分离卷积模块做特征提取时的输入均包含了相邻阶段的多尺度、多粒度语义信息，当传递至最后一个阶段时，第一深度可分离卷积模块的输入包含所有的不同粒度的语义信息；
[0033]所述多尺度特征融合模块还包括：上采样融合模块；所述上采样融合模块的输入是经过第一深度可分离卷积模块提取的特征，上采样融合模块的输出通过双线性插值将特征图的空间尺寸与下一个阶段对齐，最后将当前特征与粗粒度的原始语义特征进行融合。
[0034]进一步的，第一深度可分离卷积模块和第二深度可分离卷积模块，具体为：
[0035]所述第一深度可分离卷积模块的逐深度卷积中的步长为1；输入的特征图像经过第一深度可分离卷积模块，输入和输出的通道数和空间维度不发生变化；所述第二深度可分离卷积模块的逐深度卷积中的步长置为2，输入的特征图像经过第二深度可分离卷积模块后通道数减半而空间维度扩大两倍。
[0036]进一步的，基于特征金字塔解码器对融合得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于混合注意力的滑坡解译语义分割方法，其特征在于，包括：步骤1：获取山体滑坡数据集，并划分为训练集和测试集；步骤2：构建基于混合注意力的特征提取模块，基于交叉窗口注意力提取空间特征，基于连续堆叠的深度可分离卷积提取通道特征；步骤3：构建空间
‑
通道双向交互模块，将所获取的空间特征信息和通道特征信息进行交互，得到融合后的特征；步骤4：基于多尺度融合模块将融合后的特征进行编码，获取当前阶段不同尺度和不同粒度的信息；并将当前阶段不同尺度和不同粒度的信息与其他阶段的特征进行特征融合；步骤5：基于特征金字塔解码器对融合得到的特征进行解码，输出特征图像；步骤6：基于训练集对步骤2至步骤5进行重复训练，获取最优化的语义分割模型；步骤7：基于最优化的语义分割模型对测试集进行山体滑坡的区域识别，得到最终的语义分割结果。2.根据权利要求1所述的基于混合注意力的滑坡解译语义分割方法，其特征在于，所述训练集和测试集的划分比例为随机划分或以预设的比例进行划分；所述预设的比例为人为设定。3.根据权利要求2所述的基于混合注意力的滑坡解译语义分割方法，其特征在于，所述构建混合注意力模块，基于交叉窗口注意力提取空间特征，基于连续堆叠的深度可分离卷积提取通道特征，具体为：设计交叉窗口注意力提取空间特征得到一个分支的特征表示；深度可分离卷积提取通道特征；每一个混合注意力模块均包括层归一化、混合注意力、前馈神经网络和残差链接；其中，混合注意力模块为：其中，混合注意力模块为：其中，X
l+1
分别代表整个混合注意力模块的输出和前馈神经网络的输出；Hybrid表示输出融合通道特征和空间特征的函数，LN表示层归一化函数；混合注意力中的交叉窗口注意力为：V
*
＝V
×
σ(C2T(CFE(X)))其中，H
‑
Attention代表水平方向的注意力，Q、K和V分别代表查询、键值和价值矩阵，σ代表sigmoid激活函数，C2T代表下一节的通道
‑
空间交互注意力模块，CFE代表通道特征提取模块，V*代表经过了通道
‑
空间交互后的价值矩阵；对交叉窗口注意力进行总结，具体为：
其中，head表示经过线性投射之后的多头注意力，K为投射的维度数，H/V
‑
Attention分别代表水平方向和竖直方向的注意力。4.根据权利要求3所述的基于混合注意力的滑坡解译语义分割方法，其特征在于，所述构建空间
‑
通道双向交互模块，将所获取的空间特征信息和通道特征信息进行交互，得到融合后的特征，具体为：所述空间
‑
通道双向交互模块包括通道
‑
空间交互模块和空间
‑
通道交互模块；通道
‑
空间交互模块由两组1
×
1深度卷积核、批归一化操作和ReLU非线性激活函数连续堆叠而成；具体地，通道特征提取模块得到通道数为C的输出，结果经过通道
‑
空间交互模块之后通道维度依旧维持，基于非线性激活函数sigmoid将通道特征作为通道因子赋给交叉窗口注意力的价值矩阵的每一个通道维度，注意力模块的学习结果兼具空间特征和通道特征；所述通道特征提取模块为连续堆叠的深度可分离卷积；相对地，空间
‑
通道交互模块将最终注意力机制学习到的空间特征作为特征因子传递给通道特征提取模块的结果；最后将双分支结构提取到的特征再进行特征相加得到融合后的特征。5...

【专利技术属性】
技术研发人员：史金钢，潘佳艺，赵腾远，许领，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：