【技术实现步骤摘要】
本专利技术属于遥感影像道路提取，特别涉及一种多分支多任务的多模态遥感影像道路提取方法及系统。
技术介绍
1、道路作为交通运输设施的主干结构与核心枢纽，快速准确地提取在地图更新、车辆导航、城市规划和灾害救援等领域均具有重要作用。道路提取是指将影像的每个像素分为道路和非道路(背景)，受益于系列卷积神经网络在语义分割领域的发展进步、光学影像的直观性和其数据集的丰富性等客观现状，当前道路自动解译研究主要集中于光学影像驱动的深度学习法。该方法结合光学影像和标签数据，通过卷积神经网络充分挖掘影像的深层特征，以网络框架为映射函数，并依据设定的相似度测量标准(损失函数)不断更新优化网络框架的参数。
2、光学影像以地物反射可见光波段内的电磁波能量为依据，可视化地物的表层信息，具有空间分辨率高、光谱和纹理信息丰富等优点。但由于光学影像的获取方法是一种被动式手段，能量来源主要是太阳辐射，故如图1(a)(b)所示，光学影像的成像质量往往受天气影响较大。此外，如图1(c)(d)所示，因成像角度等因素的影响，投影误差、阴影特征等均会造成道路表面的属性特征与真实标签存在出入，为道路提取带来错误的信息引导。相反，sar作为主动式成像，具备全天时全天候的数据获取能力，并能从侧视角度提供地物目标的散射和几何特征，但存在斑块噪声以及语义难解释等问题。总体来说，得益于应用需求的持续推进，体系化、多样化和成熟化的遥感数据获取系统不断涌现，遥感数据在电磁波谱的描述颗粒度和适应区间均取得重大突破。获取同一地区的多模态遥感影像更加容易，可以为地物解译提供多样的互补
3、目前，从多模态数据融合产生的位置出发，主要包括数据级、特征级和决策级三种。其中，数据级融合从原始数据层面开展，在后续的解译中将多模态数据视为整体进行处理，比较适合同质数据。特征级融合围绕各自数据进行特征提取，然后采取一定的策略(如级联、求和和注意力机制等)达到优势互补的目的。决策级融合根据不同数据的解译结果进行分析与决策，但未充分权衡各自的优势信息。虽然多模态数据驱动的地物解译研究已取得很大进步，但由于光学影像和sar影像的成像机制完全不同，将导致两者的特征存在天然的异质性，故如何构建有效的融合策略仍是当前研究的关键。此外，已有的多模态影像解译技术大多面向全要素地物分类，并未考虑道路自身的结构和分布规律，故精度和泛化能力均有待提升。
技术实现思路
1、本专利技术的目的在于解决现有技术的问题，提出一种多分支多任务的多模态遥感影像道路提取方法及系统，以光学影像和sar影像为数据基础，围绕道路自身形状和拓扑结构进行网络模型设计，从而充分挖掘两种模态影像的优势信息，提升道路提取结果的精度。
2、为了实现上述目的，本专利技术采用以下的技术方案：
3、一种多分支多任务的多模态遥感影像道路提取方法，包含：
4、构建网络结构相同但参数独立的编码解码网络，分别对光学影像和sar影像进行特征提取，并利用道路表面分割标签监督训练；
5、引入sar影像的编码层特征进行道路边缘检测，并将其中间特征输入至sar影像的解码层特征；
6、利用通道-条状空间注意力ca-ssa充分融合光学影像和sar影像的浅层特征及深层特征，预测最终的道路提取结果。
7、根据本专利技术多分支多任务的多模态遥感影像道路提取方法，进一步地，光学影像分支和sar影像分支的编码层均采用resnet34进行特征提取，解码层利用转置卷积和卷积的组合进行上采样，同时采用跳跃连接的方式使编码层特征和对应解码层特征进行逐像素相加操作。
8、根据本专利技术多分支多任务的多模态遥感影像道路提取方法，进一步地，所述引入sar影像的编码层特征进行道路边缘检测，并将其中间特征输入至sar影像的解码层特征包含：在sar影像分支编码层中依托独立的卷积和上采样获得四个层次的特征，而后将这四个层次特征以通道叠加的形式获得边缘特征，该边缘特征一方面再经过两次卷积处理输出道路边缘，另一方面通过逐像素相加的形式与sar影像分支解码层特征相融合。
9、根据本专利技术多分支多任务的多模态遥感影像道路提取方法，进一步地，所述通道-条状空间注意力ca-ssa的输入是光学影像分支和sar影像分支的解码层特征，输出为道路表面分割结果；进一步分别在解码层的深层和浅层两种层次输入特征，两种层次的融合则采用卷积+上采样的方式进行参数的动态优化。
10、根据本专利技术多分支多任务的多模态遥感影像道路提取方法，进一步地，所述通道-条状空间注意力ca-ssa实现流程如下：
11、(1)通道叠加，将不同模态的特征进行硬性融合；
12、(2)conv处理，将不同模态数据进行初步细化交互，并改变特征通道数；
13、(3)通道注意力，在通道维度学习有效特征，抑制无效特征；
14、(4)条状空间注意力，沿着四个方向(0°，45°，90°，135°)在空间维度进行有效特征的捕获；
15、(5)通道叠加，进行不同方向的条状空间注意力融合；
16、(6)conv处理，获得特征最终的融合结果。
17、根据本专利技术多分支多任务的多模态遥感影像道路提取方法，进一步地，所述通道-条状空间注意力ca-ssa实现流程用公式表示为：
18、fca＝ca(conv(cat(fopt,fsar)))
19、ffus＝conv(cat(ssa0(fca),ssa45(fca),ssa90(fca),ssa135(fca)))
20、式中，ca表示通道注意力操作，conv包括1*1卷积、归一化和relu激活操作，cat是通道叠加，fopt表示光学影像分支解码层特征，fsar表示sar影像分支解码层特征，ssa0，ssa45，ssa90，ssa135则分别代表0°、45°、90°和135°方向的条状空间注意力处理。
21、根据本专利技术多分支多任务的多模态遥感影像道路提取方法，进一步地，所述条状空间注意力的实现流程如下：首先，通过平均池化和最大池化分别对输入特征进行处理，并将处理结果进行通道叠加；其次，利用0°、45°、90°和135°四个方向的条状卷积在特定方向进行特征提取；最后，将提取的特征通过sigmoid激活函数获取空间维度各位置的权重大小。
22、根据本专利技术多分支多任务的多模态遥感影像道路提取方法，进一步地，网络模型利用道路表面分割标签和道路边缘标签进行损失函数计算，总体损失函数的公式如下：
23、loss＝lossseg+α×lossedge
24、式中，loss，lossseg，lossedge分别表示总损失、道路表面分割损失和道路边缘损失，α表示比例系数。
25、根据本专利技术多分支多任务的多模态遥感影像道路提取方法，进一步地本文档来自技高网...
【技术保护点】
1.一种多分支多任务的多模态遥感影像道路提取方法，其特征在于，包含：
2.根据权利要求1所述的多分支多任务的多模态遥感影像道路提取方法，其特征在于，光学影像分支和SAR影像分支的编码层均采用ResNet34进行特征提取，解码层利用转置卷积和卷积的组合进行上采样，同时采用跳跃连接的方式使编码层特征和对应解码层特征进行逐像素相加操作。
3.根据权利要求1所述的多分支多任务的多模态遥感影像道路提取方法，其特征在于，所述引入SAR影像的编码层特征进行道路边缘检测，并将其中间特征输入至SAR影像的解码层特征包含：在SAR影像分支编码层中依托独立的卷积和上采样获得四个层次的特征，而后将这四个层次特征以通道叠加的形式获得边缘特征，该边缘特征一方面再经过两次卷积处理输出道路边缘，另一方面通过逐像素相加的形式与SAR影像分支解码层特征相融合。
4.根据权利要求1所述的多分支多任务的多模态遥感影像道路提取方法，其特征在于，所述通道-条状空间注意力CA-SSA的输入是光学影像分支和SAR影像分支的解码层特征，输出为道路表面分割结果；进一步分别在解码层的深层和浅层两种
5.根据权利要求4所述的多分支多任务的多模态遥感影像道路提取方法，其特征在于，所述通道-条状空间注意力CA-SSA实现流程如下：
6.根据权利要求5所述的多分支多任务的多模态遥感影像道路提取方法，其特征在于，所述通道-条状空间注意力CA-SSA实现流程用公式表示为：
7.根据权利要求5所述的多分支多任务的多模态遥感影像道路提取方法，其特征在于，所述条状空间注意力的实现流程如下：首先，通过平均池化和最大池化分别对输入特征进行处理，并将处理结果进行通道叠加；其次，利用0°、45°、90°和135°四个方向的条状卷积在特定方向进行特征提取；最后，将提取的特征通过Sigmoid激活函数获取空间维度各位置的权重大小。
8.根据权利要求1所述的多分支多任务的多模态遥感影像道路提取方法，其特征在于，网络模型利用道路表面分割标签和道路边缘标签进行损失函数计算，总体损失函数的公式如下：
9.根据权利要求8所述的多分支多任务的多模态遥感影像道路提取方法，其特征在于，所述道路表面分割损失和道路边缘损失利用BCE损失和dice coefficient损失之和作为损失值，其中BCE损失和dice coefficient损失的公式如下：
10.一种多分支多任务的多模态遥感影像道路提取系统，其特征在于，用于实现如权利要求1至9任一项所述的多分支多任务的多模态遥感影像道路提取方法，该系统包含特征提取模块、边缘支撑模块和特征融合模块，其中：
...【技术特征摘要】
1.一种多分支多任务的多模态遥感影像道路提取方法，其特征在于，包含：
2.根据权利要求1所述的多分支多任务的多模态遥感影像道路提取方法，其特征在于，光学影像分支和sar影像分支的编码层均采用resnet34进行特征提取，解码层利用转置卷积和卷积的组合进行上采样，同时采用跳跃连接的方式使编码层特征和对应解码层特征进行逐像素相加操作。
3.根据权利要求1所述的多分支多任务的多模态遥感影像道路提取方法，其特征在于，所述引入sar影像的编码层特征进行道路边缘检测，并将其中间特征输入至sar影像的解码层特征包含：在sar影像分支编码层中依托独立的卷积和上采样获得四个层次的特征，而后将这四个层次特征以通道叠加的形式获得边缘特征，该边缘特征一方面再经过两次卷积处理输出道路边缘，另一方面通过逐像素相加的形式与sar影像分支解码层特征相融合。
4.根据权利要求1所述的多分支多任务的多模态遥感影像道路提取方法，其特征在于，所述通道-条状空间注意力ca-ssa的输入是光学影像分支和sar影像分支的解码层特征，输出为道路表面分割结果；进一步分别在解码层的深层和浅层两种层次输入特征，两种层次的融合则采用卷积+上采样的方式进行参数的动态优化。
5.根据权利要求4所述的多分支多任务的多模态遥感影像道路提取方法，其特征在于，所述通道-条状空间注意力c...
【专利技术属性】
技术研发人员：林雨准，金飞，王淑香，芮杰，左溪冰，戴林鑫杰，黄子恒，刘潇，程传祥，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。