一种基于LOVASZ损失和轻量化双边网络的SAR图像实时分割方法技术

本发明专利技术公开了一种基于LOVASZ损失和轻量化双边网络的SAR图像实时分割方法，对BiSeNet网络依次进行预训练和微调训练；其中，在预训练过程中BiSeNet网络的损失函数采用交叉熵损失函数，在微调训练过程中BiSeNet网络的损失函数采用联合损失函数，联合损失函数包括Lovasz损失函数和交叉熵损失函数；基于微调训练后的BiSeNet网络对极化SAR图像进行分割；本发明专利技术在BiSeNet网络的基础上，将语义分割中的常用的指标联合交集(Intersection Over Union，IOU)作为优化目标，引入了对其进行扩展的Lovasz损失，实现了基于Lovasz损失的轻量化双边网络的实时语义分割，获得了更高的分类精度。度。度。

【技术实现步骤摘要】
一种基于LOVASZ损失和轻量化双边网络的SAR图像实时分割方法


[0001]本专利技术属于SAR图像分割
，尤其涉及一种基于LOVASZ损失和轻量化双边网络的SAR图像实时分割方法。

技术介绍

[0002]极化SAR图像分割是SAR图像解译领域的研究热点之一，可以实现对SAR图像的像素级分类，在城市分割、道路提取、作物分类等方面得到了广泛的应用。传统的分类方法主要基于极化SAR数据的统计分布和目标的散射特性，但是这类方法只能提取一些低层次的特征，不能充分有效利用SAR图像信息。
[0003]为了满足分类精度和速度的要求，以卷积神经网络(CNN)为代表的深度学习方法被广泛引入SAR图像的分割。然而CNN采取的滑动窗口的方法对同一像素进行多次重复采样，计算和存储负担巨大。同时，由于一个采样窗口往往包含不同类型的像素，这种区域到像素的方法只能预测中心像素，导致边界过度平滑，分割结果不确定。
[0004]为了克服区域到像素方法的缺点，Long提出的全卷积神经网络(FCN)通过将CNN的全连接层替换为卷积层来实现对任意尺寸图像的分割，随后更多的SAR语义分割网络研究相继展开并得到应用。其中，双边网络(BiSeNet)采用空间路径(Spatial Path)和上下文路径(Context Path)将空间信息和接收场进行解耦合，并使用特征融合模块(FFM)和注意力细化模块(ARM)进一步提高精度。
[0005]但是，传统的双边网络都采用了交叉熵损失函数来优化损失曲线，直接作为优化目标对最终的结果会造成一定的偏差。

技术实现思路

[0006]本专利技术的目的是提供一种基于LOVASZ损失和轻量化双边网络的SAR图像实时分割方法，以IOU(intersection over union，联合交集)为优化目标，能够在保证实时性(轻量化)的基础上达到更高的分类精度。
[0007]本专利技术采用以下技术方案：一种基于LOVASZ损失和轻量化双边网络的SAR图像实时分割方法，包括以下步骤：
[0008]对BiSeNet网络依次进行预训练和微调训练；其中，在预训练过程中BiSeNet网络的损失函数采用交叉熵损失函数，在微调训练过程中BiSeNet网络的损失函数采用联合损失函数，联合损失函数包括Lovasz损失函数和交叉熵损失函数；
[0009]基于微调训练后的BiSeNet网络对极化SAR图像进行分割。
[0010]进一步地，Lovasz损失函数为：
[0011][0012]其中，Loss(f)2为Lovasz损失函数，C为SAR图像中像素的类别数量，c为SAR图像中
像素的类别序数，为各类别的扩展损失。
[0013]进一步地，交叉熵损失函数为：
[0014][0015]其中，Loss(f)1为交叉熵损失函数，p为输入到BiSeNet网络中的像素数量，为第i个像素的真实标签，为BiSeNet网络对第i个像素的分类结果为的概率。
[0016]进一步地，联合损失函数为：
[0017][0018]其中，Loss(f)3为联合损失函数。
[0019]进一步地，在预训练/微调训练过程中包括：
[0020]交替对BiSeNet网络进行预训练/微调训练和验证，并记录每次预训练/微调训练后的网络权值和对应的验证损失；
[0021]当验证次数达到第一阈值时，选择验证损失最小值对应的网络权值作为BiSeNet网络的权值。
[0022]进一步地，在预训练/微调训练过程中，当连续预训练/微调训练次数达到第二阈值且对应的验证损失未减小时，结束预训练/微调训练过程。
[0023]进一步地，在预训练/微调训练过程中还包括：
[0024]动态调节BiSeNet网络的学习率。
[0025]本专利技术的另一种技术方案：一种基于LOVASZ损失和轻量化双边网络的SAR图像实时分割装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种基于LOVASZ损失和轻量化双边网络的SAR图像实时分割装置方法。
[0026]本专利技术的有益效果是：本专利技术在BiSeNet网络的基础上，将语义分割中的常用的指标联合交集作为优化目标，引入了对其进行扩展的Lovasz损失，实现了基于Lovasz损失的轻量化双边网络的实时语义分割，获得了更高的分类精度。
附图说明
[0027]图1为本专利技术实施例中BiSeNet网络的架构示意图；
[0028]图2为本专利技术实施例中ARM模块的具体架构图；
[0029]图3为本专利技术实施例中FFM模块的具体架构图；
[0030]图4为本专利技术验证实施例中一种极化状态下的振幅图像和对应的彩色地面真值示意图；
[0031]图5为本专利技术验证实施例中分类结果与不同语义网络进行比较结果示意图。
具体实施方式
[0032]下面结合附图和具体实施方式对本专利技术进行详细说明。
[0033]IOU是语义分割中的重要评价指标，可以有效的反映分割的准确度，经过Lovasz扩展后可以作为优化的目标，从而提高网络精度。同时，轻量化的双边分分割网络可以在获取高精度的同时兼顾实时性的要求。双边分割网络可以在获取高精度的同时兼顾实时性的要求。
[0034]本专利技术以Lovasz损失函数和交叉熵损失函数加权为最终优化目标，建立了轻量化的双边实时语义分割网络，与采用传统交叉熵损失的BiSeNet网络相比，本专利技术介绍的网络具有更高的分类精度。本专利技术提出的改进损失函数可以更好地填补极化SAR语义分割领域在优化目标的空白，兼顾实时性和高精度。。
[0035]本专利技术公开了一种基于LOVASZ损失和轻量化双边网络的SAR图像实时分割方法，包括以下步骤：对BiSeNet网络依次进行预训练和微调训练；其中，在预训练过程中BiSeNet网络的损失函数采用交叉熵损失函数，在微调训练过程中BiSeNet网络的损失函数采用联合损失函数，联合损失函数包括Lovasz损失函数和交叉熵损失函数；基于微调训练后的BiSeNet网络(bilateral segmentation network)对极化SAR图像进行分割。
[0036]本专利技术在BiSeNet网络的基础上，将语义分割中的常用的指标联合交集(Intersection Over Union，IOU)作为优化目标，引入了对其进行扩展的Lovasz损失，实现了基于Lovasz损失的轻量化双边网络的实时语义分割，获得了更高的分类精度。
[0037]具体的，在本专利技术实施例中，要对BiSeNet网络进行训练。首先，从极化SAR散射矩阵中提取待分类的输入数据，并进行归一化。然后，对归一化的输入数据进行数据增强(随机裁剪、水平翻转和垂直翻转等)，并划分为训练集、测试集和验证集。
[0038]接下来，采用训练集中的数据对BiSeNet网络进行训练。在本专利技术实施例中，设计最大训练次数为200。同时，在训练的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于LOVASZ损失和轻量化双边网络的SAR图像实时分割方法，其特征在于，包括以下步骤：对BiSeNet网络依次进行预训练和微调训练；其中，在预训练过程中所述BiSeNet网络的损失函数采用交叉熵损失函数，在微调训练过程中所述BiSeNet网络的损失函数采用联合损失函数，所述联合损失函数包括Lovasz损失函数和交叉熵损失函数；基于微调训练后的BiSeNet网络对极化SAR图像进行分割。2.如权利要求1所述的一种基于LOVASZ损失和轻量化双边网络的SAR图像实时分割方法，其特征在于，所述Lovasz损失函数为：其中，Loss(f)2为Lovasz损失函数，C为SAR图像中像素的类别数量，c为SAR图像中像素的类别序数，为各类别的扩展损失。3.如权利要求2所述的一种基于LOVASZ损失和轻量化双边网络的SAR图像实时分割方法，其特征在于，所述交叉熵损失函数为：其中，Loss(f)1为交叉熵损失函数，p为输入到BiSeNet网络中的像素数量，为第i个像素的真实标签，为BiSeNet网络对第i个像素的分类结果为的概率。4.如权利要求2或3所述的一种基于LOVASZ损失和轻量化双边网络的SAR图像实时分割方法，其特征在于，所述联合损失...

【专利技术属性】
技术研发人员：郭睿，赵小鹏，王辉，徐瑞琦，左冠中，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：