本发明专利技术提供一种面向遥感图像类不平衡的混合增强方法及系统，涉及计算机视觉技术领域，包括：根据训练数据集中每个类占总数的比例选择不同的剪裁方法，对遥感图像分别进行剪裁，得到剪裁后的图像；设置置信度矩阵存储每个类当前阶段的表现好坏情况，并初始化置信度矩阵，使所有类的初始置信度值相同；根据剪裁后的图像训练分割模型，动态更新置信度矩阵中各类别的置信度值；每一轮训练结束后，根据每个类当前的置信度值，减少置信度值高的类别的采样学习，同时，将置信度低的类别对应的图像在训练集中进行粘贴增强；对分割模型进行迭代训练，得到最终的分割模型。本发明专利技术通过先验增强和置信度混合，解决了遥感图像中稀有类缺乏表达的问题。表达的问题。表达的问题。
【技术实现步骤摘要】
一种面向遥感图像类不平衡的混合增强方法及系统
[0001]本专利技术涉及遥感图像语义分割
，尤其是涉及一种面向遥感图像类不平衡的混合增强方法及系统。
技术介绍
[0002]近年来，遥感技术研究不断加强，遥感技术的快速发展极大地提高了遥感图像的可用性，广泛应用于物体分类、目标检测、变化检测等任务。高空间分辨率遥感图像包含丰富的物体信息，如结构、形状、纹理和相邻关系。它通过提取地物信息来支持各种民用任务，如城市规划、土地利用和环境监测。此外，高空间分辨率遥感图像的数据来源更为广泛，在军事识别等军事任务中发挥着更重要的作用。遥感图像不仅包含更丰富的信息，而且具有更复杂的语义特征，这使得遥感图像的语义分割成为图像分割中最具挑战性的问题之一。
[0003]除了自然图像语义分割普遍面临的挑战外，遥感图像语义分割还有其独特的挑战。这些挑战至少可归因于三个原因：首先，遥感图像和自然图像之间最大的区别之一是前景
‑
背景的不平衡，与COCO和PASCAL VOC2012等自然场景数据集相比，iSAID等遥感语义分割数据集的前景比率较低，这种不平衡问题随着分割网络的深度增加，过多的背景信息会将噪声引入前景的特征学习，导致分类器不准确无法有效区分前景对象；其次，卫星或无人机从不同角度捕捉遥感图像，从而产生各种来源和不同尺度的物体，然而，由于问题的多尺度性质，这带来了重大挑战，导致图像中对象之间存在显著差异；最后，遥感数据集中最重大的挑战是严重的类不平衡问题，在训练过程中，网络倾向于优先考虑实例较多的类，而较少关注稀有的类，这导致在预测过程中过度拟合多数类的合并，而导致对稀有类的忽略。
[0004]现有的遥感图像语义分割研究中，首先使用的都是自然图像下的语义分割框架，如FCN、DeepLab等等，几乎没有关注类不平衡问题的方法，然而，自然图像下的语义分割框架往往忽略了前景
‑
背景不平衡和类内显著差异的问题，从而限制了遥感图像的语义分割。随着深度学习的发展，其在计算机视觉任务中表现出了显著的性能，使用深度学习来学习视觉特征已经变得可行，然而，当深度学习网络提取特定证据时，稀有类很容易被周围的噪声淹没，或者稀有类在注意力学习中缺乏注意力，导致稀有类特征表现不佳。
[0005]如何解决遥感图像分割中前景
‑
背景不平衡问题，以及遥感图像中稀有类缺乏表达，即类内显著差异的问题，提高遥感图像语义分割的效果。
技术实现思路
[0006]针对上述问题，本专利技术提供了一种面向遥感图像类不平衡的混合增强方法及系统，通过先验知识增强和混合增强，增强分割模型的训练效果，进而提高遥感图像中的语义分割效果。
[0007]为实现上述目的，本专利技术提供了一种面向遥感图像类不平衡的混合增强方法，包括：
[0008]根据训练数据集中每个类占总数的比例选择不同的图像剪裁方法，对所述训练数
据集中的遥感图像分别进行剪裁，得到剪裁后的图像；
[0009]设置置信度矩阵存储每个类当前阶段的表现好坏情况，并初始化置信度矩阵，使所有类的初始置信度值相同；
[0010]根据剪裁后的图像训练分割模型，动态更新置信度矩阵中各类别的置信度值；
[0011]每一轮训练结束后，根据每个类当前的置信度值，减少置信度值高的类别的采样学习，同时，将置信度低的类别对应的图像在训练集中进行粘贴增强；
[0012]对所述分割模型进行迭代训练，得到最终的分割模型。
[0013]作为本专利技术的进一步改进，根据训练数据集中每个类占总数的比例选择不同的图像剪裁方法，包括：
[0014]对于第j张遥感图像，根据稀有类和非稀有类的权重之和及公式选择不同步长的滑动窗口，公式为：
[0015][0016]其中，
[0017]为第j张遥感图像中第c
i
类的像素数占第j张遥感图像像素总数的比例；
[0018]K
j
＝H表示第j张遥感图像中只有一个背景类；
[0019]I
d
和I
u
分别表示非稀有类的集合和稀有类的集合；
[0020]表示遥感图像训练集中第Ci类的权重；
[0021]H、S1、S2均表示滑动窗口的步长，H表示最大步长，S2表示最小步长，关系为S2＜S1＜H；
[0022]当第j张遥感图像稀有类的概率之和小于非稀有类的概率之和时，采用步长S1切割第j遥感图像；
[0023]当第j张遥感图像稀有类的概率之和大于或等于非稀有类的概率之和时，采用步长S2切割第j遥感图像。
[0024]作为本专利技术的进一步改进，对于第j张遥感图像，将C个前景类划分为稀有类和非稀有类，并为每个稀有类和非稀有类分配权重包括：
[0025]计算各前景类的像素数占所有前景类的像素数比例
[0026]在类平衡下，每个前景类的像素数占所有前景类的像素数的比值为1/C；
[0027]比较和1/C，若则该前景类为稀有类，则该前景类为非稀有类；
[0028]为每个前景类分配权重等于的倒数，公式为：
[0029][0030]其中，
[0031]N
C
是所有前景类中前景像素的总数；
[0032]是第c
i
类中的像素总数；
[0033]权重越大表明类c
i
的数量越少。
[0034]作为本专利技术的进一步改进，随机初始化一组零向量作为初始化置信度矩阵，公式为：
[0035]Conf0＝Zeros((1，C))
[0036]其中，Zeros表示numpy或者pytorch中的零向量初始化方式，C表示数据集中类别的数量。
[0037]作为本专利技术的进一步改进，根据剪裁后的图像训练分割模型，动态更新置信度矩阵中各类别的置信度值；包括：
[0038]所述分割模型在每次训练时积累一个阶段的置信度，并使用指数移动平均来更新置信度值，公式为：
[0039][0040][0041]其中，
[0042]α∈[0，1]，c表示数据集中的类别，t表示当前训练阶段；
[0043]TP和FP分别表示真阳性和假阳性。
[0044]作为本专利技术的进一步改进，所述每一轮训练结束后，根据每个类当前的置信度值，减少置信度值高的类别的采样学习，包括：
[0045]将置信度矩阵换为归一化抽样概率r1，表示为：r1＝softmax(Conf
t
)
[0046]根据采样概率，随机选择采样概率高的K1个类别，形成候选集C1，对各遥感图像中属于所述候选集C1中的类进行随机部分遮挡操作，并更新遥感图像的像素值和标签，表示分别为：
[0047][0048][0049]表示遥感图像I中坐标位置为(i，j)的像素点在经过Mask更新后的像素值；
[0050]表示遥感图像I中坐标位置为(i，j)的像素点对应的标签在经过Mask更新后本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种面向遥感图像类不平衡的混合增强方法，其特征在于，包括：根据训练数据集中每个类占总数的比例选择不同的图像剪裁方法，对所述训练数据集中的遥感图像分别进行剪裁，得到剪裁后的图像；设置置信度矩阵存储每个类当前阶段的表现好坏情况，并初始化置信度矩阵，使所有类的初始置信度值相同；根据剪裁后的图像训练分割模型，动态更新置信度矩阵中各类别的置信度值；每一轮训练结束后，根据每个类当前的置信度值，减少置信度值高的类别的采样学习，同时，将置信度低的类别对应的图像在训练集中进行粘贴增强；对所述分割模型进行迭代训练，得到最终的分割模型。2.根据权利要求1所述的面向遥感图像类不平衡的混合增强方法，其特征在于：根据训练数据集中每个类占总数的比例选择不同的图像剪裁方法，包括：对于第j张遥感图像，根据稀有类和非稀有类的权重之和以及公式选择不同步长的滑动窗口，公式为：其中，为第j张遥感图像中第c
i
类的像素数占第j张遥感图像像素总数的比例；K
j
＝H表示第j张遥感图像中只有一个背景类；I
d
和I
u
分别表示非稀有类的集合和稀有类的集合；表示遥感图像训练集中第c
i
类的权重；H、S1和S2均表示滑动窗口的步长，H表示最大步长，S2表示最小步长，关系为S2<S1<H；当第j张遥感图像稀有类的概率之和小于非稀有类的概率之和时，采用步长S1切割第j遥感图像；当第j张遥感图像稀有类的概率之和大于或等于非稀有类的概率之和时，采用步长S2切割第j遥感图像。3.根据权利要求2所述的面向遥感图像类不平衡的混合增强方法，其特征在于：对于第j张遥感图像，将C个前景类划分为稀有类和非稀有类，并为每个稀有类和非稀有类分配权重包括：计算各前景类的像素数占所有前景类的像素数比例在类平衡下，每个前景类的像素数占所有前景类的像素数的比值为1/C；比较和1/C，若则该前景类为稀有类；若则该前景类为非稀有类；为每个前景类分配权重等于的倒数，公式为：
其中，N
C
是所有前景类中前景像素的总数；是第c
i
类中的像素总数；权重越大表明类c
i
的数量越少。4.根据权利要求1所述的面向遥感图像类不平衡的混合增强方法，其特征在于：随机初始化一组零向量作为初始化置信度矩阵，公式为：Conf0＝Zeros((1,C))其中，Zeros表示numpy或者pytorch中的零向量初始化方式，C表示数据集中类别的数量。5.根据权利要求1所述的面向遥感图像类不平衡的混合增强方法，其特征在于：根据剪裁后的图像训练分割模型，动态更新置信度矩阵中各类别的置信度值；包括：所述分割模型在每次训练时积累一个阶段的置信度，并使用指数移动平均来更新置信度值，公式为：度值，公式为：其中，α∈[0,1]，c表示数据集中的类别，t表示当前训练阶段；TP和FP分别表示真阳性和假阳性。6.根据权利要求5所述的面向遥感图像类不平衡的混合增强方法，其特征在于：所述每一轮训练结束后，根据每个类当前的置信度值，减少置信度值高的类别的采样学习，包括：将置信度矩阵换为归一化抽样概率r1，表示为：r1＝softmax(Conft
t
)根据采样概率，随机选择采样概率高的K1个类别，形成候选集...
【专利技术属性】
技术研发人员：段立娟，公智，刘兆英，同磊，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。