基于平衡多粒度融合特征蒸馏的持续语义分割方法及系统技术方案

技术编号:44653595 阅读:15 留言:0更新日期:2025-03-17 18:44
本发明专利技术公开了基于平衡多粒度融合特征蒸馏的持续语义分割方法及系统,涉及持续语义分割技术领域,包括:获取图片,将图片输入至预先建立的新旧模型的特征提取网络内,输出得到图片的多层特征;将图片的多层特征输入至预先建立的并行自注意力模块内,输出得到初步融合多粒度特征;将初步融合多粒度特征输入至预先建立的基于矩的通道注意力模块内,输出得到平衡性多粒度融合特征;基于知识蒸馏计算平衡性多粒度融合特征的一致性约束,基于平衡性多粒度融合特征的一致性约束计算训练总损失;基于训练总损失对新模型进行训练,得到训练后的新模型,通过训练后的新模型基于辅助分类器为新任务提供最优初始化决策边界,提高持续语义分割任务的准确性。

【技术实现步骤摘要】

本专利技术涉及持续语义分割,具体的是基于平衡多粒度融合特征蒸馏的持续语义分割方法及系统


技术介绍

1、随着卷积神经网络的飞速发展,语义分割任务的精度已经取得了巨大的提升。但是目前大多数语义分割方法是基于静态的批量大数据进行训练,而实际应用中,各个行业需要处理的数据大多是动态、开放、非均衡分布的数据流。这种批量学习训练得到的模型只能识别在训练集中出现过的类别,对于未出现在训练集中的类别则只能利用包含新类的新训练集重新训练模型,不仅造成大量时间和物力的浪费,且会发生灾难性遗忘,即模型在先前学习的旧类别上性能显著下降。为了解决这个难题,研究人员开始将持续学习范式引入语义分割任务,尝试让模型能够不断地利用新到来的数据学习新的信息,学会处理新的任务,并保持对旧任务的处理能力。

2、最近,许多持续语义分割方法尝试利用知识蒸馏技术对新旧模型提取的深层特征或输出置信度一致性约束,并对新类别的分类器采取随机初始化。但这些方法存在两方面不足:其一,知识蒸馏只针对单一粒度的深层语义特征做约束,忽视了对其他粒度特征中包含地对语义分割任务至关重要的信息的迁移;其二,面本文档来自技高网...

【技术保护点】

1.基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,方法包括以下步骤:

2.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述初步融合多粒度特征的输出过程:

3.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述平衡性多粒度融合特征的输出过程:

4.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述训练总损失的计算过程:

5.根据权利要求4所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述平衡性多粒度融合特征一致性约束...

【技术特征摘要】

1.基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,方法包括以下步骤:

2.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述初步融合多粒度特征的输出过程:

3.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述平衡性多粒度融合特征的输出过程:

4.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述训练总损失的计算过程:

5.根据权利要求4所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述平衡性多粒度融合特征一致性约束的计算过程如下:

6.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述通过训练后的新模型基于辅助分类器为新任务提供最优初...

【专利技术属性】
技术研发人员:焦一凡鲍秉坤常宇阳
申请(专利权)人:南京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1