轻量化无监督自适应图像语义分割方法及系统技术方案

技术编号:40555846 阅读:46 留言:0更新日期:2024-03-05 19:16
本发明专利技术公开了轻量化无监督自适应图像语义分割方法及系统,属于图像处理技术领域,要解决的技术问题为如何实现高分辨率场景下图像语义分割、并降低标注数据的需求。包括如下步骤:获取源域图像和目标域图像作为原始图像,并对原始图像进行图像预处理;基于Transformer模型构建图像语义分割模型,基于稀疏编码和SmoothQuant量化方法对图像语义分割模型进行模型轻量化处理;将轻量化语义图像分割模型中编码器作为共享特征提取器,将轻量化语义图像分割模型中解码器作为生成器,并引入判别器与生成器作为GAN对抗器,共享特征提取器用于通过在目标域上进行特征对齐和领域适应来实现领域迁移,对抗器用于实现源域和目标域的特征分布相似。

【技术实现步骤摘要】

本专利技术涉及图像处理,具体地说是轻量化无监督自适应图像语义分割方法及系统


技术介绍

1、传统的transformer模型通常在自然语言处理领域表现出色,但其复杂度较高,导致在计算机视觉任务中使用时可能面临计算资源和内存消耗较大的问题。在图像语义分割中,处理高分辨率或大尺度的图像可能会导致显著的计算开销。轻量化transformer模型减少了模型的参数量和计算复杂度,加快了图像语义分割的计算速度,更容易应用于需要实时性的高分辨率场景图像语义分割任务。另外,对于高分辨率场景图像,为了训练一个高性能的图像语义分割模型,需要大量的标注数据,然而,获取标注数据是一项费时费力的任务,无监督域自适应技术在图像语义分割中是一种有效的知识迁移方法,可以降低标注数据的需求、提高模型泛化性能,并使得模型更加适应多样性的场景,从而在实际高分辨率场景图像应用中更具有实用性和可扩展性。

2、如何实现高分辨率场景下图像语义分割、并降低标注数据的需求,是需要解决的技术问题。


技术实现思路

1、本专利技术的技术任务是针对以上不本文档来自技高网...

【技术保护点】

1.一种轻量化无监督自适应图像语义分割方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的轻量化无监督自适应图像语义分割方法,其特征在于,对原始图像进行图像预处理时,对源域图像以及目标域图像进行大小调整,并对源域图像进行数据增强操作,包括随机翻转、旋转、缩放以及裁剪操作;

3.根据权利要求1所述的轻量化无监督自适应图像语义分割方法,其特征在于,所述Transformer模型中编码器和解码器均包括全局-局部Transformer网络结构,所述全局-局部Transformer网络结构包括输入模块、全局-局部Transformer块和输出模块,所述输入模块用于将输...

【技术特征摘要】

1.一种轻量化无监督自适应图像语义分割方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的轻量化无监督自适应图像语义分割方法,其特征在于,对原始图像进行图像预处理时,对源域图像以及目标域图像进行大小调整,并对源域图像进行数据增强操作,包括随机翻转、旋转、缩放以及裁剪操作;

3.根据权利要求1所述的轻量化无监督自适应图像语义分割方法,其特征在于,所述transformer模型中编码器和解码器均包括全局-局部transformer网络结构,所述全局-局部transformer网络结构包括输入模块、全局-局部transformer块和输出模块,所述输入模块用于将输入的图像映射到网络结构的维度空间,并添加位置编码以考虑序列中的位置信息;

4.根据权利要求1所述的轻量化无监督自适应图像语义分割方法,其特征在于,基于稀疏编码和smoothquant量化方法对图像语义分割模型进行模型轻量化处理,包括如下步骤:

5.根据权利要求1所述的轻量化无监督自适应图像语义分割方法,其特征在于...

【专利技术属性】
技术研发人员:杨彤李雪陈其宾马源姜凯
申请(专利权)人:山东浪潮科学研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1