一种基于Transformer的物体语义边界分割方法技术

本发明专利技术公布了一种基于Transformer的物体语义边界分割方法，通过综和利用图像全局上下文特征和局部特征以提取清晰的物体语义边界。方法包括全局上下文特征提取和局部特征抽取。使用全局transformer编码器获取从粗粒度图像划分区域集全局上下文特征；应用局部transformer编码器对区域细分的子区域集抽取局部特征。Transformer编码器由多个子transformer编码器构成，子transformer编码器包含多头自注意力操作MSA、多层感知器MLP和两个归一化层LN。通过特征融合将全局上下文特征和局部特征融合，输入决策头中进行语义边界预测。本发明专利技术所述包括三个主要模块，1)使用全局transformer编码器抽取粗粒度图像划分区域集的全局上下文特征；2)使用局部transformer编码器在细粒度的图像划分区域抽取局部特征；3)通过特征融合模块将全局上下文特征和局部特征融合，输入决策头进行边缘预测。

【技术实现步骤摘要】

本专利技术涉及一种基于transformer的物体语义边界分割方法，属于计算机视觉和人工智能相结合的。

技术介绍

1、边缘检测是计算机视觉中常见的问题之一，拥有着广泛的应用，用于图像分割，物体检测，视频物体检测等。边缘检测目的是对输入图像，提取准确的物体边界和视觉显著的边缘。由于诸多因素干扰，包括复杂的背景、不一致的注释等，准确给出物体的语义边界具有很大挑战性。边缘与图像上下文和语义特征相关。因此，计算局部和全局视觉特征有益于生成物体语义边界。传统的边缘检测算子有canny算子、sobel算子、laplace算子等，基于局部特征(例如颜色和纹理)计算边缘。卷积神经网络通过逐步计算上下文和语义特征，一定程度上方便边缘检测。局部细节随着感受野扩大而变得次要。transformer由于其全局注意力机制在计算图像全局依赖关系方面具有较强性能。受此启发，本专利提出一种新的基于transformer的物体语义边界分割方法，通过同时利用图像上下文和局部特征提取准确物体语义边界。

2、本技术的具体步骤分为三个主要阶段，在第一阶段，使用全局的transforme本文档来自技高网...

【技术保护点】

1.本专利技术给出一种基于Transformer的图像语义边界分割方法，包括全局图像上下文信息和局部细粒度线索搜索。采取的技术方案主要如下：

【技术特征摘要】

1.本发明给出一种基于transformer的图像语义边界分割方法，...

【专利技术属性】
技术研发人员：杜振龙，顾伟，李晓丽，陈东，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：