当前位置: 首页 > 专利查询>深圳大学专利>正文

基于多重注意力机制的多尺度桥梁联合网络图像分割方法技术

技术编号:43292953 阅读:20 留言:0更新日期:2024-11-12 16:12
本发明专利技术属于图像分割技术领域,公开了基于多重注意力机制的多尺度桥梁联合网络图像分割方法,包括以下步骤:根据图片和语义数据训练生成图像分割模型;基于多重注意力机制,构建多尺度桥梁联合网络;对图片数据和语义数据进行多模态的特征提取;对图像的通道信息和像素块区域位置信息与语义嵌入的特征向量进行交叉注意力特征融合;将融合后的特征输入到掩膜器中,分割、掩膜出图像与语义描述相对应的特定部分。本发明专利技术采用上述的基于多重注意力机制的多尺度桥梁联合网络图像分割方法,将图片和语义的特征进行多模态高维度的融合,使图像分割模型能够充分利用图像的视觉信息和相关的语义信息,提高模型的性能和准确性。

【技术实现步骤摘要】

本专利技术涉及图像分割,尤其涉及基于多重注意力机制的多尺度桥梁联合网络图像分割方法


技术介绍

1、近几年来,深度学习被应用于图像分割领域,诞生了许多的掩膜算法和模型。传统的模型是通过解码器和编码器,将图片和语义分别进行特征提取处理,然后输入编码器进行处理,最后解码器输出与之相对应的分割掩膜,这种方法无疑是缺乏可解释性的,再丧失了图像和语义的互联特征之下,所得到的模型是不足以达到实际应用的需要的。

2、现如今,基于cnn和transformer的深度学习图像分割已经基本成熟,大多都是利用图像卷积以及transformer的编码解码结构进行特征提取及应用,一步一步深入地挖掘图片与语义之间的关联性,最后得到分割掩膜。但也有些许缺陷:1)中间的特征提取部分缺少图片和语义的信息交融,会导致丧失部分交融信息;2)对于图像的局部信息缺乏关注,例如图像的像素块位置信息,以及图像多通道信息;3)缺乏模型的可解释度。

3、因此,本专利技术提出了一种基于多重注意力机制的多尺度桥梁联合网络图像分割方法,以此克服上述技术缺陷。

<br/>

本文档来自技高网...

【技术保护点】

1.基于多重注意力机制的多尺度桥梁联合网络图像分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于多重注意力机制的多尺度桥梁联合网络图像分割方法,其特征在于:在步骤S2中,多重注意力机制包括自注意力,双重注意力和交叉注意力;

3.根据权利要求1所述的基于多重注意力机制的多尺度桥梁联合网络图像分割方法,其特征在于,在步骤S3中,基于图像通道和位置注意力机制的多尺度特征提取结构,分别对图片数据和语义数据进行多模态的特征提取,包括以下步骤:

4.根据权利要求3所述的基于多重注意力机制的多尺度桥梁联合网络图像分割方法,其特征在于,在步骤S4中,基...

【技术特征摘要】

1.基于多重注意力机制的多尺度桥梁联合网络图像分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于多重注意力机制的多尺度桥梁联合网络图像分割方法,其特征在于:在步骤s2中,多重注意力机制包括自注意力,双重注意力和交叉注意力;

3.根据权利要求1所述的基于多重注意力机制的多尺度桥梁联合网络图像分割方法,其特征在于,在步骤s3中,基于图像通道和位置注...

【专利技术属性】
技术研发人员:何志权房仕章
申请(专利权)人:深圳大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1