基于掩码可分离注意力机制的伪装目标分割方法及系统技术方案

本发明专利技术提出了基于掩码可分离注意力机制的伪装目标分割方法及系统，涉及图像处理技术领域，具体方案包括：构建伪装目标分割模型，并对伪装目标分割模型进行训练；利用编码器对输入图像进行编码，得到初始特征；将初始特征输入到解码器中解码，生成伪装目标的初始分割；基于掩码可分离注意力机制，对初始分割进行渐进式地优化分割，得到最终的伪装目标分割结果；本发明专利技术设置掩码可分离注意力机制，利用掩码将注意力机制分为前景注意力、背景注意力以及全局注意力，前景和背景注意力分别关注前景和背景区域，全局注意力机制提取全局信息，再利用前景注意力分数在全局信息中发现伪装对象，利用背景注意力确定背景，进而分割出精确的伪装目标。的伪装目标。的伪装目标。

【技术实现步骤摘要】
基于掩码可分离注意力机制的伪装目标分割方法及系统


[0001]本专利技术属于图像处理
，尤其涉及基于掩码可分离注意力机制的伪装目标分割方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]近年来，深度学习算法给伪装目标检测任务带来了快速的发展；然而，伪装目标与其周围背景的高度相似性，令伪装目标检测相较于传统的目标检测更具挑战性；因此，为了提升对伪装目标的检测精度，近年来出现很多使用更为复杂的深度学习技术来解决这一问题的方法；在伪装目标检测的训练中，使用像素级的标注作为监督来训练网络；早期传统的伪装目标检测提取伪装目标和背景间的手工特征来进行预测，仅能处理较为简单的场景；后来基于卷积神经网络的方法成为了主流，分为三个类别：多尺度特征融合、多阶段训练与检测和多任务协同训练；多尺度特征融合，MingchengZhuge等在“Cubenet:X
‑
shape connection for camouflaged object detection”结合注意力融合以及X型连接来有效聚合多层级特征；Youwei Pang等在“Zoom in and out:A mixed
‑
scale triplet network for camouflaged object detection”输入三个不同尺度的图片，分别在不同尺度上处理，之后按中间尺度聚合特征，之后将特征进行分组交互融合；多阶段训练与检测，Deng/>‑
Ping Fan等在“Camouflaged object detection”中提出先定位目标再进行检测来优化模型性能；QiJia等在“Segment,magnify and reiterate:Detecting camouflaged objects the hard way”构建了一个多阶段训练与检测的框架，定位到目标后进一步放大再逐步检测伪装目标；Miao Zhang等在“Preynet:Preying on camouflaged objects”中模仿捕食过程，将伪装目标的检测过程分为初始检测和捕食者学习，据此增加对于伪装目标的捕捉能力；Deng
‑
Ping Fan等在“Concealed object detection”采用分组反转注意力和周围连接解码器提高了性能；多任务协同训练，Aixuan Li在“Uncertainty
‑
aware joint salient object and camouflaged object detection”通过显著目标与伪装目标的对比来同时提升模型在两个任务上的性能；YunqiuLv等人在“Simultaneously localize,segment and rank the camouflaged objects”中组合伪装排名和伪装目标检测来构建联合训练框架。
[0004]近来，随着Transformer在视觉任务中的飞速发展，基于Transformer的方法变得越来越流行；与传统的卷积神经网络方法相比，Transformer能够有效地编码全局信息，因此在大量的视觉任务中广泛应用；在伪装目标检测中基于Transformer的方法成为了一种新的趋势；在Transformer框架下，Fan Yang等人在“Uncertainty
‑
guided transformer reasoning for camouflaged object detection”明确利用概率表示模型来学习伪装对象的不确定性，以此提升对于目标的分割质量；Zhengyi Liu等在“Boosting camouflaged object detection with dual
‑
task interactive transformer.”中设计了一个双任务交互式Transformer来分割伪装的物体及其详细信息边界，来同时提升两个任务上的检测精
度；Qiao Zhang等在“Tprnet:camouflaged object detection via transformer
‑
induced progressive refinement network”提出了一种基于Transfomer的渐进细化网络，它利用来自高级特征的语义信息来指导检测伪装目标；此外，在基于Transformer的框架下，Xuelian Cheng等在“Implicit motion handling for video camouflaged object detection.”利用短期动态和长期时间一致性来捕获动态视频中的伪装对象。
[0005]上述方法均把细化注意力图像的任务放在全局的视角下完成，存在的问题是：现有方法不加区分得地处理前景与背景信息，而在伪装目标检测的场景中，周围背景往往与目标高度相似，这令网络难以从高度相似的背景中区分出伪装目标；因此，亟需一种分别处理前景与背景信息的伪装目标检测方法，提高伪装目标分割的精准性。

技术实现思路

[0006]为克服上述现有技术的不足，本专利技术提供了基于掩码可分离注意力机制的伪装目标分割方法及系统，设置掩码可分离注意力机制，利用掩码将注意力机制分为前景注意力、背景注意力以及全局注意力，前景和背景注意力分别关注前景和背景区域，全局注意力机制提取全局信息，再利用前景注意力分数在全局信息中发现伪装对象，利用背景注意力确定背景，进而分割出精确的伪装目标。
[0007]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0008]本专利技术第一方面提供了基于掩码可分离注意力机制的伪装目标分割方法；
[0009]基于掩码可分离注意力机制的伪装目标分割方法，包括：
[0010]构建由编码器和解码器构成的伪装目标分割模型，并对伪装目标分割模型进行训练；
[0011]利用训练好的编码器对输入图像进行编码，得到初始特征；
[0012]将初始特征输入到训练好的解码器中解码，生成伪装目标的初始分割；
[0013]在训练好的解码器中，基于掩码可分离注意力机制，对初始分割进行渐进式地优化分割，得到最终的伪装目标分割结果；
[0014]其中，所述掩码可分离注意力机制，是使用不同的注意力关注图像的不同部分。
[0015]进一步的，所述掩码可分离注意力机制，是利用掩码将注意力机制分为前景注意力、背景注意力以及全局注意力，分别提取前景区域信息、背景区域信息和全局信息。
[0016]进一步的，所述对初始分割进行渐进式地优化分割，具体为：
[0017]将前一个生成的中间分割作为掩码来将前景注意力和背景注意力限制在前景和背景上，结合全局信息以及更大分辨率的特征来生成下一个中间分割，重复上述过程，最后生成最终的伪装目标分割结果。
[0018]进一步的，所述解码器中，采用元素乘法及加和连接的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于掩码可分离注意力机制的伪装目标分割方法，其特征在于，包括：构建由编码器和解码器构成的伪装目标分割模型，并对伪装目标分割模型进行训练；利用训练好的编码器对输入图像进行编码，得到初始特征；将初始特征输入到训练好的解码器中解码，生成伪装目标的初始分割；在训练好的解码器中，基于掩码可分离注意力机制，对初始分割进行渐进式地优化分割，得到最终的伪装目标分割结果；其中，所述掩码可分离注意力机制，是使用不同的注意力关注图像的不同部分。2.如权利要求1所述的基于掩码可分离注意力机制的伪装目标分割方法，其特征在于，所述掩码可分离注意力机制，是利用掩码将注意力机制分为前景注意力、背景注意力以及全局注意力，分别提取前景区域信息、背景区域信息和全局信息。3.如权利要求1所述的基于掩码可分离注意力机制的伪装目标分割方法，其特征在于，所述对初始分割进行渐进式地优化分割，具体为：将前一个生成的中间分割作为掩码来将前景注意力和背景注意力限制在前景和背景上，结合全局信息以及更大分辨率的特征来生成下一个中间分割，重复上述过程，最后生成最终的伪装目标分割结果。4.如权利要求1所述的基于掩码可分离注意力机制的伪装目标分割方法，其特征在于，所述解码器中，采用元素乘法及加和连接的特征融合方式。5.如权利要求1所述的基于掩码可分离注意力机制的伪装目标分割方法，其特征在于，所述对伪装目标分割模型进行训练，是采用图像的真实标注监督中间分割和最终分割的训练，直到满足训练停止条件。6.一种对分割质量的评价方法，其特征在于，用于对如权利要求1
‑
5任一项所述的基于掩码可分离注意力机制的伪装目标分割方法的分割质量的...

【专利技术属性】
技术研发人员：尹博文，侯淇彬，张旭迎，范登平，程明明，
申请(专利权)人：南开大学，
类型：发明
国别省市：