基于前背景解耦的抠图方法技术

本发明专利技术涉及一种基于前背景解耦的抠图方法。包括前景分割、背景分割和消歧，并设计了一种由新子任务驱动的新颖的前景

【技术实现步骤摘要】
基于前背景解耦的抠图方法


[0001]本专利技术属于图像抠图领域，具体涉及一种基于前背景解耦的抠图方法。

技术介绍

[0002]图像抠图是假设输入图像是一张由前景图像F和背景图像B通过线性组合而成的图像I，如下所示：
[0003]I＝α
i
*F
i
+(1
‑
α
i
)*B
i
[0004]其中α∈[0,1]，i是像素索引。图像抠图的目的是提取具有复杂毛发细节和多样化外观挑战的特定前景。图像抠图在现实场景中有很多应用，如视频编辑和海报制作。
[0005]从图像I中预测前景图像F、背景图像B和α值是一个典型的不适应问题。
[0006]目前，图像抠图领域常见的做法是引入额外的输入作为辅助信息，例如，修饰、涂鸦和背景。然而，额外输入的产生通常需要手工操作，这限制了现实世界中的使用场景。例如，不可能手动为视频会议的实时消光提供修剪，而且用户很难在移动终端上绘制修剪。
[0007]为了摆脱对额外输入的依赖，最近出现了一些无额外输入的方法。例如，TOM
‑
Net
[1]将物体掩膜、衰减掩膜和由编码器
‑
解码器网络产生的折射流场连接起来，以产生一个粗略的预测，然后它使用一个剩余网络进行细化。U2Net
[2]设计了一个两级嵌套的U形结构，可以破解更多的背景信息。HAttMatting
[3]采用空间和通道注意力来整合外观线索和金字塔特征，可以从细化的边界和适应性语义中感知α哑光。MODNet
[5]提出了一个轻量级的消光目标分解网络，用于单张输入图像的实时人像消光。GFM
[4]提出了一个平行框架，其灵感来自于对图像消光中的组件管道的综合经验分析，它设计了一个名为RSSN的组成路线，以减少由于分辨率、清晰度和噪声等方面的差异造成的领域差距。越来越多的作品关注隐私保护，P3Mnet
[6]通过增加并行分支之间的信息交换，将GFM进一步扩展到隐私基准。然而，这些方法将无边框消隐建模为全局分割和细节消隐，如图1所示。
[0008]可见，抠图领域开发的无额外输入的抠图方向。大多数方法都演变成了更多的可重复在没有额外输入的情况下，对固定类别的物体进行可重复的消解。目前，大多数无额外输入的抠图方法可以分为串行方式、带有全局信息的串行方式和并行方式。串行方式将全局分割和细节消融相连接，其中，全局分割期望获得trimap图像
[7,8]或粗略的前景图像
[9]，而后者则在前一分割的帮助下进行图像抠图。这种管道的缺点是，后续的消光步骤不能纠正语义错误
[4]，而且它总是不能进行端到端的训练。具有全局信息的串行方式
[4,5]，引入了全局信息进行细节消解。虽然这个管道解决了分阶段建模和训练的问题，但由于是串行设计，要纠正前一步的错误仍然是一个挑战。最近出现了将全局分割和细节消光作为两个独立子任务的并行方式。但是，并行方式可能会带来子任务的瓶颈。直观地说，消光性能的下限受制于子任务的下限，这是符合逻辑的。但全局分割和细节消光的下限并不稳定，因为它们的目标并不一致，这将导致当一个子任务的性能下降时，总的性能急剧也下降。
[0009]本专利技术算法提出了一个新的子任务集，将抠图任务分解为前景分割任务、背景分割任务和消除歧义任务。如图1(d)所示，其中，前景和背景分割任务是平行的，而消除歧义
任务是串行的。前景和背景分割任务期望学习语义信息，这可以被看作是全局分割的子任务。通过并行的设计来挖掘不确定区域显然更为有效，这可以帮助降低校正的难度。由于前景和背景分割的目标与抠图目标相似，即具有等效下限，这可以避免瓶颈问题。设置消除歧义子任务不仅可以减少语义预测之间的不确定性，而且可以有效地实现细节消除歧义的目的，因为前景和背景语义之间的不确定性区域通常包括语义不确定性和细节不确定性。此外，当复杂的背景降低了背景分割性能的下限时，消除歧义的任务将评估前景分割和背景分割的输出以保持下限的稳定。受新的子任务集合的启发，我们提出了一个新颖的前景背景解耦网络模型，叫做FBDM。具体来说，所提出的FBDM首先使用一个嵌套的自我注意(NSA)机制来自动将骨干特征解耦为前景特征和背景特征。然后，解耦后的特征分别通过渐进式语义解码器，以粗到细的方式恢复前景和背景语义。为了消除前景和背景分割的不确定性，我们提出了分频局部消歧模块，利用局部自留和局部多尺度卷积分别细化低频和高频区域，其中低频区域代表语义不确定性区域，高频区域代表细节不确定性区域。

技术实现思路

[0010]本专利技术的目的在于提供一种基于前背景解耦的抠图方法，该方法能够提升抠图精度。
[0011]为实现上述目的，本专利技术的技术方案是：一种基于前背景解耦的抠图方法，首先，提出分解子任务集，包括前景分割任务、背景分割任务和消除歧义任务；其次，在分解子任务集启发下，提出前景
‑
背景解耦抠图网络FBDM，即通过嵌套注意力机制来解耦主干特征，而后通过主干特征利用两个独立的渐进式语义解码器来完成前景分割任务和背景分割任务，最后采用分频局部消歧模块，分别预测低频和高频信息以矫正不同频域的错误。
[0012]相较于现有技术，本专利技术具有以下有益效果：本专利技术使用了一个更稳定的无额外输入的分解子任务集，即前景分割任务、背景分割任务和消除歧义任务。在该子任务集的启发下，我们提出了一种新颖的前景
‑
背景解耦抠图网络(FBDM)，用于图像抠图。FBDM使用嵌套的自我注意(NSA)来解决跨层的长距离依赖，将骨干特征解耦为前景和背景特征，从而使提出的渐进式语义解码器预测前景和背景的语义。然后，FBDM使用提出的分频局部消歧模块来细化低频语义的不确定性和高频细节的不确定性。
附图说明
[0013]图1为子任务分解图。
[0014]图2为本专利技术网络模型架构。
[0015]图3为嵌套自注意力机制(NAS)的框架图。
[0016]图4为频次划分局部歧义(FBLD)模块图。
[0017]图5为抠图算法的预测结果α图像。
具体实施方式
[0018]下面结合附图，对本专利技术的技术方案进行具体说明。
[0019]本专利技术一种基于前背景解耦的抠图方法，首先，提出分解子任务集，包括前景分割任务、背景分割任务和消除歧义任务；其次，在分解子任务集启发下，提出前景
‑
背景解耦抠
图网络FBDM，即通过嵌套注意力机制来解耦主干特征，而后通过主干特征利用两个独立的渐进式语义解码器来完成前景分割任务和背景分割任务，最后采用分频局部消歧模块，分别预测低频和高频信息以矫正不同频域的错误。
[0020]以下为本专利技术具体实现过程。
[0021]图1为本专利技术网络模型架构图，具体的本专利技术一种基于前背景解耦的抠图方法，包括：
[0022]1、抠图子任务集合
[0023]为了解决并行的子任务集会导致算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于前背景解耦的抠图方法，其特征在于，首先，提出分解子任务集，包括前景分割任务、背景分割任务和消除歧义任务；其次，在分解子任务集启发下，提出前景
‑
背景解耦抠图网络FBDM，即通过嵌套注意力机制来解耦主干特征，而后通过主干特征利用两个独立的渐进式语义解码器来完成前景分割任务和背景分割任务，最后采用分频局部消歧模块，分别预测低频和高频信息以矫正不同频域的错误。2.根据权利要求1所述的基于前背景解耦的抠图方法，其特征在于，所述前景分割任务和背景分割任务是并行的，而前景分割任务、背景分割任务和消除歧义任务是串行的。3.根据权利要求1所述的基于前背景解耦的抠图方法，其特征在于，所述前景
‑
背景解耦抠图网络FBDM由一个主干网络、两个平行的语义分支和一个按照设定的子任务的消歧分支组成，两个带有1
×
1的卷积的预测头从主干网络中输出的最高层次语义特征输入，用来预测粗略的前景和背景图像，即粗略的语义信息；粗略的语义信息的损失为：其中，和是前景预测器和背景预测器的预测值，和是前景分割和背景分割的标签，是粗略前景的有监督损失，是粗略背景的有监督损失；L
S(
·
,
·
)
是二元交叉熵值损失，如下：其中，H和W是预测图像的长和宽，p
i
∈[0,1],y
i
∈[0,1]。4.根据权利要求1所述的基于前背景解耦的抠图方法，其特征在于，前景
‑
背景解耦抠图网络FBDM的主干网络中每一层的特征图E
i
输入嵌套注意力机制得到新特征图E'
i
；所述嵌套注意力机制由一个内部自注意和一个外部自注意组成，它们分别以图像块和层为单位；对于内部自注意，在主干特征中加入一个GAU层来学习内部层的图像块之间的长距离依赖，为减少计算量，利用一个自适应平均池层，在GAU层之前将特征的大小缩减到1/16元，然后用双线性插值来恢复到原始大小；对于外部自注意，通过粗略语义p
e
的指导，引入掩码自注意机制，以学习不同层次层的关系；通过掩码自理计算的新特征图E'
i
描述如下：其中，K为主干网络层的数量，E
i
为第i层主干网络输出的特征图，V
j
为第j层的内部自注意的结果，Q
i
和K
i
是对特征图E
i
插值之后通过线性层得来的，Linear()代表线性层操作，为第i层特征图的高，为第i层特征图的宽。5.根据权利要求3所述的基于前背景解耦的抠图方法，其特征在于，所述语义解码器首先将解码层的特征缩放为两倍大小，然后使用卷积核大小为1
×
1的卷积，按照跳过连接的方法融合编码特征和调整后的特征；为挖掘上下文信息，在前景和背景分支的最高级别特征之后插入一个ASPP层；所述...

【专利技术属性】
技术研发人员：李佐勇，吴嘉炜，许惠亮，郑祥盘，姚少扬，
申请(专利权)人：闽江学院，
类型：发明
国别省市：