【技术实现步骤摘要】
本专利技术属于图像补绘领域，具体的，涉及一种基于上下文相互学习的图像盲补绘方法和系统。
技术介绍
1、图像补绘是指恢复图像的污染区域，可广泛应用于许多应用，如照片编辑、物体去除。目前，大多数图像绘制方法都是基于已知污染区域定位掩模的假设，且已经取得了显著的效果，这种情况可称为非盲图像补绘。然而，在大多数实际应用中，掩膜是未知的，因此，用未知掩膜进行图像补绘，即盲图像补绘(或称为“图像盲补绘”)，在实际应用中更为重要和有用。
2、与非盲图像补绘相比，图像盲补绘需要在掩膜未知的情况下恢复被污染的图像，具有极大的挑战性。具体来说，由于不同污染图像之间污染的复杂性(例如，不同形状、位置、内容)，如果没有掩膜的帮助，很难有效地定位和恢复污染区域。图像盲补绘的单阶段解决方案，可以直接从被污染的图像中恢复被污染区域的内容。虽然单阶段思想更简单直接，但缺乏掩模估计可能会受到污染特征的过度干扰，从而降低模型的补绘性能。此外，这些方法还可以很容易地记住影响未知现实世界污染模型泛化能力的污染的固有模式。此外，恢复污染图像的整个过程相对不清楚。
3、现有的两阶段方法，将图像盲补绘分解为两个阶段：掩膜估计和基于估计掩膜的图像补绘。掩模估计可以准确地捕获未污染的特征，用于恢复污染区域，以提高补绘质量，它还可以充分学习和理解污染区域和非污染区域之间的上下文差异，从而定位污染，增强其对未知现实世界污染的泛化能力。此外，两阶段设计也为污染图像恢复的整个过程提供了更清晰的解释，更容易被接受和理解。
4、与单阶段方案相比，两阶段方
5、因此，需要一种图像盲补绘方法，能够充分利用掩膜估计和图像补绘之间的相互关系，加强掩膜估计与图像补绘之间的相互配合，从而提升图像补绘的效果。
技术实现思路
1、有鉴于此，本专利技术的目的是提供一种基于上下文相互学习的图像盲补绘方法和系统。
2、一种基于上下文相互学习的图像盲补绘方法，包括：
3、获取被污染的图像i；
4、利用上下文感知的相互学习框架进行图像盲补绘，其中，所述上下文感知的相互学习框架包括掩膜估计模块和图像补绘模块，其中，
5、掩膜估计模块包括掩膜编码器和掩膜估计器，掩膜编码器用于提取上下文估计信息，掩膜编码器的每一层生成第一上下文特征掩膜估计器用于估计掩膜，生成掩膜
6、图像补绘模块包括补绘编码器和补绘生成器，补绘编码器用于提取上下文补绘信息，补绘编码器的每一层生成第二上下文特征补绘生成器用于生成补绘图像，
7、其中，掩膜编码器的每一层均关联一个补绘指导的上下文相互学习器，所述补绘指导的上下文学习器从掩膜编码器接收第一上下文特征并从补绘编码器接收第二上下文特征根据第一上下文特征和第二下文特征生成下一层的掩膜编码器的输入；
8、其中，补绘编码器的每一层均关联一个估计指导的上下文相互学习器，所述估计指导的上下文相互学习器从掩膜编码器接收第一上下文特征并从补绘编码器接收第二上下文特征根据第一上下文特征第二下文特征以及掩膜估计器生成的掩膜得到下一层的补绘编码器的输入，i＝0,1,...,n-1，n表示掩膜编码器或补绘编码器的总层数。
9、本专利技术还提供了一种基于上下文相互学习的图像盲补绘系统，包括：
10、图像获取子系统，用于获取被污染的图像i；
11、图像盲补绘子系统，用于利用上下文感知的相互学习框架进行图像盲补绘，其中，所述上下文感知的相互学习框架包括掩膜估计模块和图像补绘模块，其中，
12、掩膜估计模块包括掩膜编码器和掩膜估计器，掩膜编码器用于提取上下文估计信息，掩膜编码器的每一层生成第一上下文特征掩膜估计器用于估计掩膜，生成掩膜
13、图像补绘模块包括补绘编码器和补绘生成器，补绘编码器用于提取上下文补绘信息，补绘编码器的每一层生成第二上下文特征补绘生成器用于生成补绘图像，
14、其中，掩膜编码器的每一层均关联一个补绘指导的上下文相互学习器，所述补绘指导的上下文学习器从掩膜编码器接收第一上下文特征并从补绘编码器接收第二上下文特征根据第一上下文特征和第二下文特征生成下一层的掩膜编码器的输入；
15、其中，补绘编码器的每一层均关联一个估计指导的上下文相互学习器，所述估计指导的上下文相互学习器从掩膜编码器接收第一上下文特征并从补绘编码器接收第二上下文特征根据第一上下文特征第二下文特征以及掩膜估计器生成的掩膜得到下一层的补绘编码器的输入，i＝0,1,...,n-1，n表示掩膜编码器或补绘编码器的总层数。
16、进一步地，所述补绘指导的上下文相互学习器包括一个上下文相互自适应传播块，所述估计指导的上下文相互学习器包括一个上下文相互自适应传播块和一个上下文相互自适应融合块，所述上下文相互自适应传播块用于分别从原始任务和指导任务中接收原始特征和指导特征从而生成转移特征
17、其中，对于补绘指导的上下文相互学习器中的上下文相互自适应传播块，是将掩膜估计作为原始任务，将图像补绘作为指导任务，即将第一上下文特征作为原始特征将第二下文特征作为指导特征
18、对于估计指导的上下文相互学习器中的上下文相互自适应传播块，是将图像补绘作为原始任务，将掩膜估计作为指导任务，即将第二上下文特征作为原始特征将第一上下文特征作为指导特征
19、上下文相互自适应融合模块用于自适应融合估计指导的上下文相互学习器中的上下文相互自适应传播块生成的转移特征的污染区域和未污染区域，以进行图像补绘。
20、进一步地，上下文相互自适应传播块分别从原始任务和指导任务中接收原始特征和指导特征从而生成转移特征具体包括以下步骤：
21、步骤1：自适应连接和得到软门控si，用公式表示为：
22、
23、其中，concat(·)表示通道级连接，conv(·)是1×1卷积，σ(·)是sigmoid激活函数；
24、步骤2：对指导特征使用软门控si，得到所选的指导特征用公式表示为：
25、
26、其中，⊙表示哈达玛积；
27、步骤3：通过可学习自适应器adapter(·)得到上下文感知参数ψi，用公式表示为：
28、
29、其中，adapter(·)包含一系列3×3卷积层和2×2池化层；
30、步骤4：根据上下文感知参数ψi和原始特征得到增强原始特征用公式表示为：
31、
32、其中，表示动态卷积；
33、步骤5：将增强原始特征转移到原始特征得到转移特征用公式表示为：...
【技术保护点】
1.一种基于上下文相互学习的图像盲补绘方法，其特征在于，包括：
2.根据权利要求1所述的基于上下文相互学习的图像盲补绘方法，其特征在于，所述补绘指导的上下文相互学习器包括一个上下文相互自适应传播块，所述估计指导的上下文相互学习器包括一个上下文相互自适应传播块和一个上下文相互自适应融合块，所述上下文相互自适应传播块用于分别从原始任务和指导任务中接收原始特征和指导特征从而生成转移特征
3.根据权利要求2所述的基于上下文相互学习的图像盲补绘方法，其特征在于，上下文相互自适应传播块分别从原始任务和指导任务中接收原始特征和指导特征从而生成转移特征具体包括以下步骤：
4.根据权利要求2所述的基于上下文相互学习的图像盲补绘方法，其特征在于，上下文相互自适应融合模块具体执行如下操作：
5.根据权利要求4所述的基于上下文相互学习的图像盲补绘方法，其特征在于，确定污染特征和未污染特征用公式表示为：
6.根据权利要求4所述的基于上下文相互学习的图像盲补绘方法，其特征在于，自适应融合污染特征和未污染特征用公式表示为：
7.根据权利要
8.一种基于上下文相互学习的图像盲补绘系统，其特征在于，包括：
9.根据权利要求8所述的基于上下文相互学习的图像盲补绘系统，其特征在于，所述补绘指导的上下文相互学习器包括一个上下文相互自适应传播块，所述估计指导的上下文相互学习器包括一个上下文相互自适应传播块和一个上下文相互自适应融合块，所述上下文相互自适应传播块用于分别从原始任务和指导任务中接收原始特征和指导特征从而生成转移特征
10.根据权利要求8所述的基于上下文相互学习的图像盲补绘系统，其特征在于，上下文相互自适应传播块分别从原始任务和指导任务中接收原始特征和指导特征从而生成转移特征具体包括以下步骤：
...【技术特征摘要】
1.一种基于上下文相互学习的图像盲补绘方法，其特征在于，包括：
2.根据权利要求1所述的基于上下文相互学习的图像盲补绘方法，其特征在于，所述补绘指导的上下文相互学习器包括一个上下文相互自适应传播块，所述估计指导的上下文相互学习器包括一个上下文相互自适应传播块和一个上下文相互自适应融合块，所述上下文相互自适应传播块用于分别从原始任务和指导任务中接收原始特征和指导特征从而生成转移特征
3.根据权利要求2所述的基于上下文相互学习的图像盲补绘方法，其特征在于，上下文相互自适应传播块分别从原始任务和指导任务中接收原始特征和指导特征从而生成转移特征具体包括以下步骤：
4.根据权利要求2所述的基于上下文相互学习的图像盲补绘方法，其特征在于，上下文相互自适应融合模块具体执行如下操作：
5.根据权利要求4所述的基于上下文相互学习的图像盲补绘方法，其特征在于，确定污染特征和未污染特征用公式表示为...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。