基于单样例引导物体表征拆分的图像编辑算法制造技术

基于单样例引导物体表征拆分的图像编辑算法，包括下列步骤：1)基于单样例的监督模块构建；2)单样例引导下的自监督模块中的对偶策略构建；3)单样例引导下的自监督模块中的模糊分类策略构建4)基于单样例标注图像引导物体表征拆分的图像编辑。通过上述步骤建立的基于单样例引导物体表征拆分的图像编辑算法，只需要为每一类别图像标注一个样本形成单样例样本，利用单样例样本引导大量无标注数据训练的方式，通过单样例的监督模块和单样例引导无标注数据的自监督模块，实现复杂场景的前景物体和背景表征拆分，使得在图像表征空间即可直接操作图像，轻松实现相关图像编辑任务。轻松实现相关图像编辑任务。轻松实现相关图像编辑任务。

【技术实现步骤摘要】
基于单样例引导物体表征拆分的图像编辑算法


[0001]本专利技术属于图像表征学习(拆分)领域，可以把图像中的前景物体和背景映射到一段具有模块化物理含义的表征中，这段表征也可拆分为前景物体信息和背景信息,可在图像的高维表征空间直接对前景物体和背景进行操作，灵活应用于图像编辑等应用中。针对基于深度学习的有监督图像表征拆分需要大量标注数据以及已有无监督方法在复杂背景图像上无效的问题，提出了一种基于单样例引导物体表征拆分的图像编辑算法，每一类图像仅使用一张有标注样本(单样例)即可引导其余所有无标注样本学习，实现对于大量无标注数据，利用极少量的有标注单样例图像样本，结合单样例的监督模块和单样例引导下的自监督模块，即可实现在图像的高维表征空间中对复杂图像前景物体和背景进行拆分，使得可以直接在图像的表征空间对图像进行操作和编辑。

技术介绍

[0002]物体表征拆分学习在许多机器学习任务中具有重要作用，它可以使得任务直接在表征域完成，包括图像编辑、图像分类、小样本学习、零样本学习和视觉概念学习，比如在图像编辑领域，前景的提取非常依赖于图像分割技术和大量人力，只能在图像中进行操作，如果可以在表征域完成效率就会提高很多。目前存在的分类工作往往是使用大量有标注样本训练一个分类器去提取特定的物体特征并识别，需要很多劳动力和大量时间去标注信息。在少样本和零样本领域，大多数工作都使用预训练好的模型去提取相关表征作为特定物体的特征，然而，使用预训练好的模型提取到的表征往往含有很多不相关的特征，这些特征会降低模型的性能。因此，学习一种可以提取图像中特定纯净并且完整的物体表征的方法是非常急需的。
[0003]应用此方法在图像编辑领域，只在表征域就可以实现“一键换前景/背景”，可用于制作海报、排版素材、大头贴等实际应用中。在图像编辑中，如果想要交换两张图像中的物体，可以使用Photoshop或者使用分割模型，把物体、背景都分割出来之后再交换物体到对方的背景上去，这两种方法在两种物体大小、形状或者位置不同的时候都会存在很严重的像素黑洞无法修补的问题，比如第一张图像中的小物体放到第二张图像的大物体中，周围必然会存在很多无法填充的黑洞，严重影响美观。本专利技术提出的基于单样例引导物体表征拆分的图像编辑算法就可以很好的解决这个问题，通过交换两张图像表征中的物体部分，经过解码器重建两张图像，不仅实现了物体交换还实现了像素的自动修补，具有很好的应用性质。
[0004]表征学习在很多方面都有了一定的突破，包括了表征解耦学习、通用表征学习、物体表征学习。表征解耦学习可以提取到图像中特定的属性信息，比如颜色、形状，到指定表征中；通用表征学习意图通过预训练得到一个初始化较好的模型用于其他下游任务，提高下游任务的性能；物体表征学习就是本专利技术所指出的一种表征学习方法，可以把图像中的物体直接抽取到特定的表征中。目前部分半监督方式的解耦学习方法可以迁移到物体表征学习，但是需要标注大量样本，与此同时，另一类工作关心如何去学习得到物体的分割图而
不关心表征空间，它们所使用的数据往往也都需要标注大量分割像素，大大降低了这类模型的普适性。截止到目前，大多数使用无监督方式的物体表征学习只能解决含有多个物体的简单场景，这些方法不能解决复杂场景下的表征学习，这在很多任务上限制了它们的应用，另一方面，因为需要大量的标注数据集，目前存在的监督方式的物体表征学习方法几乎没有，一些使用半监督方式的表征解耦方法通过标注物体的信息作为标签可以迁移到物体表征学习上，但是这样仍然需要大量的标注样本。还有一些工作关心如何获得物体的分割图，它们并不会去学习结构化的物体表征。
[0005]和物体表征拆分学习直接相关的工作很少，大多数都是无监督的方式，通过一定的学习机制分解图像中每个物体和背景，其中一种方法是基于变分自动编码器和注意力机制实现端到端学习图像物体周围的掩膜以实现分割图像中不同的物体，实现分解简单3D图像中每个物体和背景，还有一种方法通过概率生成模型学习图像中的结构化、可分解的物体表征。目前所有的方法都只能在简单的合成图像数据中使用，比如一些3D的立方体、球体等等，在真实复杂背景的图像数据中不能使用。

技术实现思路

[0006]本专利技术要解决当前基于深度学习的图像物体表征拆分需要大量标注和只能在简单数据上应用的问题，提供一种基于单样例引导物体表征拆分的图像编辑算法。
[0007]目前进行图像编辑比如交换两张图像的前景物体，只能在图像中进行，往往需要Photoshop或者使用前景和背景分割模型，如遇到图像中物体大小、位置、形状不一致的时候会出现像素黑洞无法修补的问题，目前的表征解耦学习工作只能实现属性的解耦，比如颜色、大小等，而且往往具有不可控性，即使迁移到物体表征拆分中，也需要大量的标注样本。在场景分离中，可以实现图像中不同物体和背景的分离，但是也只能应用在简单的合成数据中，比如一些3D的正方体、球体等等。为解决深度网络需要大量标注以及只能在简单数据上应用的问题，本专利技术设计了一种基于单样例引导物体表征拆分的图像编辑算法。该算法对每一类图像仅使用一张有标注样本(单样例)即可引导其余所有无标注样本学习，实现对于大量无标注数据，利用极少量的有标注单样例图像样本，结合单样例的监督模块和单样例引导下的自监督模块，实现在图像的高维表征空间中对前景物体和背景进行拆分。
[0008]基于单样例引导物体表征拆分的图像编辑算法，包括如下步骤：
[0009]1)构建基于单样例的监督模块；
[0010]选取ResNet50网络作为编码器f
φ
和解码器f
ψ
，使用通用的全连接层网络作为分类器数据中的每一类图像都会标注一个单样例样本，所有的单样例样本进行数据增强并根据物体掩膜得到置换前景物体之后的ground-truth，具体而言对于输入的两个单样例图片对I
a
,I
′
a
同时输入f
φ
得到两张图像的表征向量，约束表征向量的前半部分为前景物体信息，后半部分为背景信息，重建约束包括两部分，一部分是将得到的表征直接输入f
ψ
得到重建的原始图像，另一部分在表征域中，将两张图像对应表征的各自前半部分交换，得到交换后的混合表征，之后将混合表征输入到f
ψ
得到重建的混合图像，利用L2范式约束重建损失，让重建的原始图像和输入的图像保持一致并且让重建的混合图像与交
换前景物体后的ground-truth图像保持一致在分类中根据图像中物体的标签进行表征空间前景物体和背景信息的约束其中p是使用分类器对{r
o
,r
b
,r
′
o
,r
′
b
}进行分类得到的预测概率。
[0011]2)构建单样例引导下的自监督模块中的对偶策略；
[0012]为利用数据中大量无标注的数据，构建了基于单样例引导的对偶自监督策略。对于随机输入的无标注图片I
u
和有标注的单样例图片I本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于单样例引导物体表征拆分的图像编辑算法，包括如下步骤：1)构建基于单样例的监督模块；选取ResNet50网络作为编码器f
φ
和解码器f
ψ
，使用通用的全连接层网络作为分类器数据中的每一类图像都会标注一个单样例样本，所有的单样例样本进行数据增强并根据物体掩膜得到置换前景物体之后的ground-truth，具体而言对于输入的两个单样例图片对I
a
,I
′
a
同时输入f
φ
得到两张图像的表征向量，约束表征向量的前半部分为前景物体信息，后半部分为背景信息，重建约束包括两部分，一部分是将得到的表征直接输入f
ψ
得到重建的原始图像，另一部分在表征域中，将两张图像对应表征的各自前半部分交换，得到交换后的混合表征，之后将混合表征输入到f
ψ
得到重建的混合图像，利用L2范式约束重建损失，让重建的原始图像和输入的图像保持一致并且让重建的混合图像与交换前景物体后的ground-truth图片保持一致在分类中根据图像中物体的标签进行表征空间前景物体和背景信息的约束其中p是使用分类器对{r
o
,r
b
,r
′
o
,r
′
b
}进行分类得到的预测概率；2)构建单样例引导下的自监督模块中的对偶策略；为利用数据中大量无标注的数据，构建了基于单样例引导的对偶自监督策略；对于随机输入的无标注图片I
u
和有标注的单样例图片I
a
，包含三部分的约束：重建原始图像约束、对偶交换约束和单样例的物体重建约束；对于随机输入的无标注图片I
u
，同步骤1)让重建的原始图像月输入图像保持一致对于随机输入的无标注图片I
u
和有标注的单样例图片I
a
，同时经过编码器得到两个表征向量，分别为和[r
o

【专利技术属性】
技术研发人员：王慧琼，盛楠，何永明，陈刚，冯尊磊，宋明黎，
申请(专利权)人：浙江大学滨海产业技术研究院，
类型：发明
国别省市：