一种掩码变形方法及其掩码形变网络的训练方法技术

本发明专利技术涉及图像处理领域，具体涉及一种掩码变形方法，其能在仅知晓目标域标签信息的前提下，实现域之间的实例形变，且能够使得实例和掩码信息保持一致，其首先获得源域掩码的整体特征，然后将源域的各实例掩码分别与整体特征进行融合，获得各实例掩码特征；然后，再将目标域标签信息的特征编码分别嵌入各实例掩码特征；最后，通过生成器输出目标域生成掩码，作为对应目标域的实例掩码。同时，提供了一种掩码变形方法的掩码形变网络的训练方法，其以目标域真实掩码和通过上述掩码形变网络生成的掩码构成正负样本对，进行生成对抗网络训练，提出了一种有效且高效的训练范式。提出了一种有效且高效的训练范式。提出了一种有效且高效的训练范式。

【技术实现步骤摘要】
一种掩码变形方法及其掩码形变网络的训练方法


[0001]本专利技术涉及图像处理领域，具体涉及一种掩码变形方法及其掩码形变网络的训练方法。

技术介绍

[0002]近年来，随着深度神经网络的快速发展，部分基于神经网络的图像处理技术开始逐渐取代耗时耗力的传统图像处理方法，并进一步满足了人们对图像中的高级语义信息进行操作的需求。在诸多图像相关的任务需求中，图像翻译任务的目的是学习源域(即拥有某种特征的图片集)和目标域(拥有另一特征的图片集)之间的映射。自从2014年生成对抗网络提出以来，有相当一部分视觉任务可以转化为图像翻译任务去处理，如风格迁移、超分辨率、图像属性编辑以及图像修复等。
[0003]其中，实例级图像翻译任务主要作用于图像中的特定前景实例，一般分为两种：
[0004]一、翻译前景实例的同时，不对背景信息进行约束；
[0005]二、保留原始背景的同时翻译特定的前景实例。
[0006]对于第一种任务，常见的设计范式是，模型学习区分输入图像中的前景实例和背景的前提下，对前景、背景进行不同的图像翻译处理。但这种方式有时会错误的区分前景、背景，从而生成非预期的结果。
[0007]因此，第二种任务，在实际生活中更具应用前景，如：虚拟试衣、影视图像的后期处理等，常需要在保留原始背景的情况下对特定实例进行替换。
[0008]在上述任务中，有相当一部分任务需要在保留大多数图像信息的同时，对局部具有独立语义信息的个体实例进行编辑。以实例级前景图像翻译为例，我们需要在保留原始背景的同时将特定的前景实例翻译到指定的域中，如：将图中的羊更换为长颈鹿。这种情况下，适当的掩码信息的引导可以有效地帮助任务完成形状的跨域形变。在目标替换任务中，由于存在相匹配的目标实例图像和掩码作为参考，前景可以很轻松的完成形状和图像的跨域转换。然而更多的情况下，我们仅能获取到目标域的标签，即只知道需要转化的目标图像是什么类别，而缺少掩码的引导。在这种情况下，我们在进行前景转换时很容易得到一个纹理合理但形状不符合预期的生成前景。

技术实现思路

[0009]本专利技术所要解决的技术问题是：提出了一种掩码变形方法及其掩码形变网络的训练方法，其能在仅获取到目标域标签信息的前提下，实现域之间的实例形变，能够使得实例和掩码信息保持一致。
[0010]本专利技术解决上述技术问题采用的技术方案是：
[0011]一种掩码变形方法，包括以下步骤：
[0012]A1、将源域的实例掩码和目标域标签输入预先训练好的掩码形变网络；所述掩码形变网络包括编码器和生成器；
[0013]A2、所述掩码形变网络，按如下步骤对掩码进行变形：
[0014]A21、将源域的所有实例掩码进行聚合，获得源域掩码；通过编码器，对源域掩码进行特征提取，获得源域掩码的整体特征F
img
；将源域的各实例掩码分别与整体特征F
img
进行融合，获得对应各实例掩码的实例掩码特征F
mask(i)
；然后，对目标域的标签信息进行特征编码，再将目标域标签信息的特征编码分别嵌入各实例的掩码特征F
mask(i)
；
[0015]A22、分别将各个融合了标签信息特征编码的实例掩码特征，输入生成器，并将生成器最终输出的目标域生成掩码M
′
1T
，M
′
2T
…
M
′
nT
，作为对应目标域的实例掩码。
[0016]具体的，所述掩码形变网络的编码器为多层的卷积神经网络，并通过点乘，将源域的实例掩码与整体特征F
img
进行融合；
[0017]对目标域的标签信息通过独热编码的方式，进行特征编码，并通过矩阵乘法，将实例掩码特征F
mask(i)
与目标域标签信息的特征编码进行融合；或者，通过卷积神经网络对目标域的标签信息进行编码，然后将实例掩码特征F
mask(i)
与目标域标签信息的特征编码进行拼接。
[0018]具体的，所述掩码形变网络的生成器，包括多层残差神经网络和多层卷积神经网络；首先，由多层残差神经网络将输入的融合了标签信息的实例掩码特征F
mask(i)
进行缩放，使其与多层卷积神经网络的输入维度相匹配，然后，再由多层卷积神经网络进行解码，生成目标域生成掩码；多层卷积神经网络的层间通过上采样进行放大，使得最终输出与源域图像具有相同尺寸。
[0019]为了更有效且高效的对上述掩码变形方法的掩码形变网络进行训练，本专利技术还提供了一种掩码变形方法的掩码形变网络的训练方法，所述掩码形变网络，按如下步骤进行训练：
[0020]B1、训练样本数据准备：
[0021]从数据集采集掩码，以前景所属类别定义域，基于所构建的域进行两两组合构建样本对，每一样本对包含两个域，其中一个域作为源域、另一个域作为目标域，在所有的样本对中，所构建的每一个域至少分别作为一次目标域；
[0022]B2、对掩码形变网络进行训练：
[0023]B21、输入包括待翻译任务所指定源域和目标域的至少一个样本对；
[0024]B22、针对输入的每一个样本对，掩码形变网络分别按如下步骤进行处理：
[0025]从样本对的源域的实例掩码和目标域的实例掩码中，分别随机采样设定数量的实例掩码；将采样获得的源域的实例掩码和目标域的实例掩码两两配对，即一个源域的实例掩码对应一个目标域的实例掩码其中，下标i表示第i个样本对，范围为1～P，P为输入的样本对的数量，j表示对应域的第j个掩码，范围为1～Q，Q为设定的采样数量，上标T表示目标域、S表示源域；
[0026]将目标域标签和采样获得的源域的实例掩码输入掩码形变网络，生成分别与该源域各实例掩码对应的目标域生成掩码
[0027]基于源域实例掩码和目标域实例掩码的配对信息，以及目标域生成掩码与源域实例掩码的对应关系，构建由对应的源域实例掩码目标域实例掩码
和目标域生成掩码构成的三元组；
[0028]B23、根据步骤B22获得的三元组，针对每一个三元组，对其目标域实例掩码进行缩放，使得其与对应的目标域生成掩码尺寸相匹配，作为目标域真实掩码；并由对应的目标域生成掩码和目标域真实掩码构成正负样本对；
[0029]B24、将步骤B23获得的正负样本对，输入判别器，对掩码形变网络进行对抗训练；
[0030]B25、达到设定的迭代次数或掩码形变网络收敛，则完成训练，否则返回步骤B22。
[0031]进一步的，在所述步骤B22中，在将采样获得的源域的实例掩码和目标域的实例掩码两两配对后，将两两配对的实例掩码的中心位置进行对齐。
[0032]进一步的，所述掩码形变网络的生成器为多层网络，在所述步骤B22中，针对每一个输入的融合了标签信息特征编码的实例掩码特征，生成器的多层网络在解码时，生成器的最后K层逐层输出对应不同尺寸的目标域生成掩码本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种掩码变形方法，其特征在于，包括以下步骤：A1、将源域的实例掩码和目标域标签输入预先训练好的掩码形变网络；所述掩码形变网络包括编码器和生成器；A2、所述掩码形变网络，按如下步骤对掩码进行变形：A21、将源域的所有实例掩码进行聚合，获得源域掩码；通过编码器，对源域掩码进行特征提取，获得源域掩码的整体特征F
img
；将源域的各实例掩码分别与整体特征F
img
进行融合，获得对应各实例掩码的实例掩码特征F
mask(i)
；然后，对目标域的标签信息进行特征编码，再将目标域标签信息的特征编码分别嵌入各实例的掩码特征F
mask(i)
；A22、分别将各个融合了标签信息特征编码的实例掩码特征，输入生成器，并将生成器最终输出的目标域生成掩码作为对应目标域的实例掩码。2.如权利要求1所述的一种掩码变形方法，其特征在于：所述掩码形变网络的编码器为多层的卷积神经网络，并通过矩阵点乘，将源域的实例掩码与整体特征F
img
进行融合；对目标域的标签信息通过独热编码的方式，进行特征编码，并通过矩阵乘法，将实例掩码特征F
mask(i)
与目标域标签信息的特征编码进行融合；或者，通过卷积神经网络对目标域的标签信息进行编码，然后将实例掩码特征F
mask(i)
与目标域标签信息的特征编码进行拼接。3.如权利要求1所述的一种掩码变形方法，其特征在于：所述掩码形变网络的生成器，包括多层残差神经网络和多层卷积神经网络；首先，由多层残差神经网络将输入的融合了标签信息的实例掩码特征F
mask(i)
进行缩放，使其与多层卷积神经网络的输入维度相匹配，然后，再由多层卷积神经网络进行解码，生成目标域生成掩码；多层卷积神经网络的层间通过上采样进行放大，使得最终输出与源域图像具有相同尺寸。4.如权利要求1、2或3任一项所述一种掩码变形方法的掩码形变网络的训练方法，其特征在于，所述掩码形变网络，按如下步骤进行训练：B1、训练样本数据准备：从数据集采集掩码，以前景所属类别定义域，基于所构建的域进行两两组合构建样本对，每一样本对包含两个域，其中一个域作为源域、另一个域作为目标域，在所有的样本对中，所构建的每一个域至少分别作为一次目标域；B2、对掩码形变网络进行训练：B21、输入包括待翻译任务所指定源域和目标域的至少一个样本对；B22、针对输入的每一个样本对，掩码形变网络分别按如下步骤进行处理：从样本对的源域的实例掩码和目标域的实例掩码中，分别随机采样设定数量的实例掩码；将采样获得的源域的实例掩码和目标域的实例掩码两两配对，即一个源域的实例掩码对应一个目标域的实例掩码其中，下标i表示第i个样本对，范围为1～P，P为输入的样本对的数量，j表示对应域的第j个掩码，范围为1～Q，Q为设定的采样数量，上标T表示目标域、S表示源域；
将目标域标签和采样获得的源域的实例掩码输入掩码形变网络，生成分别与该源域各实例掩码对应的目标域生成掩码基于源域实例掩码和目标域实例掩码的配对信息，以及目标域生成掩码与源域实例掩码的对应关系，构建由对应的源域实例掩码目标域实例掩码和目标域生成掩码构成的三元组；B23、根据步骤B22获得的三元组，针对每一个三元组，...

【专利技术属性】
技术研发人员：靖伟，苏思桐，范康，俞再亮，刘玉，宋井宽，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：