一种基于属性迁移的图像合成方法技术

本发明专利技术涉及一种基于属性迁移的图像合成方法，用于将属性图像带有的稀疏属性特征迁移至正常图像中，包括以下步骤：1)获取待合成的正常图像和属性图像；2)利用一训练好的属性迁移模型对所述待合成的正常图像和属性图像进行处理，获得合成图像；所述属性迁移模型为一卷积网模型，包括图像生成器、判别器单元和基于attention损失的分类网络，该属性迁移模型基于由正常图像和属性图像组成的样本对训练获得。与现有技术相比，本发明专利技术具有解决小样本生成问题、属性迁移效率高、精确度高等优点。

An Image Synthesis Method Based on Attribute Migration

The invention relates to an image synthesis method based on attribute migration, which is used to migrate sparse attribute features of attribute images to normal images, including the following steps: 1) acquiring normal images and attribute images to be synthesized; 2) processing the normal images and attribute images to be synthesized by using a trained attribute migration model to obtain composite images; and 3) the attribute migration. The shift model is a convolution network model, which includes image generator, discriminator unit and classification network based on attention loss. The attribute transfer model is obtained by training samples composed of normal images and attribute images. Compared with the prior art, the invention has the advantages of solving the problem of small sample generation, high efficiency of attribute migration and high accuracy.

【技术实现步骤摘要】
一种基于属性迁移的图像合成方法
本专利技术涉及一种机器学习中的图像处理方法，尤其是涉及一种基于属性迁移的图像合成方法。
技术介绍
小样本问题是计算机视觉领域常见但又极具挑战性的问题之一。传统机器学习中，小样本问题的研究大多依赖特征选择、子空间学习等方法。近几年，深度学习技术尤其是深度生成模型的发展，给小样本问题的解决提供了更多的可能。尽管如此，如何利用生成模型来生成带某种特定属性的图像，依然是计算机视觉领域比较困难的一个课题。生成带特定属性的图像一般需要根据同类物品的不同属性进行多方面的特征学习，以达到更细致化更多样的识别效果，从而更好地兼容小样本数据缺失的情形。但是，在将物品划分多个属性时，某些属性特征(稀疏属性特征)在整体数据集中出现的频率很低，即含有稀疏属性特征的物品很难收集。例如，在汽车工业零件制造场景中，含有漏焊缺陷属性特征的零件图像采集非常困难，大部分采集出来的图像都是正常没有缺陷，或者其他缺陷图像。所以，如何收集或者生成含有稀疏属性特征的图像成为小样本学习中的重要问题。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于属性迁移的图像合成方法。本专利技术的目的可以通过以下技术方案来实现：一种基于属性迁移的图像合成方法，用于将属性图像带有的稀疏属性特征迁移至正常图像中，包括以下步骤：1)获取待合成的正常图像和属性图像；2)利用一训练好的属性迁移模型对所述待合成的正常图像和属性图像进行处理，获得合成图像；所述属性迁移模型为一卷积网模型，包括图像生成器、判别器单元和基于attention损失的分类网络，该属性迁移模型基于由正常图像和属性图像组成的样本对训练获得。进一步地，所述图像生成器包括针对属性图像训练的第一生成器和针对正常图像训练的第二生成器，基于输入图像获得复原图像和属性迁移图像。进一步地，所述第一生成器包括编码器Encoder1、解码器Decoder1以及用于分离属性特征和非属性特征的分离结构Split1，所述分离结构Split1设置于编码器Encoder1和解码器Decoder1之间，所述编码器Encoder1和解码器Decoder1中，在具有相同特征量数量的卷积层与反卷积层间设置有U-net结构；所述第二生成器包括相连接的编码器Encoder2和解码器Decoder2，所述编码器Encoder2和解码器Decoder2中，在具有相同特征量数量的卷积层与反卷积层间设置有U-net结构；所述编码器Encoder2的输出和分离结构Split1的属性特征输出合并后与解码器Decoder1的输入连接，且编码器Encoder2和解码器Decoder1中，在具有相同特征量数量的卷积层与反卷积层间设置有U-net结构。进一步地，所述判别器单元包括针对图像生成器生成的样本复原训练的第一判别器以及针对属性迁移结果训练的第二判别器，所述第一判别器和第二判别器的结构相同。进一步地，对所述分类网络进行训练时采用的训练损失函数为二值交叉熵损失函数。进一步地，对所述分类网络进行训练时，以图像生成器输出的复原图像和属性迁移图像为输入，提取attention特征核，基于该attention特征核获得网络参数。进一步地，对所述attention特征核包括权重attention1和权重attention2，其中，权重attention1的获取方式为：提取卷积核中的特征并进行权重归一化处理，归一化到0～1之间，根据各归一化后特征数值与超参数λ的大小，获得非属性区域注意力的权重attention1，0<＝λ<＝1；权重attention2的获取方式为：用数字1对每一个像素点作差获得属性区域注意力的权重attention2。为了生成稀疏属性图像(简写为属性图像)数据，本专利技术提出了一种基于属性迁移的图像合成方法。在合成带某种属性图像时，本方法使用样本对的方式学习不含该属性特征的图像(简写为正常图像)和含该属性的属性图像中的特征信息，并且把属性图像的属性特征与正常图像相结合生成新的属性图像。另外，本方法在卷积网络模型中添加基于attention损失的网络结构，有效定位了属性的位置，减小了属性区域定位失败和迁移失败的可能。此外，在定位属性区域时，本方法可以通过调整网络模型中的超参数λ(0<＝λ<＝1)来控制迁移属性区域大小的比重，实现多尺度属性区域特征的迁移。为了进一步提取图像纹理特征，本方法应用U-net结构有效融合卷积网络底层纹理特征和高层语义特征进一步学习图像纹理特征，从而加强了属性纹理特征的学习。为了引导attention属性区域的定位，本方法使用双线生成器结构并且结合GAN生成对抗网络的引导学习有效分离和重组图像中的属性特征和图像特征。因此，本方法可以有效生成新的属性图像数据，不是简单地重现训练样本。此外，本方法在生成属性图像时使用AE-GAN(AutoEncoderGAN)模型结构，进一步提升属性图像生成的质量。综上，本专利技术的创新优势体现在以下方面：第一，本方法使用样本对的方式来学习正常图像和属性图像的特征，把少量的属性图像特征与正常图像结合，有效解决了小样本生成的问题。第二，本方法在卷积网络模型中添加基于attention损失的结构，有效定位属性特征的位置，减小了属性区域定位失败和迁移失败的可能。第三，本方法在网络模型中设置了超参数λ(0<＝λ<＝1)以控制迁移属性特征区域大小，从而实现多尺度属性特征的迁移。第四，本方法应用U-net结构有效融合卷积网络底层纹理特征和高层语义特征，以加强属性纹理特征的学习。第五，本方法使用双线生成器结构，并结合GAN生成对抗网络的引导学习，有效分离和重组图像中的属性特征和非属性特征，从而引导attention网络来学习属性区域的定位。第六，本方法在生成新图像时使用AE-GAN模型结构，进一步提升含有属性特征图像生成的质量。附图说明图1为本专利技术生成器网络结构示意图；图2为本专利技术判别器网络结构示意图；图3为本专利技术attention分类网络和attention损失函数示意图；图4为本专利技术生成器训练流程示意图；图5为本专利技术判别器训练流程示意图；图6为本专利技术测试流程示意图；图7为本专利技术在汽车工业零件漏焊缺陷属性(企业内部非公开)数据集上超参λ＝0.1的漏焊属性迁移的效果示意图；图8为本专利技术在汽车工业零件漏焊缺陷属性(企业内部非公开)数据集上超参λ＝0.2的漏焊属性迁移的效果示意图；图9为本专利技术在汽车工业零件漏焊缺陷属性(企业内部非公开)数据集上超参λ＝0.3的漏焊属性迁移的效果示意图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。本专利技术提供一种基于属性迁移的图像合成方法，该方法运行在GPU中，用于将属性图像带有的稀疏属性特征迁移至正常图像中，包括以下步骤：1)获取待合成的正常图像和属性图像；2)利用一训练好的属性迁移模型对所述待合成的正常图像和属性图像进行处理，获得合成图像。本专利技术的属性迁移模型为一卷积网模型，包括图像生成器、判别器单元和基于attention损失的分类网络。该属性迁移模型基于由正常图像和属本文档来自技高网...

【技术保护点】
1.一种基于属性迁移的图像合成方法，其特征在于，用于将属性图像带有的稀疏属性特征迁移至正常图像中，包括以下步骤：1)获取待合成的正常图像和属性图像；2)利用一训练好的属性迁移模型对所述待合成的正常图像和属性图像进行处理，获得合成图像；所述属性迁移模型为一卷积网模型，包括图像生成器、判别器单元和基于attention损失的分类网络，该属性迁移模型基于由正常图像和属性图像组成的样本对训练获得。

【技术特征摘要】
1.一种基于属性迁移的图像合成方法，其特征在于，用于将属性图像带有的稀疏属性特征迁移至正常图像中，包括以下步骤：1)获取待合成的正常图像和属性图像；2)利用一训练好的属性迁移模型对所述待合成的正常图像和属性图像进行处理，获得合成图像；所述属性迁移模型为一卷积网模型，包括图像生成器、判别器单元和基于attention损失的分类网络，该属性迁移模型基于由正常图像和属性图像组成的样本对训练获得。2.根据权利要求1所述的基于属性迁移的图像合成方法，其特征在于，所述图像生成器包括针对属性图像训练的第一生成器和针对正常图像训练的第二生成器，基于输入图像获得复原图像和属性迁移图像。3.根据权利要求2所述的基于属性迁移的图像合成方法，其特征在于，所述第一生成器包括编码器Encoder1、解码器Decoder1以及用于分离属性特征和非属性特征的分离结构Split1，所述分离结构Split1设置于编码器Encoder1和解码器Decoder1之间，所述编码器Encoder1和解码器Decoder1中，在具有相同特征量数量的卷积层与反卷积层间设置有U-net结构；所述第二生成器包括相连接的编码器Encoder2和解码器Decoder2，所述编码器Encoder2和解码器Decoder2中，在具有相同特征量数量的卷积层与反卷积层间设置有U-net结构；所述编码器Encoder2的输出和分离结构Spli...

【专利技术属性】
技术研发人员：杨辉，罗长志，郑军，
申请(专利权)人：聚时科技上海有限公司，
类型：发明
国别省市：上海,31