基于泊松图像融合及图像风格化的交互式数据扩展方法技术

本发明专利技术公开了一种基于泊松图像融合及图像风格化的交互式数据扩展方法，包括：基于泊松图像编辑的交互式数据增强方式，通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库；基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格，获取新缺陷图像；将新缺陷图像与背景图像融合，并利用泊松融合对融合边界进行修正，减小融合痕迹，获取带有新缺陷的发动机孔探图像，并将其作为扩展图像用于发动机孔探图像缺陷检测任务的模型训练；对若干张原始图像进行交互式数据扩展，生成若干张新缺陷图像，将原始图像和新缺陷图像作为一个图像二分类数据集，对新缺陷图像进行判定。

Interactive data expansion method based on Poisson image fusion and image stylization

【技术实现步骤摘要】
基于泊松图像融合及图像风格化的交互式数据扩展方法
本专利技术涉及数据增强领域，尤其涉及一种基于泊松图像融合及图像风格化的交互式数据扩展方法。
技术介绍
现有的数据扩展方法一般分为两大类：传统的数据扩展方法和基于深度学习的数据扩展方法。传统的数据扩展方法包括：一、对图像进行左右翻转、随机旋转、裁剪、缩放、平移等；二、局部的变形调整，对图像添加噪声扰动如高斯白噪声、椒盐噪声；三、改变图像的颜色；四、改变图像的亮度、对比度、清晰度；五、对图像进行仿射变化等。其中常用的方法是裁剪缩放，翻转和颜色亮度变化，文献[1]总结了在网络中使用的典型数据扩展方法。在文献[2]中作者提到裁剪一定程度可以使网络对待检测目标的尺度信息更加不敏感，由此可以提升网络对小物体的识别效果。文献[3]通过仿射变换的方法生成的新样本，降低了分类的错误率。使用传统的数据扩展方法可以在一定程度上解决训练样本不足的问题，提高模型的泛化能力。但由于扩充后的数据仅是对现有数据的线性或者非线性变化，没有真正增加数据的样本空间，大量使用容易导致深度学习模型在扩展的数据上过拟合，降低了深度学习模型的泛化能力。并且大量使用传统数据扩展，无法更进一步提升模型的效果。常用的基于深度学习的数据扩展方法则主要集中在GAN(对抗生成网络)的应用上。文献[4]使用条件型生成对抗网络(ConditionalGANs)将一张图像从一个领域转换到另一个领域，可以实现风景图像中季节的变换以达到数据扩展的目的。国内的陈文兵等人集成了高斯混合模型和CGAN提出了GMM-CGAN[5]的数据扩展方法，该方法使得CNN模型在使用CGAN数据扩展完成训练的条件下，仍然提升了14.1％的分类准确率。使用GANs网络进行数据增强的方法是稳健的，但它的计算量巨大且GANs的模型相对来说难以训练，对于较大型的数据扩展任务来说并不适用。一种可行替代方法是使用风格迁移模型来对图像进行纹理，氛围，外观上的改变。常见的风格迁移模型[6]如将现实人物风格化为油画人物，将现实风景风格化为艺术作品的风格。这种方法的缺点是其输出更具有艺术性而非现实性。Falong[7]等人提出的利用元网络与转换网络实现任意风格任意内容的极速转换，可以根据用户自己的源数据集与目标数据集训练非艺术风格的风格迁移模型，其转换网络规模小往往只有不到100k，可以部署到很多平台。除了这两大类常用的数据扩展方法之外，针对数据不平衡的问题，文献[8]通过人工合成新样本来处理样本不平衡问题，从而提升分类器性能。MIT和Facebook的人工智能研究院提出的Mixup[9]也采用了同样的思路来通过样本插值的方法合成新样本。上述数据扩展方法确实对模型的训练提供了很大的帮助，但他们都是在全局上对原始图像进行扩充，甚至在使用GANs生成全新的数据时其输出也是不可控的(比如你想要一张发动机的缺陷照片，但它可能生成一张没有缺陷或者缺陷位置不合实际的新照片)，而且对于需要标签信息的有监督网络训练GANs产生数据的同时并不能同时生成标签信息，再加上GANs模型的难以训练，进一步限制了该方法的使用。参考文献[1]HowardAG.SomeImprovementsonDeepConvolutionalNeuralNetworkBasedImageClassification[J].ComputerScience,2013.[2]LiuW,AnguelovD,ErhanD,etal.SSD:SingleShotMultiBoxDetector[J].arXiv:1512.02325v5,2015.[3]BjerrumEJ.SMILESEnumerationasDataAugmentationforNeuralNetworkModelingofMolecules[J].arXiv:1703.07076v2,2017.[4]ZhuJY,ParkT,IsolaP,etal.UnpairedImage-to-ImageTranslationusingCycle-ConsistentAdversarialNetworks[J].arXiv:1703.10593v6,2017.[5]陈文兵,管正雄,陈允杰.基于条件生成式对抗网络的数据增强方法[J].计算机应用,2018,38(11):259-265.[6]GatysLA,EckerAS,BethgeM.ImageStyleTransferUsingConvolutionalNeuralNetworks[C]//2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR).IEEE,2016.[7]ShenF,YanS,ZengG.MetaNetworksforNeuralStyleTransfer[J].arXiv:1709.04111v1,2017.[8]ChawlaNV,BowyerKW,HallLO,etal.SMOTE:SyntheticMinorityOver-samplingTechnique[J].JournalofArtificialIntelligenceResearch,2011,16(1):321-357.[9]ZhangH,CisseM,DauphinYN,etal.mixup:BeyondEmpiricalRiskMinimization[J].arXiv:1710.09412v2,2017.
技术实现思路
本专利技术提供了一种基于泊松图像融合及图像风格化的交互式数据扩展方法，本专利技术采用交互式界面由使用者自由选择生成缺陷类型及位置；用风格迁移模型对与背景风格差异较大的缺陷信息进行风格化，使其风格转化为背景图像的风格；使用泊松融合算法对融合边缘修正，以解决融合区域边缘痕迹明显的问题，详见下文描述：一种基于泊松图像融合及图像风格化的交互式数据扩展方法，所述方法包括：基于泊松图像编辑的交互式数据增强方式，通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库；基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格，获取新缺陷图像；将新缺陷图像与背景图像融合，并利用泊松融合对融合边界进行修正，减小融合痕迹，获取带有新缺陷的发动机孔探图像，并将其作为扩展图像用于发动机孔探图像缺陷检测任务的模型训练；对若干张原始图像进行交互式数据扩展，生成若干张新缺陷图像，将原始图像和新缺陷图像作为一个图像二分类数据集，对新缺陷图像进行判定。其中，所述通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库具体为：对于带有json标注信息的原始图像，通过读取标注信息，将缺陷从原始图像中抠取出来并保存为只含有缺陷信息的缺陷图像，同时自动生成该缺陷信息的配套json标注信息，并将所有缺陷按类别保存在相应文件夹下，构建缺陷信息库。进一步地，所述基于Pytorch框架对风格本文档来自技高网...

【技术保护点】
1.一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述方法包括：/n基于泊松图像编辑的交互式数据增强方式，通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库；/n基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格，获取新缺陷图像；/n将新缺陷图像与背景图像融合，并利用泊松融合对融合边界进行修正，减小融合痕迹，获取带有新缺陷的发动机孔探图像，并将其作为扩展图像用于发动机孔探图像缺陷检测任务的模型训练；/n对若干张原始图像进行交互式数据扩展，生成若干张新缺陷图像，将原始图像和新缺陷图像作为一个图像二分类数据集，对新缺陷图像进行判定。/n

【技术特征摘要】
1.一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述方法包括：
基于泊松图像编辑的交互式数据增强方式，通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库；
基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格，获取新缺陷图像；
将新缺陷图像与背景图像融合，并利用泊松融合对融合边界进行修正，减小融合痕迹，获取带有新缺陷的发动机孔探图像，并将其作为扩展图像用于发动机孔探图像缺陷检测任务的模型训练；
对若干张原始图像进行交互式数据扩展，生成若干张新缺陷图像，将原始图像和新缺陷图像作为一个图像二分类数据集，对新缺陷图像进行判定。


2.根据权利要求1所述的一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库具体为：
对于带有json标注信息的原始图像，通过读取标注信息，将缺陷从原始图像中抠取出来并保存为只含有缺陷信息的缺陷图像，同时自动生成该缺陷信息的配套json标注信息，并将所有缺陷按类别保存在相应文件夹下，构建缺陷信息库。


3.根据权利要求1所述的一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述基于Pytorch框架对风格迁移模型中的训练参数...

【专利技术属性】
技术研发人员：黄睿，邢艳，刘挺，段博坤，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：天津;12