一种面向收敛性保障的无监督双向生成自动编码方法及系统技术方案

本发明专利技术提供了一种面向收敛性保障的无监督双向生成自动编码方法及系统，包括：批数据(x，z)通过编码器E和生成器G同时生成编码结果E(x)和生成数据G(z)；图像空间数据

【技术实现步骤摘要】
一种面向收敛性保障的无监督双向生成自动编码方法及系统
本专利技术涉及编码器
，具体地，涉及一种面向收敛性保障的无监督双向生成自动编码方法及系统，更为具体地，涉及一种面向收敛性保障的无监督双向生成自动编码器。
技术介绍
自动编码器(AE)是用于有效编码数据以减少维数的学习算法。近年来，自动编码器已经广泛应用于各种领域，例如图像分类和重建，推荐系统和异常检测等。当前，关于自动编码器的研究集中在同时提高图像生成和表征的能力。这意味着自动编码器应该学习生成器/解码器和编码器之间的双向映射关系。具体来说，生成器/解码器专注于从隐变量空间到数据空间的映射，而编码器旨在提取从数据空间到隐变量空间的逆映射中的语义相关特征表示。生成对抗网络(GAN)作为最先进的生成模型，具有强大的映射能力，尤其是在泛化方面。因此，基于GAN网络研究自动编码器是一种可行的方法。一些先前的工作提出了在自动编码器中利用GAN或对抗模型的方法，例如AAE，ALAE和BiGAN。例如，AAE在训练编码器时将GAN框架通用化，并使编码结果的分布接近高斯分布。ALAE利用StyleGAN框架通过从真实图像的样式编码结果中重建图像来训练自动编码器。然而，这些工作大多存在两个局限性。首先，它们不能在映射和逆映射之间取得良好的折衷。例如，AAE和ALAE通常将训练过程视为单向优化，而不考虑生成器和编码器之间的权衡。其次，在某些双向网络中收敛性无法保证。例如，BiGAN通过区分隐变量空间和数据空间的联合分布来实现映射和逆映射，但收敛性能不好。另外，在BiGAN中没有对表征能力进行优化。专利文献CN111402179A(申请号：202010169306.5)公开了一种结合对抗自编码器和生成对抗网络的图像合成方法及系统。该方法包括构造包括两组不同类别的编码器、两组不同类别的第一判别器和一组解码器的增强型对抗自动编码器；构造包括生成器和第二判别器的改进后条件式生成对抗网络；将人工分割血管树图像和原始眼底视网膜图像作为训练数据，对结合增强型对抗自动编码器和改进后条件式生成对抗网络进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器；基于最优血管树图像生成器和最优眼底视网膜图像生成器对待处理的人工分割血管树图像进行眼底视网膜图像合成，得到合成图像。本专利技术提出了Bi-GAE，这是一种基于BiGAN的无监督生成自动编码器。首先，本专利技术设计了两种方案来权衡映射和逆映射。具体来说，本专利技术在基于SSIM损失函数的映射中引入了一个引导项，该引导项促使模型遵循人类视觉模式来生成图像。此外，本专利技术利用嵌入式GAN来计算另外一个引导项，从而增强了逆映射中与语义相关的表征能力。这两种方案的协作增强了隐变量空间和数据空间之间的双向信息扩展，从而提高了Bi-GAE的整体性能。其次，本专利技术使用Wasserstein距离来保证有效的梯度计算，而嵌入式GAN利用MMD来增强鉴别器接近收敛时Bi-GAE的收敛性。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种面向收敛性保障的无监督双向生成自动编码方法及系统。根据本专利技术提供的一种面向收敛性保障的无监督双向生成自动编码方法，包括：步骤S1：批数据(x,z)通过编码器E和生成器G同时生成编码结果E(x)和生成数据G(z)，完成从隐变量空间向数据空间的映射和从数据空间向隐变量空间的反向映射；步骤S2：图像空间数据与隐变量空间数据通过卷积块Fx和Fz，分别对图像空间数据与隐变量空间数据进行信息提取，得到提取后的图像空间数据和提取后的隐变量空间数据步骤S3：根据提取后的图像空间数据和提取后的隐变量空间数据训练判别器D，直至损失函数最小；步骤S4：图像数据利用训练后的编码器E，完成编码过程并生成编码结果，将编码结果输入训练后的生成器G，获得重建图像数据结果，进而完成图像数据的重建工作，实现了图像空间与隐变量空间双向映射过程的整体协同优化，提升表征能力和图像生成能力。优选地，所述生成器G和编码器E分别使用DCGAN结构中的卷积网络模块和解卷积网络模块。优选地，所述步骤S3中损失函数包括：Wasserstein距离；其中，表示Wasserstein距离；D表示输入数据对的相似概率；Fx和Fz表示卷积块。优选地，还包括：引入嵌入式MMD鉴别器模块Dz，并复用卷积块Fx和Fz，编码器E和生成器G实现嵌入式GAN网络，利用嵌入式GAN网络减少z和重建结果E(G(z))分布间的MMD距离加强整体双向结构的收敛性并加强编码器的语义相关表征能力。优选地，所述利用嵌入式GAN网络减少z和重建结果E(G(z))分布间的MMD距离加强整体双向结构的收敛性并加强编码器的语义相关表征能力包括：步骤S5：编码结果E(x)通过生成器G重建生成数据G(E(x))；生成数据G(z)通过编码器E重建编码结果E(G(z))；步骤S6：利用嵌入式MMD鉴别器模块Dz计算得到z与E(G(z))间分布的MMD差异损失函数并利用损失函数优化嵌入式MMD鉴别器模块Dz；其中，Pz表示隐变量空间分布；yz＝Dz(z)；yz'＝Dz(z')；z,z'表示在隐变量空间上的采样；表示隐变量z重建结果，生成数据再编码结果；表示的条件概率分布；λ1表示梯度惩罚项权重参数；表示对上获取的梯度；σ表示krep符合的高斯分布的方差系数；e即自然对数的底数常数；ε表示对z与其重建结果求加权采样时的权重参数；步骤S7：利用优化的嵌入式MMD鉴别器模块Dz，求解z与E(G(z))间分布关于编码器E和生成器G的MMD损失函数其中，kF表示高斯核函数；b1，bu分别表示a，b间L2距离的下界与上界参数；步骤S8：利用损失函数生成编码空间上的引导项Tz，进而完成嵌入式GAN网络的训练；其中，∝1表示与重建操作的像素级l2损失的加权系数；nb表示数据批大小；原隐变量z与重建结果间的l2损失；步骤S9：通过训练后的嵌入式GAN网络优化当前Bi-GAE双向结构的收敛性，并且生成的引导项进一步提升编码器E的语义表征能力。优选地，还包括：利用SSIM模块根据真实图像x和重构图像G(E(x))计算得到引导项Tx，增强生成器的人眼视觉特征生成能力；SSIM关注亮度(luminance，l(x，x′))、对比度(contrast)和结构(structure)(联合使用cs(x，x′)衡量)LMSSSIM(x，x′)＝1-MSSSIM(x，x′)(8)其中，x′＝G(E(x))；LMSSSIM(x，x′)表示SSIM损失函数，α2表示SSIM损失与损失的加权系数；表示x与重建结果间的l1损失值，lmγm表示经过m个高斯滤波器后的l(x，x′)的结果；γ表示衰减参数；m表示高斯滤波器的数量；c1表示常量参数；表示经过第j个滤波器生成的结果；ηj本文档来自技高网...

【技术保护点】
1.一种面向收敛性保障的无监督双向生成自动编码方法，其特征在于，包括：/n步骤S1：批数据(x,z)通过编码器E和生成器G同时生成编码结果E(x)和生成数据G(z)，完成从隐变量空间向数据空间的映射和从数据空间向隐变量空间的反向映射；/n步骤S2：图像空间数据

【技术特征摘要】
1.一种面向收敛性保障的无监督双向生成自动编码方法，其特征在于，包括：
步骤S1：批数据(x,z)通过编码器E和生成器G同时生成编码结果E(x)和生成数据G(z)，完成从隐变量空间向数据空间的映射和从数据空间向隐变量空间的反向映射；
步骤S2：图像空间数据与隐变量空间数据通过卷积块Fx和Fz，分别对图像空间数据与隐变量空间数据进行信息提取，得到提取后的图像空间数据和提取后的隐变量空间数据
步骤S3：根据提取后的图像空间数据和提取后的隐变量空间数据训练判别器D，直至损失函数最小；
步骤S4：图像数据利用训练后的编码器E，完成编码过程并生成编码结果，将编码结果输入训练后的生成器G，获得重建图像数据结果，进而完成图像数据的重建工作，实现了图像空间与隐变量空间双向映射过程的整体协同优化，提升表征能力和图像生成能力。


2.根据权利要求1所述的面向收敛性保障的无监督双向生成自动编码方法，其特征在于，所述生成器G和编码器E分别使用DCGAN结构中的卷积网络模块和解卷积网络模块。


3.根据权利要求1所述的面向收敛性保障的无监督双向生成自动编码方法，其特征在于，所述步骤S3中损失函数包括：Wasserstein距离；



其中，表示Wasserstein距离；D表示输入数据对的相似概率；Fx和Fz表示卷积块。


4.根据权利要求1所述的面向收敛性保障的无监督双向生成自动编码方法，其特征在于，还包括：引入嵌入式MMD鉴别器模块Dz，并复用卷积块Fx和Fz，编码器E和生成器G实现嵌入式GAN网络，利用嵌入式GAN网络减少z和重建结果E(G(z))分布间的MMD距离加强整体双向结构的收敛性并加强编码器的语义相关表征能力。


5.根据权利要求4所述的面向收敛性保障的无监督双向生成自动编码方法，其特征在于，所述利用嵌入式GAN网络减少z和重建结果E(G(z))分布间的MMD距离加强整体双向结构的收敛性并加强编码器的语义相关表征能力包括：
步骤S5：编码结果E(x)通过生成器G重建生成数据G(E(x))；生成数据G(z)通过编码器E重建编码结果E(G(z))；
步骤S6：利用嵌入式MMD鉴别器模块Dz计算得到z与E(G(z))间分布的MMD差异损失函数并利用损失函数优化嵌入式MMD鉴别器模块Dz；






其中，Pz表示隐变量空间分布；yz＝Fz(z)；yz'＝Dz(z')；z,z'表示在隐变量空间上的采样；表示隐变量z重建结果，生成数据再编码结果；表示的条件概率分布；λ1表示梯度惩罚项权重参数；表示对上获取的梯度；σ表示krep符合的高斯分布的方差系数；e即自然对数的底数常数；ε表示对z与其重建结果求加权采样时的权重参数；
步骤S7：利用优化的嵌入式MMD鉴别器模块Dz，求解z与E(G(z))间分布关于编码器E和生成器G的MMD损失函数






其中，kF表示高斯核函数；bl，bu分别表示a,b间L2距离的下界与上界参数；
步骤S8：利用损失函数生成编码空间上的引导项Tz，进而完成嵌入式GAN网络的训练；



其中，∝1表示与重建操作的像素级l2损失的加权系数；nb表示数据批大小；原隐变量z与重建结果间的l2损失；
步骤S9：通过训练后的嵌入式GAN网络优化当前Bi-GAE双向结构的收敛性，并且生成的引导项进一步提升编码器E的语义表征能力。


6.根据权利要求5所述的面向收敛性保障的无监督双向生成自动编码方法，其特征在于，还包括：利用SSIM模块根据真实图像x和重构图像G(E(x))计算得到引导项Tx，增强生成器的人眼视觉特征生成能力；
SSIM关注亮度(luminance，l(x,x'))、对比度(contrast)和结构(structure)(联合使用cs(x,x')衡量)



LMSSSIM(x,x')＝1-MSSSIM(x,x')(8)









其中，x'＝G(E(x))；LMSSSIM(x,x')表示SSIM损失函数，α2表示SSIM损失与损失的加权系数；表示x与重建结果间的l1损失值，lmγm表示经过m个高斯滤波器后的l(x,x')的结果；γ表示衰减参数；m表示高斯滤波器的数量；c1表示常量参数；表示经过第j个滤波器生成的结果；ηj表示相应窗口衰减系数若x的大小为(si×s...

【专利技术属性】
技术研发人员：钱诗友，华勤，曹健，薛广涛，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31