基于小波的频域感知与增强的WE-GPMConv-StyleGAN轻量化图像生成方法技术

本发明专利技术属于计算机视觉领域，涉及生成对抗网络(GAN)的高效图像合成技术。针对现有生成方法在高分辨率图像合成中高频细节不足、几何等变性受限及计算效率低的问题，提出基于小波驱动的频域感知生成方法WE‑GPMConv‑StyleGAN。该模型在StyleGAN3架构中嵌入离散小波变换，将传统卷积操作分解为小波域特征提取与跨频带融合两阶段过程，通过分组可分离卷积降低计算复杂度；设计低频增强模块扩展全局结构建模能力，利用二级小波分解扩大感受野；引入高频增强模块通过残差结构与跨通道交互强化纹理细节；结合分阶段训练策略，前期优先优化低频全局特征，后期联合高频模块细化局部细节。本发明专利技术通过小波域多频带解耦与融合机制，显著提升高频生成质量与几何等变性，为高分辨率图像生成提供兼顾效率与精度的频域驱动解决方案。

【技术实现步骤摘要】

本专利技术涉及深度学习领域，具体涉及图像生成领域，尤其涉及一种基于小波的频域感知与增强的we-gpmconv-stylegan轻量化图像生成方法。

技术介绍

1、近年来，生成对抗网络(gan)在图像合成领域取得了突破性进展，尤其是stylegan系列模型通过渐进式生成架构和频域特征映射，显著提升了高分辨率图像的真实感与多样性。然而，随着分辨率提升至4k级别，现有生成方法面临三大核心挑战：高频细节生成不足、几何等变性受限以及计算资源消耗过高，严重制约了实际应用效率。

2、在高频细节生成方面，传统卷积神经网络的局部感受野与固定权重共享机制导致高频信息(如发丝、皮肤纹理)在逐层传递中逐渐衰减。尽管stylegan3通过傅里叶特征映射增强了频域感知能力，但其基于像素域的生成方式仍难以避免高频混叠问题，尤其在旋转、平移等几何变换下易出现边缘模糊与纹理失真。此外，深层网络对高频噪声的敏感性进一步加剧了细节生成的不稳定性。现有研究表明，小波域中的内容生成能带来更高质量的图像，并呈现更真实的高频内容，尤其在细节表现和高频信息恢复方面具有显著优势。小波变换凭借其本文档来自技高网...

【技术保护点】

1.一种基于小波的频域感知与增强的WE-GPMConv-StyleGAN轻量化图像生成方法，方案包括以下步骤:

2.在上述的方案中，所述步骤S3构建GP-调制卷积模块是基于传统的调制卷积，传统调制卷积模块是将普通3×3卷积的权重调制解调，GP-调制卷积模块是基于分组分离卷积的权重调制解调，其中分组分离卷积是将普通3×3卷积分解为分组卷积与逐点卷积的级联结构是卷积；基于小波的GP-调制卷积模块是针对调制卷积的第二层逐点卷积的设计，通过离散小波变换(DWT)将经过分组调制卷积后的特征图，分解为四频带子(LL,LH,HL,HH)，对每个子带用逐点卷积进行特征提取与整合；最后逆小波变...

【技术特征摘要】

1.一种基于小波的频域感知与增强的we-gpmconv-stylegan轻量化图像生成方法，方案包括以下步骤:

2.在上述的方案中，所述步骤s3构建gp-调制卷积模块是基于传统的调制卷积，传统调制卷积模块是将普通3×3卷积的权重调制解调，gp-调制卷积模块是基于分组分离卷积的权重调制解调，其中分组分离卷积是将普通3×3卷积分解为分组卷积与逐点卷积的级联结构是卷积；基于小波的gp-调制卷积模块是针对调制卷积的第二层逐点卷积的设计，通过离散小波变换(dwt)将经过分组调制卷积后的特征图，分解为四频带子(ll,lh,hl,hh)，对每个子带用逐点卷积进行特征提取与整合；最后逆小波变换(iwt)将多尺度的频率信息重新整合，恢复为高分辨率的图像特征图。

3.在上述的方案中,所述步骤s4渐进式训练中，将生成网络的层数从14层减少至7层，同时保留了原模型的分辨率增长策略和非均匀通道策略；可量化条件包括方向最优性、可分离性和注入性；现在保证鉴别器能够找到最明显的差异方向，并压缩至一维可度量空间同时确保投影后差异方向一致，特征提取函数保证是单射函数；根据以上的理论基础，对鉴别器结构优化可以分为：首先将鉴别器分解成特征提取网络h(x)的输出与ω做内积，即f(x)＝<ω,h(x)>；之后将鉴别器最后一层使用归一化线性层，强制权重向量ω位于单位超球面(sd-1)，确保投影方向标准化；最后网络整体的优化目标变为，在原有鉴别器的损失上增加方向最优项公式为：为原stylegan3的鉴别器损失生成器的损失函数保持不变，<，>表示内积运算，h为特征提取函数，将输入x映射到高维特征空间；ω是在特征空间中选择最优方向，λ为平衡对抗损失与方向最优性的超参数(通常设为1)，μ0为真实数据分布，μθ为生成器分布。

4.在本实施例中,所述步骤s5生成网络的频域增强模块是将dwt分解后的4个子带分为将ll低频分量和lh，hl，hh三个高频分量分别加强；其中lfe模块通过二级小波分解扩展感受野，优化全局结构一致性；lfe过程通过将特征图分解出来的低频分量x1ll进行二级分解生成更粗糙的低频x2ll及对应高频分量x2lh、x2hl和x2hh，随后在x2ll子带上进行1×1卷积操作，同时在所有高频子带独立进行同样...

【专利技术属性】
技术研发人员：孙崐，刘温馨，衣明婕，孙浩宇，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：