【技术实现步骤摘要】
利用预训练StyleGAN模型动态卷积核修正的图像重构方法
[0001]本专利技术涉及计算机视觉与数字图像处理
，尤其是一种利用预训练StyleGAN模型动态卷积核修正的图像重构方法。
技术介绍
[0002]目前，生成对抗网络和transformer都在计算机视觉领域取得了良好的效果，图像重构作为计算机视觉中一项图像生成的任务，也得到了很多的发展。图像重构需要将输入图像编码为码字，再通过生成器生成重构图像，生成对抗网络的训练代价过大，增大了高清图像重构的难度。由于StyleGAN模型拥有强大的高清图像生成能力和从侧枝引入风格码字的特点，不少方法利用预训练StyleGAN模型实现高清图像重构，提高了图像质量和效率。
[0003]在利用预训练StyleGAN模型的图像重构方法中，需要训练一个编码器将输入图像编码为风格码字，再将风格码字从侧枝输入预训练StyleGAN模型的生成器中得到重构图像，在输入图像和重构图像之间建立均方误差损失、感知损失和身份标识损失完成训练。仅利用风格码字重构图像，可能丢失图像中的高频细节，...
【技术保护点】
【技术特征摘要】
1.一种利用预训练StyleGAN模型动态卷积核修正的图像重构方法，其特征在于，该方法包括以下具体步骤：步骤1：将输入图像送入多尺度编码器中得到多尺度特征，构建注意力模块，从多尺度特征中提取图像信息，得到风格码字和残差码字；步骤2：将风格码字和残差码字送入预训练StyleGAN模型的生成器中，将生成器中的静态卷积核用风格码字调制为动态卷积核，并利用残差码字修正动态卷积核；步骤3：将多尺度编码器和注意力模块结合，训练一个编码网络，利用修正后的生成器，实现图像的重构。2.根据权利要求1所述的图像重构方法，其特征在于，所述注意力模块由若干自注意力模块和交叉注意力模块串联构成，产生风格码字和残差码字的注意力模块参数不共享。3.根据权利要求1所述的图像重构方法，其特征在于，所述步骤2，具体包括：步骤2
‑
1：将风格码字经过全连接层映射为调制码字s，逐像素乘在静态卷积核上，得到动态卷积核W
d
，其维度大小为C
out
×
C
in
×3×
3，C
out
为卷...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。