【技术实现步骤摘要】
基于注意力机制的目标变换方法
本专利技术涉及图像翻译，特别是涉及基于注意力机制的目标变换方法。
技术介绍
目标变换(Objecttransfiguraion)是图像翻译一个特别的任务，它的目的是在将图像中的特定类型目标物体转换为另一类型的对象。图像翻译(Imagetranslation)旨在通过学习两类图像之间的映射关系将原始图像转换成目标风格的图像，近年来被应用到很多方面，比如图像超分辨率重建，艺术风格迁移等。研究者已经在有监督条件下提出了很多有效的转化方法。但是，由于成对数据的获取需要大量人力成本和时间成本，无监督条件下的转化方法成为图像翻译中的研究热点。VisualAttributionTransfer(VAT)是其中基于卷积神经网络CNN方法的代表，它使用模型中不同层级的特征对另一幅图中最可能对应的特征进行匹配。此外，使用生成式对抗网络(Generativeadversarialnetwork，GAN)的方法取得比基于卷积神经网络的方法更显著的效果。IsolaP等人探究了GAN在图像翻译任务中的潜力。随后，Cycle-ConsistentLoss被ZhuJ...
【技术保护点】
1.一种基于注意力机制的目标变换方法，其特征在于，包括：训练所述神经网络模型：步骤1，使用随机数初始化神经网络模型的参数；步骤2，输入一张属于类别X的图像x到模型的生成器G中，进入编码阶段，x经过一个卷积层来计算出第一层特征图f1；步骤3，随后f
【技术特征摘要】
1.一种基于注意力机制的目标变换方法，其特征在于，包括：训练所述神经网络模型：步骤1，使用随机数初始化神经网络模型的参数；步骤2，输入一张属于类别X的图像x到模型的生成器G中，进入编码阶段，x经过一个卷积层来计算出第一层特征图f1；步骤3，随后f1会经过两个分支网络：(a)一个卷积层得到未经注意力掩膜处理的第二层特征图(b)先经过两个卷积层再经过一个反卷积层得到与对应的注意力掩膜M2；将M2与逐个元素相乘，所得乘积再与的元素逐个相加，得到处理后的第二层特征图f2；步骤4，f2再按步骤3的方式得到下一层的特征图f3；随后，f3会经过6层卷积核尺寸为3*3、步长为1的残差卷积层进一步精细特征；步骤5，进入解码阶段，反卷积层作为解码器；f3会经过两个分支网络：(a)一个反卷积层得到未经注意力掩膜处理的第二层特征图(b)先经过两个反卷积层再经过一个卷积层得到与对应的注意力掩膜M4；将M4与逐个元素相乘，所得乘积再与的元素逐个相加，得到处理后的第二层特征图f5；步骤6，进入输出阶段，f5通过(a)一个反卷积层得到转换的图像y′；(b)先经过两个反卷积层再经过一个卷积层得到与y′对应的注意力掩模MG(x)；步骤7，y′会被输入另一个生成器F中，经过与步骤2-6相同的操作后得到x′和对应的注意力掩摸MF(G(x))；步骤8，将x和x′输入判别器DX中，判别器DX会返回输入图像属于类别X的概率；同样地，y和y′输入判别器DY中，得到y和y′属于类别Y的概率；由此计算出对抗损失函数的值：步骤9，根据x，x′，y，y′计算出循环一致损失函数的值：Lcyc(G，F)＝||x′-x||1+||y′-y||1#(3)步骤10，使用MG(x)将x和y′中背景与转换目标分离，算出背景变化损失：Lbg(x，G)＝γ*||B(x，MG(x))-B(y′，MG(x))||1#(4)B(x，MG(x))＝H(x，1-MG(x))＃(5)γ...
【专利技术属性】
技术研发人员：胡伏原，叶子寒，李林燕，孙钰，付保川，
申请(专利权)人：苏州科技大学，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。