一种基于判别区域候选对抗网络的图像转图像翻译方法技术

技术编号:20046653 阅读:28 留言:0更新日期:2019-01-09 04:43
本发明专利技术提供一种基于判别区域候选对抗网络的图像转图像翻译方法,将真实图像的语义分割图输入到所述生成器,生成第一图像;将所述第一图像输入所述图像块判别器中,通过所述图像块判别器预测得到得分图;使用滑动窗口在所述得分图中找到最明显的伪影区域图像块,将所述伪影区域图像块映射到所述第一图像中,得到所述第一图像中的判别区域;使用所述判别区域对所述的真实图像进行掩模运算,得到掩模后的假图像;将所述真实图像和所述掩模后的假图像输入到所述修正器中,用于判断输入图像的真假;所述生成器根据所述修正器的修正生成更接近所述真实图像的图像。本发明专利技术能够合成高分辨率、真实细节且更少伪影的高质量图像。

【技术实现步骤摘要】
一种基于判别区域候选对抗网络的图像转图像翻译方法
本专利技术涉及图像处理
,特别涉及一种基于判别区域候选对抗网络的图像转图像翻译方法。
技术介绍
从人类视觉感知的角度来看,我们认为一幅合成的图像是假的,通常是因为它包含局部伪影。虽然乍看之下看起来很真实,但我们仍可以通过凝视仅约1000ms就很容易地分辨出真伪。人类有能力从粗糙的结构到精细的细节中绘制出一个真实的场景,就是我们通常在关注一个物体的细节的同时得到一个场景的全局结构,并理解它是如何和周围的环境相关联的。人们在开发自动的图像翻译系统方面已经做了许多努力。直接的方法是在像素空间上优化L1或L2损失,然而二者都存在模糊的问题。因此,一些工作增加了对抗损失,以在空间和光谱维度上产生清晰的图像。除了GAN损失外,感知损失已经应用于图像转图像的翻译任务中,但它局限于预训练的深度模型和训练数据集。尽管在评估实际图像和生成图像的差异中存在着各种各样的损失,但是用GAN进行图像转图像的翻译时仍然会遇到伪影和不平滑颜色分布问题,并且由于高维分布,甚至难以生成高分辨率的真实图片。
技术实现思路
本专利技术提供一种基于判别区域候选对抗网络的图像本文档来自技高网...

【技术保护点】
1.一种基于判别区域候选对抗网络的图像转图像翻译方法,其特征在于,所述判别区域候选对抗网络包括生成器、图像块判别器和修正器,该方法包括如下步骤:S1:将真实图像的语义分割图输入到所述生成器,生成第一图像;S2:将所述第一图像输入所述图像块判别器中,通过所述图像块判别器预测得到得分图;S3:使用滑动窗口在所述得分图中找到最明显的伪影区域图像块,将所述伪影区域图像块映射到所述第一图像中,得到所述第一图像中的判别区域;S4:使用所述判别区域对所述的真实图像进行掩模运算,得到掩模后的假图像;S5:将所述真实图像和所述掩模后的假图像输入到所述修正器中,用于判断输入图像的真假;S6:所述生成器根据所述修正...

【技术特征摘要】
1.一种基于判别区域候选对抗网络的图像转图像翻译方法,其特征在于,所述判别区域候选对抗网络包括生成器、图像块判别器和修正器,该方法包括如下步骤:S1:将真实图像的语义分割图输入到所述生成器,生成第一图像;S2:将所述第一图像输入所述图像块判别器中,通过所述图像块判别器预测得到得分图;S3:使用滑动窗口在所述得分图中找到最明显的伪影区域图像块,将所述伪影区域图像块映射到所述第一图像中,得到所述第一图像中的判别区域;S4:使用所述判别区域对所述的真实图像进行掩模运算,得到掩模后的假图像;S5:将所述真实图像和所述掩模后的假图像输入到所述修正器中,用于判断输入图像的真假;S6:所述生成器根据所述修正器的修正生成更接近所述真实图像的图像。2.根据权利要求1所述的基于判别区域候选对抗网络的图像转图像翻译方法,其特征在于,给定一个分辨率为wi×wi的语义分割图,并且由图像块判别器处理为ws×ws大小的得分图,如果想要获得w*×w*的判别区域,则得分图的滑动窗口的尺寸为w×w,其中,w=w*×ws/wi。3.根据权利要求2所述的基于判别区域候选对抗网络的图像转图像翻译方法,其特征在于,所述判别区域dr是经所述判别区域候选对抗网络映射得到的区域,即:其中,式中,为判别区域的中心坐标,τ为第一图像与得分图之间的距离,(xc,yc)为得分图的中心坐标。4.根据权利要求1所述的基于判别区域候选对抗网络的图像转图像翻译方法,其特征在于,所述判别区域候选对抗网络总的目标函数为:L(G,Dp,R)=(1-λ)LD(G,Dp)+λLR(G,R)+LL1(G),其中,LD(G,Dp)为图像块判别器的损失,LR(G,R)为修正器的损失,LL1(G)为γ损失。5.根据权利要求4所述的基于判别区域候选对抗网络的图像转图像翻译方法,其特征在于,所述图像块判别器的损失为:LD(G,Dp)=Ey[logDp(x,y)]+Ex,z[log(1-Dp(x...

【专利技术属性】
技术研发人员:郑海永王超俞智斌
申请(专利权)人:中国海洋大学
类型:发明
国别省市:山东,37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1