【技术实现步骤摘要】
一种无监督图像翻译方法及系统
本专利技术涉及图像翻译领域，特别是涉及一种无监督图像翻译方法及系统。
技术介绍
伴随着信息多媒体技术的出现，以图像作为的主要传播媒介的技术得到了快速发展，那么与图像处理有关的技术就越来越重要。得益于人工智能技术的突破性进展，特别是深度学习技术，计算机视觉技术得到了广泛应用。在诸多计算机视觉的任务中，许多问题都要求合成图像，如纹理合成、图像类比、图像超分辨率、图像分割、风格转换、季节转换和图像理解等。将不同域的特征进行融合的图像翻译技术有希望作为一个统一的框架解决上述问题。例如，可以利用此技术合成不同街道场景的图像以此扩充无人驾驶的场景数据集进行提高无人驾驶的学习能力。为了便于交通管理作业，可以将图像实现从白天到夜晚的相互转化。当然，对于实现语义分割的图像域和标签域的翻译，此技术也体现了强大的优越性。针对上述问题，近些年出现的方法大可归为三类。第一类是非学习的方法，为了合成图像纹理和渲染不同图像的风格，基于几何图像和图像填缝的方法以及基于案例的方法被提出。第二类是基于深度学习的方法，利用不同形式的深度学习网络去有效解决图像分割、图像重构...
【技术保护点】
1.一种无监督图像翻译方法，其特征在于，包括：将原始图像数据分为源域数据和目标域数据；设计生成对抗网络，将所述生成对抗网络的权重和超参数初始化；所述生成对抗网络包括：生成器Gt2s、判别器Ds2t_1、判别器Ds2t_2、生成器Gs2t、判别器Dt2s_1和判别器Dt2s_2；进行所述源域数据到所述目标域数据的第一转换任务；计算所述第一转换任务中的第一判别损失；计算所述第一转换任务中的第一生成损失；对所述第一转换任务中生成的图像进行判别；计算所述第一转换任务中生成的图像的第一判别损失；计算所述第一转换任务中的第一重构误差；进行所述目标域数据到所述源域数据的第二转换任务；计算...
【技术特征摘要】
1.一种无监督图像翻译方法，其特征在于，包括：将原始图像数据分为源域数据和目标域数据；设计生成对抗网络，将所述生成对抗网络的权重和超参数初始化；所述生成对抗网络包括：生成器Gt2s、判别器Ds2t_1、判别器Ds2t_2、生成器Gs2t、判别器Dt2s_1和判别器Dt2s_2；进行所述源域数据到所述目标域数据的第一转换任务；计算所述第一转换任务中的第一判别损失；计算所述第一转换任务中的第一生成损失；对所述第一转换任务中生成的图像进行判别；计算所述第一转换任务中生成的图像的第一判别损失；计算所述第一转换任务中的第一重构误差；进行所述目标域数据到所述源域数据的第二转换任务；计算所述第二转换任务中的第二判别损失；计算所述第二转换任务中的第二生成损失；对所述第二转换任务中生成的图像进行判别；计算所述第二转换任务中生成的图像的第二判别损失；计算所述第二转换任务中的第二重构误差；根据所述第一判别损失、所述第一生成损失、所述生成的图像的第一判别损失、所述第一重构误差、所述第二判别损失、所述第二生成损失、所述生成的图像的第二判别损失和所述第二重构误差更新所述生成对抗网络的权重；根据所述更新后的权重进行图像翻译。2.根据权利要求1所述的无监督图像翻译方法，其特征在于，所述进行所述源域数据到所述目标域数据的第一转换任务，具体包括：进行所述源域数据到所述目标域数据的转换任务，从所述源域数据中按批处理大小取出图像数据Xs分别输入到所述判别器Ds2t_1和所述判别器Ds2t_2进行判别真假。3.根据权利要求2所述的无监督图像翻译方法，其特征在于，所述计算所述第一转换任务中的第一生成损失，具体包括：从所述源域数据中按批处理大小取出图像数据Xs再输入到所述生成器Gs2t中，生成源域转换为目标域的图像Xs2t，计算第一生成器损失gt2s。4.根据权利要求3所述的无监督图像翻译方法，其特征在于，所述对所述第一转换任务中生成的图像进行判别，具体包括：将生成的所述图像Xs2t分别输入到所述判别器Dt2s_1和所述判别器Dt2s_2进行判别真假。5.根据权利要求4所述的无监督图像翻译方法，其特征在于，所述计算所述第一转换任务中的第一重构误差，具体包括：将所述图像Xs2t输入到所述生成器Gt2s中生成图像Xs2t2s，计算源域数据中的所述图像Xs和经过两次不同生成器进行融合特征的生成图像Xs2t2s之间的重构误差Lrec。6.根据权利要求5所述的无监督图像翻译方法，其特征在于，所述进行所述目标域数据到所述源域数据的第二转换任务，具体包括：进行所述源域数据到所述目标域数据的转换任务，从所述目标域数据中按批处理大小取出...
【专利技术属性】
技术研发人员：邵桂芳，刘暾东，李铁军，黄梦，高凤强，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。