一种缩小域差异的图像迁移方法及系统技术方案

本发明专利技术提供了一种缩小域差异的图像迁移方法及系统，包括：获取虚拟图像；基于虚拟图像，采用不同的着色器生成虚拟图像的多个辅助图；基于虚拟图像的多个辅助图，采用基于卷积核的生成对抗网络的生成器，得到迁移图像；其中，基于卷积核的生成对抗网络的生成器采用卷积层分别对多个辅助图进行卷积，对卷积层的输出进行加法操作后输入一个卷积层，得到融合特征图，基于融合特征图得到迁移图像。减小了生成的迁移图像与真实图像间的域差异，提高了生成的迁移图像的真实性。成的迁移图像的真实性。成的迁移图像的真实性。

【技术实现步骤摘要】
一种缩小域差异的图像迁移方法及系统


[0001]本专利技术属于计算机视觉
，尤其涉及一种缩小域差异的图像迁移方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]随着图形处理器(Graphics Processing Unit,GPU)等硬件的不断发展迭代，以实时光线追踪(Real
‑
time Ray Tracing)技术为代表的现代图形学技术在近年来逐渐被大众所熟知，英伟达的RTX系列显卡和虚幻引擎5的技术演示则进一步加强了计算机图形学的热度。高质量渲染所生成的虚拟图像与真实图像几乎无异，例如，逼真的电影特效足以做到以假乱真，先进的计算机图形学技术也逐渐进入了人工智能研究者的视野。逼真的虚拟图像的用途在于辅助深度学习算法进行训练，使用大量的虚拟数据与少量的真实数据组合在一起作为训练集训练出的算法在性能上可以接近甚至超过仅使用真实数据训练出的算法。生成虚拟数据相比采集真实数据具有如下优点：生成效率高且成本低，在高性能图形处理器和高质量实时渲染算法的加持下，一小时便可生成上万张带有标签信息的虚拟数据，而采集同数量级的真实数据，从寻找场地、搭建采集设备、进行采集到数据标注至少需耗费数周的时间。
[0004]然而，虚拟图像虽然优点众多，但存在一个关键的问题：虚拟图像与真实图像间存在域差异(Domain Gap)，深度学习的训练过程十分依赖数据，当针对不同场景下的不同任务时往往需要截然不同的训练数据，这也使得深度学习的泛化能力十分有限，这导致当训练集和测试集存在一定域差异时，准确率将大幅下降，域差异的问题制约着虚拟图像的可用性。

技术实现思路

[0005]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种缩小域差异的图像迁移方法及系统，减小了生成的迁移图像与真实图像间的域差异，提高了生成的迁移图像的真实性。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]本专利技术的第一个方面提供一种缩小域差异的图像迁移方法，其包括：
[0008]获取虚拟图像；
[0009]基于虚拟图像，采用不同的着色器生成虚拟图像的多个辅助图；
[0010]基于虚拟图像的多个辅助图，采用基于卷积核的生成对抗网络的生成器，得到迁移图像；
[0011]其中，基于卷积核的生成对抗网络的生成器采用卷积层分别对多个辅助图进行卷积，对卷积层的输出进行加法操作后输入一个卷积层，得到融合特征图，基于融合特征图得
到迁移图像。
[0012]进一步的，所述基于卷积核的生成对抗网络的训练方法为：
[0013]基于卷积核的生成对抗网络的生成器输入为训练集中的虚拟图像的多个辅助图，输出迁移图像；
[0014]将迁移图像与训练集中的真实图像输入基于卷积核的生成对抗网络的辨别器；
[0015]对生成器和辨别器的参数交替进行更新。
[0016]进一步的，所述对生成器和辨别器的参数交替进行更新采用梯度下降法。
[0017]进一步的，所述训练集包含一个真实图像以及若干条虚拟数据，每条虚拟数据包含一个虚拟图像及其多个辅助图。
[0018]进一步的，所述辅助图包括彩色图、深度图、法线图和语义分割图。
[0019]进一步的，所述虚拟图像由虚拟场景和三维物体组成。
[0020]进一步的，所述着色器通过Blender的着色器编辑器得到。
[0021]本专利技术的第二个方面提供一种缩小域差异的图像迁移系统，其包括：
[0022]图像获取模块，其被配置为：获取虚拟图像；
[0023]辅助图生成模块，其被配置为：基于虚拟图像，采用不同的着色器生成虚拟图像的多个辅助图；
[0024]图像迁移模块，其被配置为基于虚拟图像的多个辅助图，采用基于卷积核的生成对抗网络的生成器，得到迁移图像；
[0025]其中，基于卷积核的生成对抗网络的生成器采用卷积层分别对多个辅助图进行卷积，对卷积层的输出进行加法操作后输入一个卷积层，得到融合特征图，基于融合特征图得到迁移图像。
[0026]本专利技术的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种缩小域差异的图像迁移方法中的步骤。
[0027]本专利技术的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种缩小域差异的图像迁移方法中的步骤。
[0028]与现有技术相比，本专利技术的有益效果是：
[0029]本专利技术提供了一种缩小域差异的图像迁移方法，其面对不同需求与任务可以以虚拟图像的形式快速输出大量虚拟图像，并使用基于卷积核的生成对抗网络对虚拟图像做域迁移，以减小其与真实图像间的域差异，最终使深度学习算法可以仅通过大量虚拟图像进行训练，并在真实图像上做预测，大大缩小了迁移图像与真实图像之间的域差异，提升了迁移图像作为深度学习训练数据的可行性，并进一步提升了深度学习在各种场景下的落地效率。
附图说明
[0030]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0031]图1是本专利技术实施例一的生成器的部分结构图；
[0032]图2是本专利技术实施例一的虚拟图像的示意图；
[0033]图3是本专利技术实施例一的虚拟图像的彩色图、深度图、法线图和语义分割图的示意图；
[0034]图4是本专利技术实施例一的迁移结果示意图。
具体实施方式
[0035]下面结合附图与实施例对本专利技术作进一步说明。
[0036]应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0037]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0038]实施例一
[0039]本实施例提供了一种缩小域差异的图像迁移方法，使用渲染引擎生成带有标签的虚拟图像，并使用生成对抗网络(CycleGAN)进一步减小域差异，具体包括以下步骤：
[0040]步骤1、获取用户构建的虚拟图像。
[0041]具体的，根据需求和任务，在三维图形学引擎中搭建合理的虚拟场景，并放置的三维物体，三维场景和三维物体组成虚拟三维场景，放置虚拟相机后将虚拟三维场景投影至显示器平面生成如图2所示的虚拟图像。三维图形学引擎包含着渲染引擎(渲染器)、三维场景编辑、三维建模等等，例如Blend本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种缩小域差异的图像迁移方法，其特征在于，包括：获取虚拟图像；基于虚拟图像，采用不同的着色器生成虚拟图像的多个辅助图；基于虚拟图像的多个辅助图，采用基于卷积核的生成对抗网络的生成器，得到迁移图像；其中，基于卷积核的生成对抗网络的生成器采用卷积层分别对多个辅助图进行卷积，对卷积层的输出进行加法操作后输入一个卷积层，得到融合特征图，基于融合特征图得到迁移图像。2.如权利要求1所述的一种缩小域差异的图像迁移方法，其特征在于，所述基于卷积核的生成对抗网络的训练方法为：基于卷积核的生成对抗网络的生成器输入为训练集中的虚拟图像的多个辅助图，输出迁移图像；将迁移图像与训练集中的真实图像输入基于卷积核的生成对抗网络的辨别器；对生成器和辨别器的参数交替进行更新。3.如权利要求2所述的一种缩小域差异的图像迁移方法，其特征在于，所述对生成器和辨别器的参数交替进行更新采用梯度下降法。4.如权利要求2所述的一种缩小域差异的图像迁移方法，其特征在于，所述训练集包含一个真实图像以及若干条虚拟数据，每条虚拟数据包含一个虚拟图像及其多个辅助图。5.如权利要求1所述的一种缩小域差异的图像迁移方法，其特征在于，所述辅助图包括彩色图、深度图、法线图和语义分割图。6.如权利要求1...

【专利技术属性】
技术研发人员：高瑞，梅海艺，张道良，
申请(专利权)人：山东大学，
类型：发明
国别省市：