图像生成的方法、装置以及计算机制造方法及图纸

本申请公开了一种图像生成的方法等，用于生成高质量的图像。该方法包括：获取目标向量；分别将所述目标向量输入第一生成器和第二生成器中，对应生成第一子图和第二子图，所述第一生成器由服务器根据低频图像和满足正态分布的第一随机噪声变量对初始配置的第一生成对抗网络GAN进行训练得到，所述第二生成器由所述服务器根据高频图像和满足正态分布的第二随机噪声变量对初始配置的第二生成对抗网络GAN进行训练得到，所述低频图像的频率低于所述高频图像的频率；对所述第一子图和所述第二子图进行合成，得到目标图像。

【技术实现步骤摘要】
图像生成的方法、装置以及计算机
本申请涉及图像处理领域，尤其涉及一种图像生成的方法、装置以及计算机。
技术介绍
图像生成是计算机视觉的最重要的研究领域之一，并且应用到图像修复、图像分类、虚拟现实等相关技术。在自动驾驶的技术发展上，生成场景的多样性和场景物体的保持是两项不同的技术难点，一部分原因是场景的复杂性导致各种属性变量和图像高维表示之间映射的学习是学术界尚未解决的难题之一，另一部分原因是光照、尺度、遮挡等对室外场景图像像素的巨大变化，相比人类非常鲁棒的识别表现，现有算法在这方面还有很大距离。目前图像生成技术在神经网络方向的研究上取得了一定的成果，尤其是生成对抗网络(generativeadversarialnetworks，GAN)在该任务上取得最好的效果。其中，一个GAN至少包括一个生成器(generator)和一个判别器(discriminator)。生成器是利用随机噪声变量产生图像的网络结构，理想情况下生成的图像和真实图像非常相似。判别器是用来分辨真实图像和生成图像的度量网络。GAN通过生成器和判别器相互博弈学习来提高自身的性能，从而在性能满足要求时，利用生成器将输入的变量生成高质量的图像。但现有的生成对抗网络最大的缺点是生成过程的不稳定性，导致生成对抗网络生成的图像质量不高。
技术实现思路
本申请实施例提供了一种图像生成的方法、装置、计算机、存储介质、芯片系统等，用于利用GAN技术提高图像生成质量。第一方面，本申请提供了一种图像生成的方法，可以包括：获取目标向量；分别将该目标向量输入第一生成器和第二生成器中，对应生成第一子图和第二子图，该第一生成器由服务器根据低频图像和满足正态分布的第一随机噪声变量对初始配置的第一生成对抗网络GAN进行训练得到，该第二生成器由该服务器根据高频图像和满足正态分布的第二随机噪声变量对初始配置的第二生成对抗网络GAN进行训练得到，该低频图像的频率低于该高频图像的频率；对该第一子图和该第二子图进行合成，得到目标图像。在第一方面的一些可能的实现方式中，该方法还可以包括：获取该低频图像和该高频图像；获取该第一随机噪声变量和该第二随机噪声变量；将该低频图像和高频图像分别设置为该第一GAN和该第二GAN的训练样本；利用该低频图像和该第一随机噪声变量对该第一GAN进行训练，得到该第一生成器；利用该高频图像和该第二随机噪声变量对该第二GAN进行训练，得到该第二生成器。在第一方面的一些可能的实现方式中，该获取该低频图像和该高频图像，可以包括：获取原始图像；对该原始图像进行小波变换处理，得到该低频图像和该高频图像。该对该第一子图和第二子图进行合成，得到目标图像，可以包括：采用小波逆变换处理的方式对该第一子图和该第二子图进行合成，得到该目标图像。在第一方面的一些可能的实现方式中，对该原始图像进行小波变换处理，得到该低频图像和该高频图像，可以包括：对该原始图像进行离散小波变换处理，得到包含K种分辨率的至少一个低频图像和至少一个高频图像，其中，第Q种分辨率对应MQ个低频图像和NQ个高频图像，K、MQ、NQ均为正整数，Q＝1、2、3……K；利用该低频图像和该第一随机噪声变量对该第一GAN进行训练，得到该第一生成器，可以包括：利用所述第Q种分辨率下的所述MQ个低频图像和所述第一随机噪声变量对初始配置的SQ个低频GAN进行训练，得到SQ个低频生成器，其中SQ为大于或等于1的整数；利用该高频图像和该第二随机噪声变量对该第二GAN进行训练，得到该第二生成器，可以包括：利用所述第Q种分辨率下的所述NQ个高频图像和所述第二随机噪声变量对初始配置的第WQ个高频GAN进行训练，得到WQ个高频生成器，其中WQ为大于或等于1的整数；分别将该目标向量输入第一生成器和第二生成器中，对应生成第一子图和第二子图，可以包括：分别向低频生成器和个高频生成器输入所述目标向量，得到个低频生成子图和个高频生成子图；采用小波变换处理的方式对该第一子图和该第二子图进行合成，得到该目标图像，可以包括：采用离散小波逆变换处理的方式对所述个低频生成子图和所述个高频生成子图进行合成，得到所述目标图像。在第一方面的一些可能的实现方式中，在训练任意一个生成器的过程中，还包括：将其它任意一个或多个生成器的输出作为该生成器的输入，所述其他任意一个或多个生成器包括低频生成器和高频生成器中除该生成器以为的任意一个或多个生成器。在第一方面的一些可能的实现方式中，所述第一随机噪声变量和所述第二随机噪声变量中的任意两个随机噪声变量正交。在第一方面的一些可能的实现方式中，该MQ个低频图像可以包括第一低频图像，该NQ个高频图像可以包括第一高频图像、第二高频图像和第三高频图像，该第一低频图像可以包括该原始图像在垂直和水平方向上的低频信息，该第一高频图像可以包括该原始图像在垂直方向上的低频信息和水平方向上的高频信息，该第二高频图像可以包括该原始图像在垂直方向上的高频信息和水平方向上的低频信息，该第三高频图像可以包括该原始图像在垂直方向上的高频信息和水平方向上的高频信息。所述利用所述第Q种分辨率下的所述MQ个低频图像和所述第一随机噪声变量对初始配置的SQ个低频GAN进行训练，得到SQ个低频生成器，包括：利用所述第Q种分辨率下的所述MQ个低频图像和所述第一随机噪声变量对第一低频GAN进行训练，得到第Q个低频生成器；所述利用所述第Q种分辨率下的所述NQ个高频图像和所述第二随机噪声变量对初始配置的第WQ个高频GAN进行训练，得到WQ个高频生成器，包括：利用所述第Q种分辨率下的所述第一高频图像和第三随机噪声变量对初始配置的第Q个第一高频GAN进行训练，得到第Q个第一高频生成器；利用所述第Q种分辨率下的所述第二高频图像和第四随机噪声变量对初始配置的第Q个第二高频GAN进行训练，得到第Q个第二高频生成器；利用所述第Q种分辨率下的所述第三高频图像和第五随机噪声变量对初始配置的第Q个第三高频GAN进行训练，得到第Q个第三高频生成器；所述分别向低频生成器和个高频生成器输入所述目标向量，得到个低频生成子图和个高频生成子图，包括：分别向K个低频生成器、K个第一高频生成器、K个第二高频生成器和K个第三高频生成器输入所述目标向量，得到K个低频生成子图、K个第一高频生成子图、K个第二高频生成子图和K个第三高频生成子图；所述采用离散小波逆变换处理的方式对所述个低频生成子图和所述个高频生成子图进行合成，得到所述目标图像，包括：采用离散小波逆变换处理的方式对所述K个低频生成子图、所述K个第一高频生成子图、所述K个第二高频生成子图和所述K个第三高频生成子图进行合成，得到所述目标图像。在第一方面的一些可能的实现方式中，获取原始图像；对该原始图像进行离散余弦变换处理，得到该低频图像和该高频图像；该对该第一子图和第二子图进行合成，得到目标图像，可以包括：采用离散余弦逆变换处理的方式对该第一子图和该第二子图进行合成，得到该目标图像。在第一方面的一些可能的实现方式中，获取原始图像；对该原始图像进行傅里叶变换处理，得到该低频图像和该高频图像；该对该第一本文档来自技高网...

【技术保护点】
1.一种图像生成的方法，其特征在于，包括：/n获取目标向量；/n分别将所述目标向量输入第一生成器和第二生成器中，对应生成第一子图和第二子图，所述第一生成器由服务器根据低频图像和满足正态分布的第一随机噪声变量对初始配置的第一生成对抗网络GAN进行训练得到，所述第二生成器由所述服务器根据高频图像和满足正态分布的第二随机噪声变量对初始配置的第二生成对抗网络GAN进行训练得到，所述低频图像的频率低于所述高频图像的频率；/n对所述第一子图和所述第二子图进行合成，得到目标图像。/n

【技术特征摘要】
20190918 CN 20191088376191.一种图像生成的方法，其特征在于，包括：
获取目标向量；
分别将所述目标向量输入第一生成器和第二生成器中，对应生成第一子图和第二子图，所述第一生成器由服务器根据低频图像和满足正态分布的第一随机噪声变量对初始配置的第一生成对抗网络GAN进行训练得到，所述第二生成器由所述服务器根据高频图像和满足正态分布的第二随机噪声变量对初始配置的第二生成对抗网络GAN进行训练得到，所述低频图像的频率低于所述高频图像的频率；
对所述第一子图和所述第二子图进行合成，得到目标图像。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述低频图像和所述高频图像；
获取所述第一随机噪声变量和所述第二随机噪声变量；
将所述低频图像和高频图像分别设置为所述第一GAN和所述第二GAN的训练样本；
利用所述低频图像和所述第一随机噪声变量对所述第一GAN进行训练，得到所述第一生成器；
利用所述高频图像和所述第二随机噪声变量对所述第二GAN进行训练，得到所述第二生成器。


3.根据权利要求2所述的方法，其特征在于，
所述获取所述低频图像和所述高频图像，包括：
获取原始图像；
对所述原始图像进行小波变换处理，得到所述低频图像和所述高频图像；
所述对所述第一子图和第二子图进行合成，得到目标图像，包括：
采用小波逆变换处理的方式对所述第一子图和所述第二子图进行合成，得到所述目标图像。


4.根据权利要求3所述的方法，其特征在于，
对所述原始图像进行小波变换处理，得到所述低频图像和所述高频图像，包括：
对所述原始图像进行离散小波变换处理，得到包含K种分辨率的至少一个低频图像和至少一个高频图像，其中，第Q种分辨率对应MQ个低频图像和NQ个高频图像，K、MQ、NQ均为正整数，Q＝1、2、3……K；
利用所述低频图像和所述第一随机噪声变量对所述第一GAN进行训练，得到所述第一生成器，包括：
利用所述第Q种分辨率下的所述MQ个低频图像和所述第一随机噪声变量对初始配置的SQ个低频GAN进行训练，得到SQ个低频生成器，其中SQ为大于或等于1的整数；
利用所述高频图像和所述第二随机噪声变量对所述第二GAN进行训练，得到所述第二生成器，包括：
利用所述第Q种分辨率下的所述NQ个高频图像和所述第二随机噪声变量对初始配置的第WQ个高频GAN进行训练，得到WQ个高频生成器，其中WQ为大于或等于1的整数；
分别将所述目标向量输入第一生成器和第二生成器中，对应生成第一子图和第二子图，包括：
分别向低频生成器和个高频生成器输入所述目标向量，得到个低频生成子图和个高频生成子图；
采用小波变换处理的方式对所述第一子图和所述第二子图进行合成，得到所述目标图像，包括：
采用离散小波逆变换处理的方式对所述个低频生成子图和所述个高频生成子图进行合成，得到所述目标图像。


5.据权利要求4所述的方法，其特征在于，在训练任意一个生成器的过程中，还包括：
将其它任意一个或多个生成器的输出作为该生成器的输入，所述其他任意一个或多个生成器包括低频生成器和高频生成器中除该生成器以为的任意一个或多个生成器。


6.据权利要求2-5任意一项所述的方法，其特征在于，所述第一随机噪声变量和所述第二随机噪声变量中的任意两个随机噪声变量正交。


7.根据权利要求4-6任意一项所述的方法，其特征在于，所述MQ个低频图像包括第一低频图像，所述NQ个高频图像包括第一高频图像、第二高频图像和第三高频图像，所述第一低频图像包括所述原始图像在垂直和水平方向上的低频信息，所述第一高频图像包括所述原始图像在垂直方向上的低频信息和水平方向上的高频信息，所述第二高频图像包括所述原始图像在垂直方向上的高频信息和水平方向上的低频信息，所述第三高频图像包括所述原始图像在垂直方向上的高频信息和水平方向上的高频信息；
所述利用所述第Q种分辨率下的所述MQ个低频图像和所述第一随机噪声变量对初始配置的SQ个低频GAN进行训练，得到SQ个低频生成器，包括：
利用所述第Q种分辨率下的所述MQ个低频图像和所述第一随机噪声变量对第一低频GAN进行训练，得到第Q个低频生成器；
所述利用所述第Q种分辨率下的所述NQ个高频图像和所述第二随机噪声变量对初始配置的第WQ个高频GAN进行训练，得到WQ个高频生成器，包括：
利用所述第Q种分辨率下的所述第一高频图像和第三随机噪声变量对初始配置的第Q个第一高频GAN进行训练，得到第Q个第一高频生成器；
利用所述第Q种分辨率下的所述第二高频图像和第四随机噪声变量对初始配置的第Q个第二高频GAN进行训练，得到第Q个第二高频生成器；
利用所述第Q种分辨率下的所述第三高频图像和第五随机噪声变量对初始配置的第Q个第三高频GAN进行训练，得到第Q个第三高频生成器；
所述分别向低频生成器和个高频生成器输入所述目标向量，得到个低频生成子图和个高频生成子图，包括：
分别向K个低频生成器、K个第一高频生成器、K个第二高频生成器和K个第三高频生成器输入所述目标向量，得到K个低频生成子图、K个第一高频生成子图、K个第二高频生成子图和K个第三高频生成子图；
所述采用离散小波逆变换处理的方式对所述个低频生成子图和所述个高频生成子图进行合成，得到所述目标图像，包括：
采用离散小波逆变换处理的方式对所述K个低频生成子图、所述K个第一高频生成子图、所述K个第二高频生成子图和所述K个第三高频生成子图进行合成，得到所述目标图像。


8.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取原始图像；
对所述原始图像进行离散余弦变换处理，得到所述低频图像和所述高频图像；
所述对...

【专利技术属性】
技术研发人员：吴华明，王君，卢华兵，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44