图像生成和神经网络训练方法、装置、设备和介质制造方法及图纸

技术编号:26846427 阅读:23 留言:0更新日期:2020-12-25 13:09
本实施例公开了一种图像生成方法和神经网络训练方法、装置、电子设备、计算机存储介质,该图像生成方法包括:利用第一神经网络中顺次连接的多层第一网络单元块提取内容图像的内容特征,得到各层第一网络单元块输出的内容特征;提取风格图像的风格特征;将各层第一网络单元块分别输出的内容特征对应前馈输入第二神经网络中顺次连接的多层第二网络单元块、并将风格特征从多层第二网络单元块中的首层第二网络单元块前馈输入,经各第二网络单元块对各自输入的特征处理后得到第二神经网络输出的生成图像。如此,在图像生成的过程中,利用各层第一网络单元块对内容图像的内容特征进行多次提取,保留了内容图像的更多语义信息,生成图像更为真实。

【技术实现步骤摘要】
图像生成和神经网络训练方法、装置、设备和介质
本公开涉及图像处理领域,尤其涉及一种图像生成方法和神经网络训练方法、装置、电子设备及计算机存储介质。
技术介绍
在相关技术中,图像生成的方法可以是从一张真实图生成到另外一张图,然后通过人为视觉主观评判生成图是否更加真实;随着神经网络的应用,相关技术中出现了基于神经网络的图像生成方法,通常可以基于成对数据训练神经网络,然后通过训练的神经网络对内容图像进行风格转换,这里,成对数据表示用于训练的具有相同内容特征的内容图像和风格图像,且风格图像与内容图像的风格特征不同;然而,实际场景中,很少出现上述成对数据,因而,这种方法不利用实现。
技术实现思路
本公开实施例期望提供图像生成的技术方案。本公开实施例提供了一种图像生成方法,所述方法包括:利用第一神经网络中顺次连接的多层第一网络单元块提取内容图像的内容特征,得到各层第一网络单元块分别输出的内容特征;提取风格图像的风格特征;将所述各层第一网络单元块分别输出的内容特征对应前馈输入第二神经网络中顺次连接的多层第二本文档来自技高网...

【技术保护点】
1.一种图像生成方法,其特征在于,所述方法包括:/n利用第一神经网络中顺次连接的多层第一网络单元块提取内容图像的内容特征,得到各层第一网络单元块分别输出的内容特征;/n提取风格图像的风格特征;/n将所述各层第一网络单元块分别输出的内容特征对应前馈输入第二神经网络中顺次连接的多层第二网络单元块、并将所述风格特征从所述多层第二网络单元块中的首层第二网络单元块前馈输入,经各所述第二网络单元块对各自输入的特征处理后得到所述第二神经网络输出的生成图像,其中,所述多层第一网络单元块与所述多层第二网络单元块对应。/n

【技术特征摘要】
1.一种图像生成方法,其特征在于,所述方法包括:
利用第一神经网络中顺次连接的多层第一网络单元块提取内容图像的内容特征,得到各层第一网络单元块分别输出的内容特征;
提取风格图像的风格特征;
将所述各层第一网络单元块分别输出的内容特征对应前馈输入第二神经网络中顺次连接的多层第二网络单元块、并将所述风格特征从所述多层第二网络单元块中的首层第二网络单元块前馈输入,经各所述第二网络单元块对各自输入的特征处理后得到所述第二神经网络输出的生成图像,其中,所述多层第一网络单元块与所述多层第二网络单元块对应。


2.根据权利要求1所述的方法,其特征在于,所述将所述各层第一网络单元块分别输出的内容特征对应前馈输入第二神经网络中顺次连接的多层第二网络单元块包括:
响应于i依次取1至T的情况,将第i层第一网络单元块输出的内容特征前馈输入至第T-i+1层第二网络单元块中,i为正整数,T表示所述第一神经网络和所述第二神经网络的网络单元块的层数。


3.根据权利要求1或2所述的方法,其特征在于,所述提取所述风格图像的风格特征,包括:
提取所述风格图像分布的特征;
对所述风格图像分布的特征进行采样,得到所述风格特征,所述风格特征包括所述风格图像分布的特征的均值和标准差。


4.一种神经网络训练方法,其特征在于,所述方法还包括:
利用第一神经网络中顺次连接的多层第一网络单元块提取内容图像的内容特征,得到各层第一网络单元块分别输出的内容特征;
提取风格图像的风格特征;
将所述各层第一网络单元块分别输出的内容特征对应前馈输入第二神经网络中顺次连接的多层第二网络单元块、并将所述风格特征从所述多层第二网络单元块中的首层第二网络单元块前馈输入,经各所述第二网络单元块对各自输入的特征处理后得到所述第二神经网络输出的生成图像,其中,所述多层第一网络单元块与所述多层第二网络单元块对应;
对所述生成图像进行鉴别,得出鉴别结果;
根据所述内容图像、所述风格图像、所述生成图像和所述鉴别结果,调整所述第一神经网络和/或所述第二神经网络的网络参数。


5.根据权利要求4所述的方法,其特征在于,所述将所述各层第一网络单元块分别输出的内容特征对应前馈输入第二神经网络中顺次连接的多层第二网络单元块包括:
响应于i依次取1至T的情...

【专利技术属性】
技术研发人员:黄明杨张昶旭刘春晓石建萍
申请(专利权)人:商汤集团有限公司
类型:发明
国别省市:中国香港;81

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1