多视角图像生成方法、装置、可读存储介质及电子设备制造方法及图纸

本申请提供一种多视角图像生成方法、装置、可读存储介质及电子设备，涉及计算机技术领域，该方法包括：获取任一视角下包含目标人物的第一图像；将所述第一图像输入目标模型，得到所述第一图像的粗粒度三维表达，以及将所述第一图像输入细粒度图像编码器，得到所述第一图像的三维细节特征；将所述粗粒度三维表达与所述三维细节特征结合后，得到所述第一图像的细粒度三维表达，并基于所述细粒度三维表达，渲染出给定相机视角下包含所述目标人物的第二图像。本申请提供的多视角图像生成方法、装置、可读存储介质及电子设备，用于丰富重建输入图像的细节，确保多视角图像生成下的三维一致性。一致性。一致性。

【技术实现步骤摘要】
多视角图像生成方法、装置、可读存储介质及电子设备


[0001]本申请涉及计算机
，尤其涉及一种多视角图像生成方法、装置、可读存储介质及电子设备。

技术介绍

[0002]随着虚拟技术的发展，自由相机视角下具有真实感的人像生成技术对虚拟人视频内容的生产至关重要。在相关技术中，可以通过生成对抗网络（Generative Adversarial Networks，GAN）生成给定人物图像在不同相机视角下的新的人物图像。
[0003]然而，相关技术中的多视角图像生成方法存在不能准确重建给定人物图像的细节信息的技术问题，导致生成的新相机视角下的人物图像与输入图像的细节不相符，保真度较差。
[0004]基于此，急需一种能够准确重建给定图像的细节，且图像生成效率高的多视角图像生成方法。

技术实现思路

[0005]本申请的目的是提供一种多视角图像生成方法、装置、可读存储介质及电子设备，用于丰富重建输入图像的细节，确保多视角图像生成下的三维一致性。
[0006]本申请提供一种多视角图像生成方法，包括：获取任一视角下包含目标人物的第一图像；将所述第一图像输入目标模型，得到所述第一图像的粗粒度三维表达，以及将所述第一图像输入细粒度图像编码器，得到所述第一图像的三维细节特征；将所述粗粒度三维表达与所述三维细节特征结合后，得到所述第一图像的细粒度三维表达，并基于所述细粒度三维表达，渲染出给定相机视角下包含所述目标人物的第二图像；其中，所述目标模型包括：粗粒度图像编码器和三维生成对抗网络；所述粗粒度图像编码器用于将所述第一图像映射为所述三维生成对抗网络的中间层输出的隐空间向量；所述三维生成对抗网络用于基于所述粗粒度图像编码器输出的隐空间向量得到所述粗粒度三维表达。
[0007]可选地所述获取任一视角下包含目标人物的第一图像之前，所述方法还包括：循环执行以下步骤，直至完成对所述三维生成对抗网络的预训练：将多维分布的高斯噪声输入所述三维生成对抗网络，输出人物图像的三维表达，并利用所述人物图像的三维表达对应的可微分渲染方法将所述三维表达渲染为随机相机视角下的二维人物图像；利用判别器识别所述随机相机视角下的二维人物图像是否为真实图像，并根据识别结果调整所述三维生成对抗网络的参数；其中，所述判别器基于真实二维人物图像对所述随机相机视角下的二维人物图像进行识别。
[0008]可选地，所述完成对所述三维生成对抗网络的预训练之后，所述方法还包括：将真实二维人物图像作为所述粗粒度图像编码器的输入图像，对所述粗粒度图像编码器进行训练，使得所述粗粒度图像编码器输出的隐空间向量输入到所述三维生成对抗网络后，所述
三维生成对抗网络输出的三维表达能够被重建为所述粗粒度图像编码器的输入图像；其中，所述粗粒度图像编码器输出的隐空间向量为：所述粗粒度图像编码器将输入图像映射为所述三维生成对抗网络的中间层输出的隐空间向量；所述粗粒度图像编码器的训练过程使用的第一损失函数包括目标损失函数中的至少一项；所述目标损失函数包括：输入图像与重建图像的像素差异，感知损失，输入图像与重建图像之间人物特征差异，粗粒度图像编码器输出的隐空间向量与所述三维生成对抗网络的隐空间向量平均值之间的差异；所述隐空间向量平均值为：所述三维生成对抗网络在预训练过程中，所述中间层输出的多个隐空间向量的平均值。
[0009]可选地，所述将真实二维人物图像作为所述粗粒度图像编码器的输入图像，对所述粗粒度图像编码器进行训练之后，所述方法还包括：基于训练后的所述粗粒度图像编码器对所述三维生成对抗网络的模型参数进行调优；其中，调优过程使用真实二维人物图像作为训练数据；调优过程使用的第二损失函数包括：所述目标损失函数中的至少一项，和/或，所述三维生成对抗网络在预训练过程中生成的二维人物图像与所述三维生成对抗网络调优前的生成结果的相似性损失；所述三维生成对抗网络调优前的生成结果为：所述三维生成对抗网络输出的三维表达所渲染出的二维人物图像。
[0010]可选地，所述将真实二维人物图像作为所述粗粒度图像编码器的输入图像，对所述粗粒度图像编码器进行训练之后，所述方法还包括：循环执行以下步骤对所述细粒度图像编码器进行训练：将真实二维人物图像作为所述细粒度图像编码器的输入图像，通过所述细粒度图像编码器提取输入图像的三维细节特征，并将提取到的三维细节特征与所述三维生成对抗网络基于同一输入图像输出的三维表达相结合，得到细粒度三维表达；基于所述细粒度三维表达渲染生成任一相机视角下的二维人物图像，并根据第三损失函数的损失值对所述细粒度图像编码器的模型参数进行调整；其中，所述第三损失函数包括：所述目标损失函数中的至少一项；在所述细粒度图像编码器的训练过程中，基于第三图像对第四图像的合理性进行约束；所述第三图像为：所述粗粒度图像编码器映射得到的隐空间向量输入到所述三维生成对抗网络后，得到的三维表达所渲染的二维人物图像；所述第四图像为：基于所述细粒度三维表达所渲染的二维人物图像；所述第三图像与所述第四图像为基于同一输入图像得到的。
[0011]本申请还提供一种多视角图像生成装置，包括：获取模块，用于获取任一视角下包含目标人物的第一图像；处理模块，用于将所述第一图像输入目标模型，得到所述第一图像的粗粒度三维表达，以及将所述第一图像输入细粒度图像编码器，得到所述第一图像的三维细节特征；生成模块，用于将所述粗粒度三维表达与所述三维细节特征结合后，得到所述第一图像的细粒度三维表达，并基于所述细粒度三维表达，渲染出给定相机视角下包含所述目标人物的第二图像；其中，所述目标模型包括：粗粒度图像编码器和三维生成对抗网络；所述粗粒度图像编码器用于将所述第一图像映射为所述三维生成对抗网络的中间层输出的隐空间向量；所述三维生成对抗网络用于基于所述粗粒度图像编码器输出的隐空间向量得到所述粗粒度三维表达。
[0012]可选地，所述装置还包括：训练模块；所述训练模块，用于将多维分布的高斯噪声输入所述三维生成对抗网络，输出人物图像的三维表达，并利用所述人物图像的三维表达对应的可微分渲染方法将所述三维表达渲染为随机相机视角下的二维人物图像；所述训练
模块，还用于利用判别器识别所述随机相机视角下的二维人物图像是否为真实图像，并根据识别结果调整所述三维生成对抗网络的参数；其中，所述判别器基于真实二维人物图像对所述随机相机视角下的二维人物图像进行识别。
[0013]可选地，所述训练模块，用于将真实二维人物图像作为所述粗粒度图像编码器的输入图像，对所述粗粒度图像编码器进行训练，使得所述粗粒度图像编码器输出的隐空间向量输入到所述三维生成对抗网络后，所述三维生成对抗网络输出的三维表达能够被重建为所述粗粒度图像编码器的输入图像；其中，所述粗粒度图像编码器输出的隐空间向量为：所述粗粒度图像编码器将输入图像映射为所述三维生成对抗网络的中间层输出的隐空间向量；所述粗粒度图像编码器的训练过程使用的第一损失函数包括目标损失函数中的至少一项；所述目标损失函数包括：输入图像与重建图像的像素差异，感知损失，输入图像与重建图像之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视角图像生成方法，其特征在于，包括：获取任一视角下包含目标人物的第一图像；将所述第一图像输入目标模型，得到所述第一图像的粗粒度三维表达，以及将所述第一图像输入细粒度图像编码器，得到所述第一图像的三维细节特征；将所述粗粒度三维表达与所述三维细节特征结合后，得到所述第一图像的细粒度三维表达，并基于所述细粒度三维表达，渲染出给定相机视角下包含所述目标人物的第二图像；其中，所述目标模型包括：粗粒度图像编码器和三维生成对抗网络；所述粗粒度图像编码器用于将所述第一图像映射为所述三维生成对抗网络的中间层输出的隐空间向量；所述三维生成对抗网络用于基于所述粗粒度图像编码器输出的隐空间向量得到所述粗粒度三维表达。2.根据权利要求1所述的方法，其特征在于，所述获取任一视角下包含目标人物的第一图像之前，所述方法还包括：循环执行以下步骤，直至完成对所述三维生成对抗网络的预训练：将多维分布的高斯噪声输入所述三维生成对抗网络，输出人物图像的三维表达，并利用所述人物图像的三维表达对应的可微分渲染方法将所述三维表达渲染为随机相机视角下的二维人物图像；利用判别器识别所述随机相机视角下的二维人物图像是否为真实图像，并根据识别结果调整所述三维生成对抗网络的参数；其中，所述判别器基于真实二维人物图像对所述随机相机视角下的二维人物图像进行识别。3.根据权利要求2所述的方法，其特征在于，所述完成对所述三维生成对抗网络的预训练之后，所述方法还包括：将真实二维人物图像作为所述粗粒度图像编码器的输入图像，对所述粗粒度图像编码器进行训练，使得所述粗粒度图像编码器输出的隐空间向量输入到所述三维生成对抗网络后，所述三维生成对抗网络输出的三维表达能够被重建为所述粗粒度图像编码器的输入图像；其中，所述粗粒度图像编码器输出的隐空间向量为：所述粗粒度图像编码器将输入图像映射为所述三维生成对抗网络的中间层输出的隐空间向量；所述粗粒度图像编码器的训练过程使用的第一损失函数包括目标损失函数中的至少一项；所述目标损失函数包括：输入图像与重建图像的像素差异，感知损失，输入图像与重建图像之间人物特征差异，粗粒度图像编码器输出的隐空间向量与所述三维生成对抗网络的隐空间向量平均值之间的差异；所述隐空间向量平均值为：所述三维生成对抗网络在预训练过程中，所述中间层输出的多个隐空间向量的平均值。4.根据权利要求3所述的方法，其特征在于，所述将真实二维人物图像作为所述粗粒度图像编码器的输入图像，对所述粗粒度图像编码器进行训练之后，所述方法还包括：基于训练后的所述粗粒度图像编码器对所述三维生成对抗网络的模型参数进行调优；其中，调优过程使用真实二维人物图像作为训练数据；调优过程使用的第二损失函数包括：所述目标损失函数中的至少一项，和/或，所述三维生成对抗网络在预训练过程中生成的二维人物图像与所述三维生成对抗网络调优前的生成结果的相似性损失；所述三维生
成对抗网络调优前的生成结果为：所述三维生成对抗网络输出的三维表达所渲染出的二维人物图像。5.根据权利要求3或4所述的方法，其特征在于，所述将真实二维人物图像作为所述粗粒度图像编码器的输入图像，对所述粗粒度图像编码器进行训练之后，所述方法还包括：循环执行以下步骤对所述细粒度图像编码器进行训练：将真实二维人物图像作为所述细粒度图像编码器的输入图像，通过所述细粒度图像编码器提取输入图像的三维细节特征，并将提取到的三维细节特...

【专利技术属性】
技术研发人员：邓誉，王宝元，沈向洋，
申请(专利权)人：北京红棉小冰科技有限公司，
类型：发明
国别省市：