一种图像生成方法、装置、存储介质及电子设备制造方法及图纸

本说明书公开了一种图像生成方法、装置、存储介质及电子设备，可以通过神经网络模型来生成用户指定的目标物的姿态下目标物的形体结构，以及目标物处于用户指定的姿态时的各表面点的反射率信息，进而可以根据确定出的目标物的形体结构，以及目标物的各表面点的反射率信息，以及用户指定的环境光源，生成处于指定姿态的目标物在指定环境光源的照射下的重光照图像，进而可以避免使用硬件设备按照用户所需的指定环境光源搭建相应的环境所需的成本。需的指定环境光源搭建相应的环境所需的成本。需的指定环境光源搭建相应的环境所需的成本。

【技术实现步骤摘要】
一种图像生成方法、装置、存储介质及电子设备


[0001]本说明书涉及图像处理
，尤其涉及一种图像生成方法、装置、存储介质及电子设备。

技术介绍

[0002]随着机器学习、人工智能和5G等基础技术的高速发展，促使数字人体建模技术被广泛的应用于影视制作、增强现实、传媒和金融等领域中。
[0003]通常情况下，在进行数字人体建模时，需要通过搭建包含有多种光源设备以及多个工业级相机的光舞台图像采集系统，来采集不同光源下的人体图像，并基于采集到的人体图像来完成数字人体模型的重光照（即，合成真实物体在虚拟世界的光照环境下的光影的过程）。而基于硬件设备采集不同光源下的人体图像的方法的成本往往较高。
[0004]因此，如何降低数字人体重光照的成本，是一个亟待解决的问题。

技术实现思路

[0005]本说明书提供一种图像生成方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：本说明书提供了一种图像生成方法，所述方法应用于预先训练的图像生成模型，所述图像生成模型包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，所述方法应用于预先训练的图像生成模型，所述图像生成模型包括：动态神经辐射网络、反射率神经网络，所述方法包括：获取目标物所处的指定环境光源以及目标物的指定姿态；将所述指定姿态输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息，所述形体结构信息用于表征所述目标物在处于所述指定姿态时的各表面点的位置；将所述形体结构信息输入到所述反射率神经网络，以通过所述反射率神经网络，确定所述目标物在处于所述指定姿态时的各表面点的反射率信息；根据所述形体结构信息、所述反射率信息以及所述指定环境光源，得到处于所述指定姿态的目标物在所述指定环境光源下的重光照图像。2.如权利要求1所述的方法，其特征在于，将所述指定姿态输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息，具体包括：将所述指定姿态输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于指定姿态的目标物在标准姿态空间中的密度场，所述密度场用于表征光线在标准姿态空间中的每个空间点上终止的概率；根据所述密度场，确定处于所述指定姿态的目标物的形体结构信息。3.如权利要求1所述的方法，其特征在于，将所述指定姿态输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息之前，所述方法还包括：针对所述指定姿态的目标物包含的每个三维采样点，从预设的线性蒙皮SMPL模型包含的各模型点中确定出与该三维采样点相匹配的模型点；根据与该三维采样点相匹配的模型点在所述SMPL模型中所属的区域，确定该三维采样点对应的混合权重；根据所述混合权重以及所述区域对应的变换矩阵，确定该三维采样点在标准姿态空间中对应的标准点；将所述指定姿态输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息，具体包括：将所述指定姿态的目标物包含的每个三维采样点对应的标准点输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息。4.如权利要求3所述的方法，其特征在于，所述图像生成模型还包括：位移场网络；将所述指定姿态的目标物包含的每个三维采样点对应的标准点输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息，具体包括：将所述指定姿态的目标物包含的每个三维采样点对应的标准点以及所述SMPL模型输入到所述位移场网络中，以通过所述位移场网络对所述指定姿态的目标物包含的每个三维采样点对应的标准点进行优化，得到所述指定姿态的目标物包含的每个三维采样点对应的优化后标准点；
将所述指定姿态的目标物包含的每个三维采样点对应的优化后标准点输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息。5.如权利要求1所述的方法，其特征在于，所述图像生成模型还包括：遮挡场网络；根据所述形体结构信息、所述反射率信息以及所述指定环境光源，得到处于所述指定姿态的目标物在所述指定环境光源下的重光照图像之前，所述方法还包括：将所述形体结构信息以及所述指定环境光源输入到所述遮挡场网络，以通过所述遮挡场网络，得到所述目标物处于所述指定姿态时的各表面点与所述指定环境光源之间的遮挡关系；根据所述形体结构信息、所述反射率信息以及所述指定环境光源，得到处于所述指定姿态的目标物在所述指定环境光源下的重光照图像，具体包括：根据所述形体结构信息、所述反射率信息、所述遮挡关系以及所述指定环境光源，得到处于所述指定姿态的目标物在所述指定环境光源下的重光照图像。6.如权利要求1所述的方法，其特征在于，训练所述图像生成模型，具体包括：获取所述目标物的各样本图像，不同样本图像对应的采集视角不同；针对每个样本图像，将该样本图像输入到所述图像生成模型的动态神经辐射网络，以通过所述动态神经辐射网络，得到处于所述样本图像中包含的样本目标物的形体结构信息；通过预设的渲染器根据所述样本目标物的形体结构信息，生成所述样本目标物的合成样本图像；以最小化所述合成样本图像和该样本图像之间的偏差为优化目标，对所述图像生成模型的动态神经辐射网络进行训练。7.如权利要求6所述的方法，其特征在于，所述图像生成模型还包括：位移场网络；针对每个样本图像，将该样本图像输入到所述图像生成模型的动态神经辐射网络，以通过所述动态神经辐射网络，得到处于所述样本图像中包含的样本目标物的形体结构信息，具体包括：针对每个样本图像，通过预设的SMPL模型确定该样本图像中包含的样本目标物的每个三维采样点对应的标准点；将该样本图像中包含的每个三维采样点对应的标准点以及所述SMPL模型输入到所述位移场网络中，以通过所述位移场网络对所述样本目标物包含的每个三维采样点对应的标准点进行优化，得到所述样本目标物包含的每个三维采样点对应的优化后标准点；将所述样本目标物包含的每个三维采样点对应的优化后标准点输入到所述图像生成模型的动态神经辐射...

【专利技术属性】
技术研发人员：张艾嘉，李碧清，刘通，韩松岭，
申请(专利权)人：之江实验室，
类型：发明
国别省市：