一种基于神经辐射场的图像渲染方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种基于神经辐射场的图像渲染方法、装置及电子设备，所述方法包括：获取用于描述预期场景的描述信息；获取包含目标对象的输入图像；从所述输入图像中提取对象特征，得到所述目标对象的对象特征；将所述目标对象的对象特征以及用于描述所述预期场景的场景信息输入至神经辐射场模型，得到所述神经辐射场模型输出的图像，作为渲染得到的所述目标对象在所述预期场景中的目标图像；其中，所述神经辐射场模型预先经过多个样本对象的样本数据的训练，每个样本对象的样本数据包括：该样本对象的对象特征、该样本对象在样本场景中的样本图像。基于此，可以提高图像渲染效率。效率。效率。

【技术实现步骤摘要】
一种基于神经辐射场的图像渲染方法、装置及电子设备


[0001]本专利技术涉及人工智能
，特别是涉及一种基于神经辐射场的图像渲染方法、装置及电子设备。

技术介绍

[0002]在一些应用场景中，用户可能需要获取特定视角下的目标对象的图像，例如，用户需要获取特定人员或车辆的侧视图。但是受限制于各种条件，难以在真实的预期场景中从特定视角拍摄目标对象以得到用户需要的图像。
[0003]相关技术中，可以利用从特定视角以外的其他视角拍摄目标对象得到的图像，训练生成神经辐射场模型，并利用神经辐射场模型渲染得到特定视角下的目标对象的图像。
[0004]但是，该方案中训练得到的神经辐射场模型只能够适用于一个目标对象，当存在多个目标对象时，需要针对每个目标对象分别训练一个新的神经辐射场模型，导致图像渲染的效率较低。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种基于神经辐射场的图像渲染方法、装置及电子设备，以实现提高图像渲染效率。具体技术方案如下：
[0006]在本专利技术实施的第一方面，首先提供了一种基于神经辐射场的图像渲染方法，所述方法包括：
[0007]获取用于描述预期场景的描述信息；
[0008]获取包含目标对象的输入图像；
[0009]从所述输入图像中提取对象特征，得到所述目标对象的对象特征；
[0010]将所述目标对象的对象特征以及用于描述所述预期场景的场景信息输入至神经辐射场模型，得到所述神经辐射场模型输出的图像，作为渲染得到的所述目标对象在所述预期场景中的目标图像；
[0011]其中，所述神经辐射场模型预先经过多个样本对象的样本数据的训练，每个样本对象的样本数据包括：该样本对象的对象特征、该样本对象在样本场景中的样本图像。
[0012]在一种可能的实施例中，所述将所述目标对象的对象特征以及用于描述所述预期场景的描述信息输入至神经辐射场模型，得到所述神经辐射场模型输出的图像，作为渲染得到的所述目标对象在所述预期场景中的目标图像，包括：
[0013]将所述目标对象的对象特征输入至神经辐射场模型，以使得所述神经辐射场模型根据所述目标对象的对象特征微调所述神经辐射场模型的模型参数，得到经过微调的神经辐射场模型；
[0014]将用于描述所述预期场景的描述信息输入至所述经过微调的神经辐射场模型，得到所述经过微调的神经辐射场模型输出的图像，作为渲染得到的所述目标对象在所述预期场景中的目标图像。
[0015]在一种可能的实施例中，所述将所述目标对象的对象特征以及用于描述所述预期场景的描述信息输入至神经辐射场模型，得到所述神经辐射场模型输出的图像，作为渲染得到的所述目标对象在所述预期场景中的目标图像，包括：
[0016]将所述目标对象的对象特征输入至神经辐射场模型，以使得神经辐射场模型根据所述目标对象的对象特征初始化所述神经辐射场模型的元学习参数，得到初始化后的神经辐射场模型；
[0017]将用于描述所述预期场景描述信息输入至所述初始化后的神经辐射场模型，得到所述初始化后的神经辐射场模型输出的图像，作为渲染得到的所述目标对象在所述预期场景中的目标图像；
[0018]其中，初始化前的神经辐射场模型为基于元学习的训练方式训练得到的。
[0019]在一种可能的实施例中，所述神经辐射场模型预先通过以下方式训练得到：
[0020]针对每个样本对象，将该样本对象的对象特征以及用于描述所述样本场景的描述信息输入至第一原始模型，得到所述第一原始模型输出的有偏图像；
[0021]根据所述有偏图像与该样本对象的样本图像之间的差异，调整所述第一原始模型的模型参数，得到神经辐射场模型。
[0022]在一种可能的实施例中，所述方法还包括：
[0023]针对每个样本对象，获取除样本图像以外的该样本对象的图像，作为该样本对象的小样本图像；
[0024]将该样本对象的小样本图像输入至第二原始模型，得到所述第二原始模型输出的对象特征，作为该样本对象的对象特征；
[0025]根据所述有偏图像与该样本对象的样本图像之间的差异，调整所述第二原始模型的模型参数，得到特征提取模型；
[0026]所述从所述输入图像中提取对象特征，得到所述目标对象的对象特征，包括：
[0027]将所述输入图像输入至所述特征提取模型，得到所述特征提取模型输出的对象特征，作为所述目标对象的对象特征。
[0028]在一种可能的实施例中，所述方法还包括：
[0029]从样本对象的样本图像中提取描述信息，作为所述样本场景的描述信息。
[0030]在一种可能的实施例中，描述信息包括用于描述场景中的环境的环境描述信息，和/或，用于描述场景中对象所处状态的状态描述信息。
[0031]在一种可能的实施例中，所述用于描述所述预期场景的场景信息输入至神经辐射场模型，包括：
[0032]根据描述信息的类型，从预设的多个信息编码器中确定与所述类型对应的信息编码器，作为目标信息编码器，其中，每个信息编码器为预先训练得到且用于将对应类型的描述信息编码为预设格式；
[0033]将所述描述信息输入至所述目标信息编码器，得到所述目标信息编码器输出的经过编码的描述信息；
[0034]将所述经过编码的描述信息输入至神经辐射场模型。
[0035]在本专利技术实施的第二方面，还提供了一种基于神经辐射场的图像渲染装置，包括：
[0036]描述信息获取模块，用于获取预期场景的描述信息；
[0037]输入图像获取模块，用于获取包含目标对象的输入图像；
[0038]对象特征获取模块，用于从所述输入图像中提取对象特征，得到所述目标对象的对象特征；
[0039]目标图像确定模块，用于将所述目标对象的对象特征以及用于描述所述预期场景的场景信息输入至神经辐射场模型，得到所述神经辐射场模型输出的图像，作为渲染得到的所述目标对象在所述预期场景中的目标图像；
[0040]其中，所述神经辐射场模型预先经过多个样本对象的样本数据的训练，每个样本对象的样本数据包括：该样本对象的对象特征、该样本对象在样本场景中的样本图像。
[0041]在一种可能的实施例中，所述目标图像确定模块，具体用于将所述目标对象的对象特征输入至神经辐射场模型，以使得所述神经辐射场模型根据所述目标对象的对象特征微调所述神经辐射场模型的模型参数，得到经过微调的神经辐射场模型；
[0042]将用于描述所述预期场景的描述信息输入至所述经过微调的神经辐射场模型，得到所述经过微调的神经辐射场模型输出的图像，作为渲染得到的所述目标对象在所述预期场景中的目标图像。
[0043]在一种可能的实施例中，所述目标图像确定模块，具体用于将所述目标对象的对象特征输入至神经辐射场模型，以使得神经辐射场模型根据所述目标对象的对象特征初始化所述神经辐射场模型的元学习参数，得到初始化后的神经辐射场模型；
[0044]将用于描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场的图像渲染方法，其特征在于，所述方法包括：获取用于描述预期场景的描述信息；获取包含目标对象的输入图像；从所述输入图像中提取对象特征，得到所述目标对象的对象特征；将所述目标对象的对象特征以及用于描述所述预期场景的场景信息输入至神经辐射场模型，得到所述神经辐射场模型输出的图像，作为渲染得到的所述目标对象在所述预期场景中的目标图像；其中，所述神经辐射场模型预先经过多个样本对象的样本数据的训练，每个样本对象的样本数据包括：该样本对象的对象特征、该样本对象在样本场景中的样本图像。2.根据权利要求1所述的方法，其特征在于，所述将所述目标对象的对象特征以及用于描述所述预期场景的描述信息输入至神经辐射场模型，得到所述神经辐射场模型输出的图像，作为渲染得到的所述目标对象在所述预期场景中的目标图像，包括：将所述目标对象的对象特征输入至神经辐射场模型，以使得所述神经辐射场模型根据所述目标对象的对象特征微调所述神经辐射场模型的模型参数，得到经过微调的神经辐射场模型；将用于描述所述预期场景的描述信息输入至所述经过微调的神经辐射场模型，得到所述经过微调的神经辐射场模型输出的图像，作为渲染得到的所述目标对象在所述预期场景中的目标图像。3.根据权利要求1所述的方法，其特征在于，所述将所述目标对象的对象特征以及用于描述所述预期场景的描述信息输入至神经辐射场模型，得到所述神经辐射场模型输出的图像，作为渲染得到的所述目标对象在所述预期场景中的目标图像，包括：将所述目标对象的对象特征输入至神经辐射场模型，以使得神经辐射场模型根据所述目标对象的对象特征初始化所述神经辐射场模型的元学习参数，得到初始化后的神经辐射场模型；将用于描述所述预期场景描述信息输入至所述初始化后的神经辐射场模型，得到所述初始化后的神经辐射场模型输出的图像，作为渲染得到的所述目标对象在所述预期场景中的目标图像；其中，初始化前的神经辐射场模型为基于元学习的训练方式训练得到的。4.根据权利要求1所述的方法，其特征在于，所述神经辐射场模型预先通过以下方式训练得到：针对每个样本对象，将该样本对象的对象特征以及用于描述所述样本场景的描述信息输入至第一原始模型，得到所述第一原始模型输出的有偏图像；根据所述有偏图像与该样本对象的样本图像之间的差异，调整所述第一原始模型的模型参数，得到神经辐射场模型。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：针对每个样本对象，获取除样本图像以外的该样本对象的图像，作为该样本对象的小样本图像；将该样本对象的小样本图像输入至第二原始模型，得到所述第二原始模型输出的对象特征，作为该样本对象的对象特征；
根据所述有偏图像与该样本对象的样本图像之间的差异，调整所述第二原始模型的模型参数，得到特征提取模型；所述从所述输入图像中提取对象特征，得到所述目标对象的对象特征，包括：将所述输入图像输入至所述特征提取模型，得到所述特征提取模型输出的对象特征，作为所述目标对象的对象特征。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：从样本对象的样本图像中提取描述信息，作为所述样本场景的描述信息。7.根据权利要求1
‑
6任一所述的方法，其特征在于，描述信息包括用于描述场景中的环境的环境描述信息，和/或，用于描述场景中对象所处状态的状态描述信息。8.根据权利要求1
‑
6任一所述的方法，其特征在于，所述用于描述所述预期场景的场景信息输入至神经辐射场模型，包括：根据描述信息的类型，从预设的多个信息编码器中确定与所述类型对应的信息编码器，作为目标信息编码器，其中，每个信息编码器为预先训练得到且用于将对应类型的描述信息编码为预设格式；将所述描述信息输入至所述目标信息编码器，得到所述目标信息编码器输出的经过编码的描述信息；将所述经过编码的描述信息输入至神经辐射场模型。9.一种基于神经辐射场的图像渲染装置，其特征在于，包括：描述信息获取模块，用于获取预期场景的描述信息；输入图像获取模块，用于获取包含目标对象的输入...

【专利技术属性】
技术研发人员：李天琦，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：