基于深度学习的新视角场景合成方法和装置制造方法及图纸

本申请提出基于深度学习的新视角场景合成方法和装置，其中，方法包括：通过控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集，获取训练图像集中N张连续训练图像中第一张训练图像和第N张训练图像及其对应的相机位置参数信息；通过计算得到第一张训练图像和第N张训练图像的图像特征以对场景合成模型进行训练，根据合成场景图像和真实训练场景图像对应的损失函数值对场景合成模型的网络参数进行调整，以完成对场景合成模型的训练。由此，通过训练场景中的训练图像的不同图像特征对场景合成模型进行训练，提高了场景合成的准确度。

【技术实现步骤摘要】
基于深度学习的新视角场景合成方法和装置
本申请涉及虚拟现实
，尤其涉及一种基于深度学习的新视角场景合成方法和装置。
技术介绍
随着虚拟现实技术的发展，其市场应用也越来越广泛，并且虚拟场景的漫游也成为一个热门的应用领域，由此发展出的新视角场景合成问题也引起了学术界的关注。但是，现有技术中的新视角场景合成技术，合成的场景和真实场景之间的差距较大，从而导致合成的场景真实性较低。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。本申请提出一种基于深度学习的新视角场景合成模型训练方法和装置，以解决现有技术中对场景合成时出现合成场景与真是场景差距较大的技术问题。本申请一方面实施例提出了一种基于深度学习的新视角场景合成模型训练方法，包括：控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集；获取所述训练图像集中N张连续拍摄的训练图像，其中，N为大于等于3的正整数；获取所述N张连续训练图像中第一张训练图像和第N张训练图像的相机位置参数信息；根据所述第一张训练图像和第N张训练图像的相机位置参数信息，将所述第一张训练图像向所述第N张训练图像进行投影变换得到第一投影图像，并将所述第N张训练图像向所述第一张训练图像进行投影变换得到第二投影图像；计算所述第一投影图像和所述第N张训练图像相同位置像素之间的第一像素平均值和第一像素标准差，得到与所述第一像素平均值对应的第一特征图像和与所述第一像素标准差对应的第二特征图像；计算所述第二投影图像和所述第一张训练图像相同位置像素之间的第二像素平均值和第二像素标准差，得到与所述第二像素平均值对应的第三特征图像和与所述第二像素标准差对应的第四特征图像；将所述第一特征图像和所述第二特征图像输入至第一深度神经网络得到第一深度图像，将所述第三特征图像和所述第四特征图像输入至第二深度神经网络得到第二深度图像，根据所述第二深度图像和对应的所述第一张训练图像以及所述第一深度图像和对应的所述第N张训练图像估算生成第2至第N-1张图像的N-2张估算图像，并计算所述N-2张估算图像、所述第一张训练图像和所述第N张训练图像的拼接图像特征，将所述拼接图像特征输入至第三深度神经网络得到合成场景图像；根据所述合成场景图像和真实训练场景图像对应的损失函数值对所述第一深度神经网络、所述第二深度神经网络和所述第三深度神经网络的网络参数进行调整，以完成对场景合成模型的训练。本申请实施例的基于深度学习的新视角场景合成方法，通过控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集，获取训练图像集中N张连续训练图像中第一张训练图像和第N张训练图像及其对应的相机位置参数信息；通过计算得到第一张训练图像和第N张训练图像的图像特征以对场景合成模型进行训练，根据合成场景图像和真实训练场景图像对应的损失函数值对场景合成模型的网络参数进行调整，以完成对场景合成模型的训练。由此，通过训练场景中的训练图像的不同图像特征对场景合成模型进行训练，提高了场景合成的准确度。本申请又一方面实施例提出了一种基于深度学习的新视角场景合成模型训练装置，包括：拍摄模块，用于控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集；第一获取模块，用于获取所述训练图像集中N张连续拍摄的训练图像，其中，N为大于等于3的正整数；第二获取模块，用于获取所述N张连续训练图像中第一张训练图像和第N张训练图像的相机位置参数信息；投影变换模块，用于根据所述第一张训练图像和第N张训练图像的相机位置参数信息，将所述第一张训练图像向所述第N张训练图像进行投影变换得到第一投影图像，并将所述第N张训练图像向所述第一张训练图像进行投影变换得到第二投影图像；第一计算模块，用于计算所述第一投影图像和所述第N张训练图像相同位置像素之间的第一像素平均值和第一像素标准差，得到与所述第一像素平均值对应的第一特征图像和与所述第一像素标准差对应的第二特征图像；第二计算模块，用于计算所述第二投影图像和所述第一张训练图像相同位置像素之间的第二像素平均值和第二像素标准差，得到与所述第二像素平均值对应的第三特征图像和与所述第二像素标准差对应的第四特征图像；输入模块，用于将所述第一特征图像和所述第二特征图像输入至第一深度神经网络得到第一深度图像，将所述第三特征图像和所述第四特征图像输入至第二深度神经网络得到第二深度图像，根据所述第二深度图像和对应的所述第一张训练图像以及所述第一深度图像和对应的所述第N张训练图像估算生成第2至第N-1张图像的N-2张估算图像，并计算所述N-2张估算图像、所述第一张训练图像和所述第N张训练图像的拼接图像特征，将所述拼接图像特征输入至第三深度神经网络得到合成场景图像；调整模块，用于根据所述合成场景图像和真实训练场景图像对应的损失函数值对所述第一深度神经网络、所述第二深度神经网络和所述第三深度神经网络的网络参数进行调整，以完成对场景合成模型的训练。本申请实施例的基于深度学习的新视角场景合成装置，通过控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集，获取训练图像集中N张连续训练图像中第一张训练图像和第N张训练图像及其对应的相机位置参数信息；通过计算得到第一张训练图像和第N张训练图像的图像特征以对场景合成模型进行训练，根据合成场景图像和真实训练场景图像对应的损失函数值对场景合成模型的网络参数进行调整，以完成对场景合成模型的训练。由此，通过训练场景中的训练图像的不同图像特征对场景合成模型进行训练，提高了场景合成的准确度。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本申请实施例提供的一种基于深度学习的新视角场景合成模型训练方法的流程示意图；图2为本申请实施例提供的一种基于深度学习的新视角场景合成模型结构示意图；图3为本申请实施例提供的一种基于深度学习的新视角场景合成方法的流程示意图；图4为本申请实施例提供的一种基于深度学习的新视角场景合成模型训练装置的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。下面参考附图描述本申请实施例的基于深度学习的新视角场景合成模型训练方法和装置。图1为本申请实施例提供的一种基于深度学习的新视角场景合成模型训练方法的流程示意图。如图1所示，该基于深度学习的新视角场景合成模型训练方法包括以下步骤：步骤101，控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对训练场景拍摄一张图像得到训练图像集。具体地，在对场景合成模型进行训练时，首先要获取训练图像，在获取训练图像时，可以利用图像采集系统的高精度摄像头，通过调整摄像头的角度、光线、滤镜、倍镜、聚焦等参数，进而拍摄得到训练场景的训练图像。作为一种可能的实现方式，可以本文档来自技高网...

【技术保护点】
1.一种基于深度学习的新视角场景合成模型训练方法，其特征在于，所述方法包括以下步骤：控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集；获取所述训练图像集中N张连续拍摄的训练图像，其中，N为大于等于3的正整数；获取所述N张连续训练图像中第一张训练图像和第N张训练图像的相机位置参数信息；根据所述第一张训练图像和所述第N张训练图像的相机位置参数信息，将所述第一张训练图像向所述第N张训练图像进行投影变换得到第一投影图像，并将所述第N张训练图像向所述第一张训练图像进行投影变换得到第二投影图像；计算所述第一投影图像和所述第N张训练图像相同位置像素之间的第一像素平均值和第一像素标准差，得到与所述第一像素平均值对应的第一特征图像和与所述第一像素标准差对应的第二特征图像；计算所述第二投影图像和所述第一张训练图像相同位置像素之间的第二像素平均值和第二像素标准差，得到与所述第二像素平均值对应的第三特征图像和与所述第二像素标准差对应的第四特征图像；将所述第一特征图像和所述第二特征图像输入至第一深度神经网络得到第一深度图像，将所述第三特征图像和所述第四特征图像输入至第二深度神经网络得到第二深度图像，根据所述第二深度图像和对应的所述第一张训练图像以及所述第一深度图像和对应的所述第N张训练图像估算生成第2至第N‑1张图像的N‑2张估算图像，并计算所述N‑2张估算图像、所述第一张训练图像和所述第N张训练图像的拼接图像特征，将所述拼接图像特征输入至第三深度神经网络得到合成场景图像；根据所述合成场景图像和真实训练场景图像对应的损失函数值对所述第一深度神经网络、所述第二深度神经网络和所述第三深度神经网络的网络参数进行调整，以完成对场景合成模型的训练。...

【技术特征摘要】
1.一种基于深度学习的新视角场景合成模型训练方法，其特征在于，所述方法包括以下步骤：控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集；获取所述训练图像集中N张连续拍摄的训练图像，其中，N为大于等于3的正整数；获取所述N张连续训练图像中第一张训练图像和第N张训练图像的相机位置参数信息；根据所述第一张训练图像和所述第N张训练图像的相机位置参数信息，将所述第一张训练图像向所述第N张训练图像进行投影变换得到第一投影图像，并将所述第N张训练图像向所述第一张训练图像进行投影变换得到第二投影图像；计算所述第一投影图像和所述第N张训练图像相同位置像素之间的第一像素平均值和第一像素标准差，得到与所述第一像素平均值对应的第一特征图像和与所述第一像素标准差对应的第二特征图像；计算所述第二投影图像和所述第一张训练图像相同位置像素之间的第二像素平均值和第二像素标准差，得到与所述第二像素平均值对应的第三特征图像和与所述第二像素标准差对应的第四特征图像；将所述第一特征图像和所述第二特征图像输入至第一深度神经网络得到第一深度图像，将所述第三特征图像和所述第四特征图像输入至第二深度神经网络得到第二深度图像，根据所述第二深度图像和对应的所述第一张训练图像以及所述第一深度图像和对应的所述第N张训练图像估算生成第2至第N-1张图像的N-2张估算图像，并计算所述N-2张估算图像、所述第一张训练图像和所述第N张训练图像的拼接图像特征，将所述拼接图像特征输入至第三深度神经网络得到合成场景图像；根据所述合成场景图像和真实训练场景图像对应的损失函数值对所述第一深度神经网络、所述第二深度神经网络和所述第三深度神经网络的网络参数进行调整，以完成对场景合成模型的训练。2.如权利要求1所述的基于深度学习的新视角场景合成模型训练方法，其特征在于，所述方法还包括：获取待合成场景的两张拍摄图像；将所述两张拍摄图像与所述拍摄图像对应的相机参数输入经过训练的场景合成模型，以根据所述场景合成模型的输出完成对场景的合成。3.如权利要求1所述的基于深度学习的新视角场景合成模型训练方法，其特征在于，所述相机位置参数信息为所述相机拍摄训练图像时对应的所述相机的位置坐标和旋转矩阵。4.如权利要求2所述的基于深度学习的新视角场景合成模型训练方法，其特征在于，所述拍摄图像是通过控制所述相机在同一训练场景下按照所述预设圆轨道旋转拍摄得到的。5.如权利要求1所述的基于深度学习的新视角场景合成模型训练方法，其特征在于，所述训练图像集为在虚拟场景中模拟拍摄得到的。6.一种基于深度学习的新视角场景合成模型训练装置，其特征在于，所述装置包括：...

【专利技术属性】
技术研发人员：徐枫，唐瑞杰，杨东，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11