【技术实现步骤摘要】
本申请涉及三维成像，特别涉及一种基于光场相机与神经网络的场景重建方法及装置。
技术介绍
1、随着生命科学、自动驾驶和元宇宙等领域的快速发展，对于微观、宏观和虚拟环境下的三维感知与场景重建的技术要求随之提高，对环境进行高维度的高精细感知并对场景进行高精度重构逐渐成为了研究热点。
2、相关技术中，环境感知与场景重构大多采用主动式照射或相机被动式采集等方法探测环境信息，并基于采集的环境信息进行三维重构。
3、然而，相关技术中，主动式照射方式的成本高昂、分辨率较低且受环境影响较大，其物理成像机制导致其难以完成清晰全面的成像过程，而相机被动式采集需多个相机协同工作对环境进行信息采集，在配置、标定和计算方面较为复杂，影响了最终的场景重建结果，无法满足高精度高分别率的场景重构需求，亟待解决。
技术实现思路
1、本申请提供一种基于光场相机与神经网络的场景重建方法及装置，以解决相关技术中，主动式照射方式的成本高昂、分辨率较低且受环境影响较大，其物理成像机制导致其难以完成清晰全面的成像过程，而相机被动式采集需多个相机协同工作对环境进行信息采集，在配置、标定和计算方面较为复杂，影响了最终的场景重建结果，无法满足高精度高分别率的场景重构需求等问题。
2、本申请第一方面实施例提供一种基于光场相机与神经网络的场景重建方法，包括以下步骤：采集目标场景中至少一种分辨率下的多视角光场图像，并根据所述多视角光场图像构建光场图像数据集；确定所述光场图像数据集中每个多视角光场图像对应的
3、可选地，在本申请的一个实施例中，所述利用所述超分辨后的每个多视角光场图像分辨率构建超分辨光场图像深度图数据集，包括：确定所述每个多视角光场图像的中心视角，结合所述超分辨后的每个多视角光场图像分辨率和所述中心视角，获取超分辨后的中心视角深度图；基于所述超分辨后的中心视角深度图，构建所述超分辨光场图像深度图数据集。
4、可选地，在本申请的一个实施例中，所述基于所述光场图像数据集和所述超分辨光场图像深度图数据集训练预设神经网络模型，得到训练后的预设神经网络模型的输出结果，包括：将所述光场图像数据集输入所述预设神经网络模型的图像超分辨模块，生成模拟超分辨光场图像；基于所述模拟超分辨光场图像和所述超分辨光场图像深度图数据集，由所述预设神经网络模型的多视角融合输出深度图模块输出所述目标场景的模拟深度图，利用预设损失函数和所述模拟深度图训练所述预设神经网络模型。
5、可选地，在本申请的一个实施例中，所述预设损失函数为：
6、
7、其中，lfm×n为所述光场图像数据集，lftodepth为所述多视角融合输出深度图模块，sri为所述图像超分辨模块，depthh×w为所述超分辨光场图像深度图数据集，m×n为所述光场图像分辨率，h×w为所述超分辨后的图像分辨率，i为所述超分辨参数。
8、本申请第二方面实施例提供一种基于光场相机与神经网络的场景重建装置，包括：采集模块，用于采集目标场景中至少一种分辨率下的多视角光场图像，并根据所述多视角光场图像构建光场图像数据集；计算模块，用于确定所述光场图像数据集中每个多视角光场图像对应的超分辨参数，以计算超分辨后的每个多视角光场图像分辨率，利用所述超分辨后的每个多视角光场图像分辨率构建超分辨光场图像深度图数据集；重建模块，用于基于所述光场图像数据集和所述超分辨光场图像深度图数据集，训练预设神经网络模型，得到训练后的预设神经网络模型的输出结果，在所述输出结果中选取最优的光场图像分辨率和超分辨参数，以生成目标场景的最终重建结果。
9、可选地，在本申请的一个实施例中，所述计算模块，包括：获取单元，用于确定所述每个多视角光场图像的中心视角，结合所述超分辨后的每个多视角光场图像分辨率和所述中心视角，获取超分辨后的中心视角深度图；构建单元，用于基于所述超分辨后的中心视角深度图，构建所述超分辨光场图像深度图数据集。
10、可选地，在本申请的一个实施例中，所述重建模块包括：生成单元，用于将所述光场图像数据集输入所述预设神经网络模型的图像超分辨模块，生成模拟超分辨光场图像；训练单元，用于基于所述模拟超分辨光场图像和所述超分辨光场图像深度图数据集，由所述预设神经网络模型的多视角融合输出深度图模块输出所述目标场景的模拟深度图，利用预设损失函数和所述模拟深度图训练所述预设神经网络模型。
11、可选地，在本申请的一个实施例中，所述预设损失函数为：
12、
13、其中，lfm×n为所述光场图像数据集，lftodepth为所述多视角融合输出深度图模块，sri为所述图像超分辨模块，depthh×w为所述超分辨光场图像深度图数据集，m×n为所述光场图像分辨率，h×w为所述超分辨后的图像分辨率，i为所述超分辨参数。
14、本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于光场相机与神经网络的场景重建方法。
15、本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于光场相机与神经网络的场景重建方法。
16、本申请实施例可以基于构建目标场景的光场图像数据集和超分辨光场图像深度图数据集实现对环境的高维度感知，从而构造端到端的神经网络，通过训练神经网络得到光场相机采集图像的最优分辨率和超分辨系数，最终实现目标场景的高精度重建。由此，解决了相关技术中，主动式照射方式的成本高昂、分辨率较低且受环境影响较大，其物理成像机制导致其难以完成清晰全面的成像过程，而相机被动式采集需多个相机协同工作对环境进行信息采集，在配置、标定和计算方面较为复杂，影响了最终的场景重建结果，无法满足高精度高分别率的场景重构需求等问题。
17、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
本文档来自技高网...【技术保护点】
1.一种基于光场相机与神经网络的场景重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述利用所述超分辨后的每个多视角光场图像分辨率构建超分辨光场图像深度图数据集，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述光场图像数据集和所述超分辨光场图像深度图数据集训练预设神经网络模型，得到训练后的预设神经网络模型的输出结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述预设损失函数为：
5.一种基于光场相机与神经网络的场景重建装置，其特征在于，包括：
6.根据权利要求5所述的装置，其特征在于，所述计算模块，包括：
7.根据权利要求5所述的装置，其特征在于，所述重建模块包括：
8.根据权利要求7所述的装置，其特征在于，所述预设损失函数为：
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4任一项所述的基于光场相机与神经网络的场景重建方法。p>
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任一项所述的基于光场相机与神经网络的场景重建方法。
...【技术特征摘要】
1.一种基于光场相机与神经网络的场景重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述利用所述超分辨后的每个多视角光场图像分辨率构建超分辨光场图像深度图数据集，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述光场图像数据集和所述超分辨光场图像深度图数据集训练预设神经网络模型，得到训练后的预设神经网络模型的输出结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述预设损失函数为：
5.一种基于光场相机与神经网络的场景重建装置，其特征在于，包括：
6.根据权利要求5所...
【专利技术属性】
技术研发人员：邬京耀，张希雅，
申请(专利权)人：杭州涿溪脑与智能研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。