一种基于有限视角图像的NeRF三维重构系统及方法技术方案

本发明专利技术公开了一种基于有限视角图像的NeRF三维重构系统及方法，包括以下步骤：获取视频数据，对视频数据进行处理得到图像序列，将图像序列划分为训练集和测试集；构建深度估计网络、位姿估计网络和NeRF网络；基于训练集、深度估计网络和位姿估计网络确定深度估计模型；通过深度估计模型对测试集进行预测得到深度图；根据深度图和相机参数确定总体损失函数；基于总体损失函数训练NeRF网络得到NeRF模型；通过NeRF模型对图像序列进行渲染得到新视图；基于新视图进行三维重构。本发明专利技术则能在视角有限的情况下，实现任意角度下的三维重构，为有限视角下的三维重构提供了一套比较有效的系统及方法。的系统及方法。的系统及方法。

【技术实现步骤摘要】
一种基于有限视角图像的NeRF三维重构系统及方法


[0001]本专利技术属于图像三维重构
，具体涉及一种基于有限视角图像的NeRF三维重构系统及方法。

技术介绍

[0003]传统在植物表型测量工作中多依靠手工测量，如用卷尺测量植株高度、用游标卡尺测量一些苗期植株的地径等。这些测量方法不仅在技术上较为落后，且效率低、结果存在较大误差，同时会对作物产生一定的破坏。随着基因组学研究的快速发展，传统作物表型研究方法在诸多方面已无法满足进一步研究的需要，无损式、高精度、自动化的作物表型获取技术(三维重构)成为作物表型研究的新兴热点方向。
[0004]当前实现三维重构主要有两种方法：基于激光扫描的三维重构和基于图像序列的三维重构。激光扫描具有优良的点云获取性能，在作物表型评价方面展示出了强大的优势，但其扫描时间较长、设备价格高昂，难以在农业领域大范围推广应用；基于序列图像的三维重构相比于激光扫描仪大大减少了所用的成本并且节约了时间，为后续作物表型测量等相关领域奠定了基础，但目前基于序列图像的三维重构的主流方法是多视角三维重构，当在视角有限的情况下时，该种方法的表现较差。

技术实现思路

[0005]本专利技术的目的就是为了解决上述
技术介绍
存在的不足，提供一种基于有限视角图像的NeRF三维重构系统及方法。
[0006]本专利技术采用的技术方案是：一种基于有限视角图像的NeRF三维重构方法，包括以下步骤：
[0007]获取视频数据，对视频数据进行处理得到图像序列，将图像序列划分为训练集和测试集；
[0008]构建深度估计网络、位姿估计网络和NeRF网络；
[0009]基于训练集、深度估计网络和位姿估计网络确定深度估计模型；
[0010]通过深度估计模型对测试集进行预测得到深度图；
[0011]根据深度图和相机参数确定总体损失函数；
[0012]基于总体损失函数训练NeRF网络得到NeRF模型；
[0013]通过NeRF模型对图像序列进行渲染得到新视图；
[0014]基于新视图进行三维重构。
[0015]进一步地，确定深度估计模型的过程为：
[0016]将训练集输入至深度估计网络和位姿估计网络，得到深度估计值和位姿估计值；
[0017]基于深度估计值、位姿估计值及参考图片进行视图合成得到合成的目标图片；
[0018]将真实图片与目标图片比较计算深度损失函数；
[0019]基于深度损失函数训练深度估计网络得到深度估计模型。
[0020]进一步地，所述深度损失函数如下：
[0021][0022]其中，为深度损失函数，为光度重建损失，为峰值信噪比损失，为平滑性损失，λ1，λ2，λ3分别为光度重建损失、峰值信噪比损失和平滑性损失的权重。
[0023]进一步地，所述光度重建损失通过以下公式确定：
[0024][0025]其中，为光度重建损失，M是与输入图像同尺寸的布尔矩阵，pe(
·
)为光度重建误差函数，为由t
‑
1时刻的参考图片合成的目标图片，为由t+1时刻的参考图片合成的目标图片，I为真实图片。
[0026]进一步地，所述峰值信噪比损失通过以下公式确定：
[0027][0028]其中，为峰值信噪比损失，MAX
I
为图像像素值的最大数值，MSE为平均方差。
[0029]进一步地，所述平滑性损失通过以下公式确定：
[0030][0031]其中，为平滑性损失，为x方向的梯度算子，I
t
为t时刻的图片，为y方向的梯度算子，为各像素深度估计除以整张图片的深度估计平均值的结果。
[0032]进一步地，所述总体损失函数通过以下公式确定：
[0033]L＝L
Color
+λ
D
L
Depth
[0034]其中，L
Color
为NeRF渲染损失函数；λ
D
为平衡颜色和深度监督的超参数；L
Depth
为深度信息损失函数。
[0035]进一步地，所述NeRF渲染损失函数通过以下公式确定：
[0036][0037]其中，E
r∈R(P)
为相机参数P产生的射线集；r为光线；为渲染颜色；C(r)为真实颜色；表示正则化。
[0038]更进一步地，所述深度信息损失函数通过以下公式确定：
[0039][0040]其中，为i处图像像素点的期望值；X
j
为j处的像素值；j为像素点的集合；logh(s)为终止分配的log值；s为射线距离，D为深度估计的像素值；为平均重投影误差。
[0041]一种基于有限视角图像的NeRF三维重构系统，包括：
[0042]数据采集处理模块，用于获取视频数据并进行处理得到图像序列，将图像序列划分为训练集和测试集。
[0043]视图生成模块，用于基于训练集、深度估计网络和位姿估计网络确定深度估计模型，通过深度估计模型对测试集进行预测得到深度图，根据深度图和相机参数确定总体损失函数，基于总体损失函数训练NeRF网络得到NeRF模型，通过NeRF模型对图像序列进行渲
染得到新视图。
[0044]三维重构模块，用于根据新视图进行三维重构。
[0045]本专利技术的有益效果是：
[0046]本专利技术结合了深度估计算法与新视图生成算法，通过融合的新视图生成算法生成了更多的新视角图像，将新视图与原有数据结合，组成了新的数据集，该数据集包含更多角度的图像，三维重构的准确率更高。
附图说明
[0047]图1为本专利技术的流程图。
[0048]图2为本专利技术采集的数据图。
[0049]图3为本专利技术合成目标图片的示意图。
[0050]图4为本专利技术双线性插值的过程图。
[0051]图5为本专利技术深度估计的结果示意图。
[0052]图6为本专利技术新视图的生成示意图。
[0053]图7为本专利技术新视图的生成结果示意图。
[0054]图8为本专利技术点云恢复的结果示意图。
[0055]图9为本专利技术表型重构的结果示意图。
具体实施方式
[0056]下面结合附图对本专利技术的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以互相结合。
[0057]如图1所示，本专利技术提供一种基于有限视角图像的NeRF三维重构系统，包括数据采集处理模块、视图生成模块和三维重构模块。
[0058]其中数据采集处理模块用于获取视频数据并进行处理得到图像序列，将图像序列划分为训练集和测试集。
[0059]视图生成模块用于基于训练集、深度估计网络和位姿估计网络确定深度估计模型，通过深度估计模型对测试集进行预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于有限视角图像的NeRF三维重构方法，其特征在于，包括以下步骤：获取视频数据，对视频数据进行处理得到图像序列，将图像序列划分为训练集和测试集；构建深度估计网络、位姿估计网络和NeRF网络；基于训练集、深度估计网络和位姿估计网络确定深度估计模型；通过深度估计模型对测试集进行预测得到深度图；根据深度图和相机参数确定总体损失函数；基于总体损失函数训练NeRF网络得到NeRF模型；通过NeRF模型对图像序列进行渲染得到新视图；基于新视图进行三维重构。2.根据权利要求1所述的基于有限视角图像的NeRF三维重构方法，其特征在于：确定深度估计模型的过程为：将训练集输入至深度估计网络和位姿估计网络，得到深度估计值和位姿估计值；基于深度估计值、位姿估计值及参考图片进行视图合成得到合成的目标图片；将真实图片与目标图片比较计算深度损失函数；基于深度损失函数训练深度估计网络得到深度估计模型。3.根据权利要求2所述的基于有限视角图像的NeRF三维重构方法，其特征在于，所述深度损失函数如下：其中，为深度损失函数，为光度重建损失，为峰值信噪比损失，为平滑性损失，λ1，λ2，λ3分别为光度重建损失、峰值信噪比损失和平滑性损失的权重。4.根据权利要求3所述的基于有限视角图像的NeRF三维重构方法，其特征在于，所述光度重建损失通过以下公式确定：其中，为光度重建损失，M是与输入图像同尺寸的布尔矩阵，pe(
·
)为光度重建误差函数，为由t
‑
1时刻的参考图片合成的目标图片，为由t+1时刻的参考图片合成的目标图片，I为真实图片。5.根据权利要求3所述的基于有限视角图像的NeRF三维重构方法，其特征在于，所述峰值信噪比损失通过以下公式确定：其中，为峰值信噪比损失，MAX
I
为图像像素值的最大值，MSE为平均方差。6.根据权利要求3所述的基于有限视角图像的NeRF三维重构方法，其...

【专利技术属性】
技术研发人员：彭望，张蒙召，王植炜，李强，
申请(专利权)人：华中农业大学，
类型：发明
国别省市：