【技术实现步骤摘要】
本专利技术涉及计算机视觉，特别涉及一种基于改进神经辐射场群体小麦新视角合成方法。
技术介绍
1、随着农业信息化和智能化的发展，对农作物生长状态进行精确监测和评估成为了农业生产中的关键需求。群体小麦作为重要的粮食作物，其生长状况直接影响着粮食产量和质量。然而，由于小麦群体的复杂性，如叶片相互遮盖、特征不明显等问题，单靠几张二维图像往往难以准确获取小麦群体的完整信息，从而限制了对其生长状态的全面评估，若是对其进行全面的拍摄需要图像数量过多，且加上拍摄位置困难，因此对小麦群体进行新视角合成具有重要意义。
2、近年来，深度学习技术尤其是计算机视觉领域的快速发展，为农作物监测提供了新的思路。其中，神经辐射场（nerf）作为一种新兴的三维场景表示方法，凭借其能够从少量输入图像中重建出高质量的新视角的能力，受到了广泛关注。然而，将nerf技术直接应用于群体小麦新视角合成时，面临着诸多挑战，如对复杂场景的适应性差、小麦中间区域难以预测等问题。
技术实现思路
1、为了能够保证较高的合成质量，同时又能够方便快捷的给出新视角的群体小麦新图像，本专利技术提供了一种基于改进神经辐射场便捷式群体小麦新视角合成方法。具体的，拍摄一组较为稀疏的小麦群体图像和一张具有全局性的参考图像，构建神经辐射场生成射线，根据采样策略得到采样点的位置和方向，将采样点的位置放入多平面哈希编码器中，得到采样点编码后的多维特征，同点的方向一起输入到nerf网络进行训练，在训练每一次周期步骤后，渲染出同参考图像相同视角的新图
2、为了实现上述专利技术目的，本专利技术提供了一种基于改进神经辐射场便捷式群体小麦新视角合成方法，所述合成方法包括以下步骤：
3、步骤s1：拍摄群体小麦的图像，构建群体小麦数据集；
4、步骤s2：构建群体小麦场景的神经辐射场，生产神经辐射场中的射线，依照神经辐射场采样策略进行采样点的获取，并得到采样点的3d位置和方向；
5、步骤s3：将采样点的3d位置x输入到多平面哈希编码器，然后将编码后的数据输入神经辐射场网络中，进行渲染损失训练，预测出采样的颜色和密度；
6、步骤s4：训练完成，即可得到新视角的新图像。
7、其中，所述步骤s1具体为：
8、利用便携式拍摄设备拍摄，一组外围不同视角下的群体小麦图像作为实验数据集；
9、并拍摄一张涵盖群体小麦的全局俯视图像，作为后续训练步骤的测试监督数据。
10、所述步骤s2中采样策略具体为：先进行分层随机采样，再进行重要性采样；分层随机抽样是利用一个或多个变量把总体划分为若干个子总体；其中，所述重要性采样具体为：在区间[a,b]之间粗采样个点，且获得其权重，然后根据对应的权重获得新的个采样点，后续的渲染处理将针对加。
11、所述步骤s3具体为：
12、步骤s301：将采样点的3d位置输入到多平面哈希编码器得到编码后的空间位置；步骤s302：将编码后得到的与观测方向送入神经辐射场网络中进行渲染损失训练；
13、步骤s303：预测出采样点的颜色和密度。
14、其中，所述步骤s301具体为：
15、分别用三个2d多分辨率哈希编码器对采样点3d位置坐标的投影坐标进行编码，公式如下：
16、；
17、其中，是投影坐标的平面级几何特征，是平面的多分辨率哈希编码，代表级别，代表每个条目的特征尺寸，然后将结果连接起来，得到编码后的空间位置：
18、；
19、其中，分别表示采样点在三维空间中投影到 xy、yz 和 xz 平面后使用2d多分辨率哈希编码器的编码结果，符号表示将特征连接到一个的通道向量中的连接操作符。
20、所述神经辐射场网络的输入为：编码后的空间位置和观测方向；其中，多平面哈希编码器用以提高渲染的分辨率和表达能力的同时提高渲染速度；所述神经辐射场网络的结构包含多层全连接层，并通过非线性激活函数将各全连接层连接。
21、所述渲染损失训练通过最小化损失函数来实现，损失函数公式为：
22、；
23、其中是总的损失函数，表示一条从相机中心出发的射线，是所有射线的集合，是网络预测的沿射线渲染得到的颜色值，是从真实图像中获得的沿射线对应的颜色值，是网络中的一个参数，是一个超参数，用于平衡rgb颜色重建损失和正则化损失之间的权重。
24、其中，所述步骤s302中，在训练每一次周期步骤后，通过神经辐射场网络的渲染公式，按照参考图像的制定视角预测出新图像，并将新图像与参考图像进行mse损失拟合，损失拟合公式为：
25、；
26、指的是像素个数、指的是参考图像对应像素的rgb值、指预测图像对应像素的rgb值。
27、本专利技术的有益效果是：本专利技术采用参考图像引导的策略，并对nerf网络进行了多平面哈希编码的改进，能够非常高效、高质的拟合出复杂密集的场景重建。
本文档来自技高网...【技术保护点】
1.基于改进神经辐射场群体小麦新视角合成方法，其特征在于，所述合成方法包括以下步骤：
2.根据权利要求1所述的基于改进神经辐射场群体小麦新视角合成方法，其特征在于，所述步骤S1具体为：
3.根据权利要求1所述的基于改进神经辐射场群体小麦新视角合成方法，其特征在于，所述步骤S2中采样策略具体为：先进行分层随机采样，再进行重要性采样；分层随机抽样是利用一个或多个变量把总体划分为若干个子总体；其中，所述重要性采样具体为：在区间[a,b]之间粗采样个点，且获得其权重，然后根据对应的权重获得新的个采样点，后续的渲染处理将针对加。
4.根据权利要求1所述的基于改进神经辐射场群体小麦新视角合成方法，其特征在于，所述步骤S3具体为：
5.根据权利要求4所述的基于改进神经辐射场群体小麦新视角合成方法，其特征在于，所述步骤S301具体为：
6.根据权利要求4所述的基于改进神经辐射场群体小麦新视角合成方法，其特征在于，所述神经辐射场网络的输入为：编码后的空间位置和观测方向；其中，多平面哈希编码器用以提高渲染的分辨率和表达能力的同时提高渲染速度
7.根据权利要求4所述的基于改进神经辐射场群体小麦新视角合成方法，其特征在于，所述渲染损失训练通过最小化损失函数来实现，损失函数公式为：
8.根据权利要求6所述的基于改进神经辐射场群体小麦新视角合成方法，其特征在于，所述步骤S302中，在训练每一次周期步骤后，通过神经辐射场网络的渲染公式，按照参考图像的制定视角预测出新图像，并将新图像与参考图像进行MSE损失拟合，损失拟合公式为：
...【技术特征摘要】
1.基于改进神经辐射场群体小麦新视角合成方法，其特征在于，所述合成方法包括以下步骤：
2.根据权利要求1所述的基于改进神经辐射场群体小麦新视角合成方法，其特征在于，所述步骤s1具体为：
3.根据权利要求1所述的基于改进神经辐射场群体小麦新视角合成方法，其特征在于，所述步骤s2中采样策略具体为：先进行分层随机采样，再进行重要性采样；分层随机抽样是利用一个或多个变量把总体划分为若干个子总体；其中，所述重要性采样具体为：在区间[a,b]之间粗采样个点，且获得其权重，然后根据对应的权重获得新的个采样点，后续的渲染处理将针对加。
4.根据权利要求1所述的基于改进神经辐射场群体小麦新视角合成方法，其特征在于，所述步骤s3具体为：
5.根据权利要求4所述的基于...
【专利技术属性】
技术研发人员：孙媛媛，邱雅茹，李晨晓，张鑫博，吴国霞，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。