基于神经隐式表面的三维重构方法和相关装置制造方法及图纸

本发明专利技术实施例提供了一种基于神经隐式表面的三维重构方法和相关装置，所述方法包括：通过相机获取不同视角下的香蕉串图像；对香蕉串图像进行特征提取和特征匹配，生成MVS‑Mask；采用稀疏点云模型生成SDF坐标系；将香蕉串图像和相机位姿输入至重建网络，重建网络通过体渲染的方式学习构建香蕉串的几何SDF场和颜色场；采用March ing Cubes算法将隐式表面提取为三维mesh模型；计算网格顶点颜色并映射到三维mesh模型，得到带有外观信息的三维网格模型。基于此，本发明专利技术实施例在复杂的果园环境中区分主体和背景信息，克服检测背景干扰及重复检测，减少环境噪声带来的影响，从而更准确地重建香蕉串的形状和细节。

【技术实现步骤摘要】

本专利技术实施例涉及三维重建，尤其涉及一种基于神经隐式表面的三维重构方法和相关装置。

技术介绍

1、现有果园视觉系统多针对小体积果蔬，对大体积水果的研究较少。有一些研究人员通过使用2d视觉的方法来理解精准化农业下的香蕉表型分析。有研究者使用yolo网络检测自然环境下的香蕉束和茎秆部分。还有使用改进的深度学习算法对香蕉果实、花序轴和花芽进行多目标识别。另外有使用深度图像与神经网络结合的方法计算香蕉杆的中心点，然后通过串大小和有效像素率估算香蕉串的重量。但是这些研究仅从2d视觉的角度出发，获得的信息有限，无法为香蕉串的表型分析提供更丰富细致的数据。

2、对香蕉果实进行更立体化的表型分析可以推动实现构建精准分析的香蕉果园农业，而这其中关键的一步就是重构出香蕉果园中还未采摘的绿色香蕉串果实的三维模型。自蕉园视觉检测的研究出现以来，蕉穗、假茎、果轴以及花序轴的视觉检测逐步开展，但是蕉园果实的三维重构研究相对较少。因此，如何克服检测背景干扰及重复检测，准确地重建香蕉串的形状和细节成为亟待解决的技术问题。

技术实现思路...

【技术保护点】

1.一种基于神经隐式表面的三维重构方法，其特征在于，包括：

2.根据权利要求1所述的基于神经隐式表面的三维重构方法，其特征在于，所述对所述香蕉串图像进行特征提取和特征匹配，生成MVS-Mask，包括：

3.根据权利要求1所述的基于神经隐式表面的三维重构方法，其特征在于，所述构建香蕉串的几何SDF场和颜色场，包括：

4.根据权利要求3所述的基于神经隐式表面的三维重构方法，其特征在于，所述基于SDF Network建模香蕉串的几何SDF场，包括：

5.根据权利要求2所述的基于神经隐式表面的三维重构方法，其特征在于，所述通过分解后的相机内外参信息...

【技术特征摘要】

1.一种基于神经隐式表面的三维重构方法，其特征在于，包括：

2.根据权利要求1所述的基于神经隐式表面的三维重构方法，其特征在于，所述对所述香蕉串图像进行特征提取和特征匹配，生成mvs-mask，包括：

3.根据权利要求1所述的基于神经隐式表面的三维重构方法，其特征在于，所述构建香蕉串的几何sdf场和颜色场，包括：

4.根据权利要求3所述的基于神经隐式表面的三维重构方法，其特征在于，所述基于sdf network建模香蕉串的几何sdf场，包括：

5.根据权利要求2所述的基于神经隐式表面的三维重构方法，其特征在于，所述通过分解后的相机内外参信息将稠密点云投影到二维平面，生成每个投影图像的深度掩码，...

【专利技术属性】
技术研发人员：付兰慧，谯未来，邓辅秦，周磊，陈健乐，黎俊炜，侯健峰，
申请(专利权)人：五邑大学，
类型：发明
国别省市：