一种基于隐式三维重建的轮毂工件数字化方法技术

本发明专利技术公开了一种基于隐式三维重建的轮毂工件数字化方法。本发明专利技术包括如下步骤：步骤1：构造神经距离场模型；步骤2：优化神经距离场模型；步骤3：抽取点云信息；步骤4：中心点和法线获取；步骤5：点云旋转补齐；借助轮毂的空间旋转性，将神经距离场模型直接表示的空间点通过点云旋转膨胀后投票的方式给予补齐，再通过空间点腐蚀最终获得轮毂的表面点云。本发明专利技术跨越了RF和NDdf领域，将深度图构建的空间结构信息以SDF的形式充分参与RF的训练过程，实现了两种模态数据的交汇训练，使点云更加精确。本发明专利技术使用深度学习领域还挖掘了数学三维重建的方法和李代数，比起深度学习方法更具有可解释性。释性。释性。

【技术实现步骤摘要】
一种基于隐式三维重建的轮毂工件数字化方法


[0001]本专利技术涉及辐射场领域(RF)、神经距离场领域(NSdf)、点云匹配(PCR)，具体涉及一种基于隐式三维重建的轮毂工件数字化方法。

技术介绍

[0002]三维重建领域研究在无原始模型的前提下通过其他信息如图像复原原始的三维模型。
[0003]神经有向距离场通过拟合真实空间的三维结构获取隐式空间模型。神经有向距离场的本质就是存储每个点到物体表面的最近距离，在物体外侧的距离数大于0，内侧的距离数小于0。具体的其可通过一个多层感知机(MLP)作为模型预测有向距离。
[0004]NeRF实现了在体素空间的三维重建。其中MLP输入空间点坐标(x,y,z)和观察空间点的视角方向(θ,φ)，输出在空间点上的体素和对应的颜色RGB值。已知某一图片的相机位姿(由相机的坐标和视角方向构成)，以该位姿下对每一个像素点通过对MLP输出的颜色和体素进行积分获得推测出的图片和真实图片逐像素对比获得损失进行反向优化。通过多视角下的图片作为真实值训练这一过程，使MLP拟合到一个复杂函数，使空间中的任意点都本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐式三维重建的轮毂工件数字化方法，其特征在于包括如下步骤：步骤1：构造神经距离场模型；构造一个使用多层感知机MLP表示的表征有向距离的神经距离场模型，以空间点坐标(x，y，z)和视角方向(θ，σ)为输入，输出有向距离d
out
和该点在该方向的概率色彩c
out
；步骤2：优化神经距离场模型；借助相机Pose和深度图，对有向距离d
out
的预测添加强约束；步骤3：抽取点云信息；通过对模型查找SDF距离为0的集合，即有向距离d
out
＝0的集合，从而抽取出轮毂模型的光滑离散表面；步骤4：中心点和法线获取；步骤5：点云旋转补齐；借助轮毂的空间旋转性，将神经距离场模型直接表示的空间点通过点云旋转膨胀后投票的方式给予补齐，再通过空间点腐蚀最终获得轮毂的表面点云。2.根据权利要求1所述的一种基于隐式三维重建的轮毂工件数字化方法，其特征在于步骤2具体实现如下：2
‑
1.沿着光线取样的过程中，深度图提供严格的强制距离约束值d
true
；依据模型的设计，使空间中点通过神经距离场模型输出的有向距离d
out
接近真实约束值d
true
，因此构造损失Loss
d
：Loss
d
＝||d
true
‑
d
out
||2ꢀꢀꢀꢀ
(1)2
‑
2.对于深度图拍摄的空洞部位，采用辐射场对彩色的估值填满空洞，通过高斯概率分布在有向距离场上求出当前点i的近似的体密度v
i
：空间上当前点i在该视角方向(θ，σ)上的密度概率色彩c
i
表示为：当前视角下图像上点的预测色彩通过对整条光线的颜色累加获得：构造损失Loss
c
：Loss
c
＝||C
predicition
‑
C
true
||2ꢀꢀꢀꢀ
(5)其中，C
true
表示相机图片上对应点的色彩；closest代表最近的位置，在物理意义上代表相机拍照时从相机出发的光线的起始位置；farthest代表最远的位置，在物理意义上是光线从相机出发后无限远的位置，因此closest取值为0、farthest为1。3.根据权利要求2所述的一种基于隐式三维重建的轮毂工件数字化方法，其特征在于通过Loss
d
和Loss
c
实现神经距离场模型优化；设虚拟空间中示意的(a1，a2，a3)与(b1，b2，b3)代表当前点(x，y，n)对应第n组深度图与彩色图中的像素点(x，y)；首先判断(x，y，n)的深度是否存在于深度图中，如果存在(b1，b2，b3)对应的深度值，则同时使用深度和神经预
测色彩优化有向距离；如不存在(a1，a2，a3)，则仅使用神经渲染预测色彩优化有向距离。4.根据权利要求2或3所述的一种基于隐式三维重建的轮毂工件数字化方法，其特征在于步骤3抽取点云信息具体实现如下：由于部分区域受到图像拍摄问题和噪声干扰，MLP拟合的有向距离存在跳变，存在既不符合对连续光滑表面的定义也不符合现实轮毂的实际形状，需要通过人工先行标定以及投票表决法，最终获得点云P。5.根据权利要求2或3所述的一种基于隐式三维重建的轮毂工件数字化方法，其特征在于步骤4中心点和法线获取具体实现如下：4
‑
1.使用尺寸不变特征转换算法SIFT进行标定，获得图像中的SIFT特征；SIFT特征是图像的局部特征，具体操作如下：对轮毂拍摄一张去畸变的轮毂正面大图P
a
，将轮辐和轮毂外圈的连接点和圆心标记为特征点，尺寸不变特征转换算法SIFT会对连接点进行特征提取，获得对应的特征向量；在用于优化神经距离场模型的数据集中，寻找三张包含轮毂的正面图片P
b
、P
c
、P
d
，通过尺寸不变特征转换算法SIFT比对分别获得正面图片P
b
、P
c
、P
d
中轮辐和外圈的连接点和轮毂圆心的平面坐标；所述的连接点的个数根据轮毂的辐条确定，连接点数量与辐条数量相等；4
‑
2.借助正面图片P
b
、P
c
、P

【专利技术属性】
技术研发人员：张桦，唐杨杰，戴玮辰，陈德均，杜一凡，支浩仕，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：