一种基于混合制造技术

本发明专利技术公开了一种基于混合

【技术实现步骤摘要】
一种基于混合ANN
‑
SNN架构的隐式三维重建方法及系统


[0001]本专利技术属于类脑计算领域，尤其是涉及一种基于混合
ANN
‑
SNN
架构的隐式三维重建方法及系统
。

技术介绍

[0002]从
RGB
图像进行三维重建是计算机视觉中一项复杂而富有挑战性的任务
。
神经辐射场
(NeRF)
是一种最近很有前途的隐式新视图合成解决方案，在三维重建中也取得了非常有竞争力的结果
。
[0003]如公开号为
CN116051740A
的中国专利文献公开了一种基于神经辐射场的室外无界场景三维重建方法及系统，基于神经辐射场技术重建场景的神经辐射场隐式模型，分别获得前景物体模型
、
背景环境模型以及全场景模型，最后由体渲染技术实现隐式三维模型的可视化
。
[0004]公开号为
CN116416375A
的中国专利文献公开了一种基于深度学习的三维重建方法和系统，包括：获取场景图像数据；搭建改进的神经辐射场三维重建模型；对改进的神经辐射场三维重建模型进行训练，获得重建结果；最后评估重建结果
。
[0005]NeRF
成功的原因之一是它能够使用基于传统的连续的多层感知机
(MLP)
的神经网络隐式表示几何信息
。
然而，现实世界中的几何信息是不连续的，这与传统的
MLP
中的计算表示不一致
。
这种不一致性带来了三个问题
。
首先，现有的方法需要后处理方法
(
即，用阈值进行过滤，从学习的连续场中提取不连续的几何表示
)。
然而，确定最佳阈值需要经验和繁琐的调整，许多方法依赖于针对不同场景手动选择阈值
。
其次，基于
NeRF
的方法逐视图优化网络，从而使得不同视角的表面的最佳阈值不同
。
然而，现有的方法使用相同的阈值来过滤输出值，由于不同视图下的最佳过滤阈值不同，因此无法获得准确的几何信息
。
最后，这种不一致性可能会在特殊场景中导致更大的误差
。
因为像传统
MLP
这样的连续函数很难为彼此靠近的点
(
即相似的输入
)
产生完全不同的密度
(
即显著不同的输出
)
，从而导致对象的消失
。

技术实现思路

[0006]本专利技术提供了一种基于混合
ANN
‑
SNN
架构的隐式三维重建方法及系统，在保证一般场景三维重建精度的情况下，也提升了特殊场景的重建精度
。
[0007]一种基于混合
ANN
‑
SNN
架构的隐式三维重建方法，在利用
RGB
图像进行三维重建过程中，采用以下步骤：
[0008](1)
采用混合
ANN
‑
SNN
架构的网络构建神经辐射场，利用体素渲染的方式使用密度场和颜色场；
[0009](2)
构建有界全精度
IF
神经元模型作为
SNN
的神经元模型，对输出上界进行约束，以降低三维重建损失；
[0010](3)
训练过程中，在光度损失函数的基础上，使用额外的损失函数，从低频表面开
始训练，同时增加脉冲阈值，以降低三维重建误差；
[0011](4)
最终，利用训练好的神经辐射场得到新视角图像以及三维几何形状
。
[0012]进一步地，步骤
(1)
中，采用混合
ANN
‑
SNN
架构的网络构建神经辐射场具体为：
[0013]通过构建
ANN
对空间坐标进行编码，通过
SNN
对输出进行不连续化处理；其中，不连续化处理包括：对密度进行不连续化处理，对颜色进行0到1的归一化处理
。
[0014]步骤
(1)
中，用体素渲染的方式得到像素值为
[0015][0016][0017]其中，
σ
(t)
表示在采样点
t
处的体素密度，
c(t,d)
表示在采样点
t
处沿
d
方向的颜色，
w(t)
表示根据定义的每个采样点的权重，
T
表示采样终点
。
[0018]步骤
(2)
中，构建有界全精度
IF
神经元模型具体为：
[0019]定义
IF
神经元的膜电位方程如下
:
[0020]u
(t+1)
＝
u
t
+I
(t+1)
‑
V
th
·
Θ
(u
(t+1)
‑
V
th
)
[0021]I
(t+1)
＝
Wx
(t+1)
[0022]其中，
W
表示连接的权重，
t
表示第
t
个时间步长，
Θ
是一个阶跃函数，其定义为
:
[0023][0024]最后一层有界全精度
IF
神经元模型所采用的脉冲神经元为：
[0025][0026]其中，
k
和
r
表示可学习脉冲神经元参数，通过增大
k
允许更大的阈值，通过增大
r
使函数更接近全精度
IF
神经元
。
[0027]步骤
(2)
中，对输出上界进行约束具体为：
[0028]其中
o
为最后一层密度场的输出
。
[0029]步骤
(3)
中，额外的损失函数包括：
[0030]阈值损失函数，通过逐步增加阈值降低重建损失，提升重建精度；
[0031]光滑损失函数，使网络从低频的光滑表面开始训练，保证最后的高频信息正确，提升重建精度
。
[0032]阈值损失定义为：
[0033][0034]式中，
V
th
表示神经元的脉冲阈值
。
[0035]光滑损失定义为：
[0036][0037]式中，
p
指的是定义的每个像素，
i
表示每个采样点，
w
i
表示每个采样点的权重，表示密度
σ
i
对输入坐标的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于混合
ANN
‑
SNN
架构的隐式三维重建方法，其特征在于，在利用
RGB
图像进行三维重建过程中，采用以下步骤：
(1)
采用混合
ANN
‑
SNN
架构的网络构建神经辐射场，利用体素渲染的方式使用密度场和颜色场；
(2)
构建有界全精度
IF
神经元模型作为
SNN
的神经元模型，对输出上界进行约束，以降低三维重建损失；
(3)
训练过程中，在光度损失函数的基础上，使用额外的损失函数，从低频表面开始训练，同时增加脉冲阈值，以降低三维重建误差；
(4)
最终，利用训练好的神经辐射场得到新视角图像以及三维几何形状
。2.
根据权利要求1所述的基于混合
ANN
‑
SNN
架构的隐式三维重建方法，其特征在于，步骤
(1)
中，采用混合
ANN
‑
SNN
架构的网络构建神经辐射场具体为：通过构建
ANN
对空间坐标进行编码，通过
SNN
对输出进行不连续化处理；其中，不连续化处理包括：对密度进行不连续化处理，对颜色进行0到1的归一化处理
。3.
根据权利要求1所述的基于混合
ANN
‑
SNN
架构的隐式三维重建方法，其特征在于，步骤
(1)
中，用体素渲染的方式得到像素值为中，用体素渲染的方式得到像素值为其中，
σ
(t)
表示在采样点
t
处的体素密度，
c(t,d)
表示在采样点
t
处沿
d
方向的颜色，
w(t)
表示定义的每个采样点的权重，
T
表示采样终点
。4.
根据权利要求1所述的基于混合
ANN
‑
SNN
架构的隐式三维重建方法，其特征在于，步骤
(2)
中，构建有界全精度
IF
神经元模型具体为：定义
IF
神经元的膜电位方程如下
:u
(t+1)
＝
u
t
+I
(t+1)
‑
V
th

【专利技术属性】
技术研发人员：郑乾，潘纲，廖展锋，刘彦，
申请(专利权)人：浙江大学，
类型：发明
国别省市：