基于辐射场表示和神经场参数化的光场高分辨重建方法技术

本发明专利技术公开了一种基于辐射场表示和神经场参数化的光场高分辨重建方法，其包括：步骤1，构建用于表示场景的双平面光场，再将双平面光场表示为辐射场；步骤2，利用多层感知器对辐射场进行神经场参数化，建立双平面光场的神经辐射场；步骤3，利用高频映射编码和体素渲染优化训练双平面光场的神经辐射场；步骤4，利用优化后的双平面光场的神经辐射场对光场数据进行高分辨重建。本发明专利技术能够实现在对具有复杂不利条件的光场场景进行角度超分辨。利条件的光场场景进行角度超分辨。利条件的光场场景进行角度超分辨。

【技术实现步骤摘要】
基于辐射场表示和神经场参数化的光场高分辨重建方法


[0001]本专利技术涉及成像
，特别是涉及一种基于辐射场表示和神经场参数化的光场高分辨重建方法。

技术介绍

[0002]光场成像是一种新型的成像技术，相较于传统的二维成像技术，它能够记录位置信息和光线的方向信息，通过捕捉这些信息，可以获得比传统成像技术更为丰富的图像信息。由于光场数据采集系统的带宽积受到限制，光场数据的角度分辨率和空间分辨率之间存在相互限制，以牺牲角度分辨率为代价记录光的方向信息。无法达到诸多应用场景对精细三维重建的要求。其中角度域超分辨是突破光场采集系统带宽积限制的重要手段。而目前光场角度域超分面临许多不利条件干扰，如遮挡、深度变化和背景干扰出现的情况，并且对于纹理丰富细节处也较难表达，因此很难对上述情况的光场信息进行高质量的角度域超分辨。

技术实现思路

[0003]本专利技术的目的在于提供一种基于辐射场表示和神经场参数化的光场高分辨重建方法来克服或至少减轻现有技术的上述缺陷中的至少一个。
[0004]为实现上述目的，本专利技术提供一种基于辐射场表示和神经场参数化的光场高分辨重建方法，其包括：
[0005]步骤1，构建用于表示场景的双平面光场，再将双平面光场表示为辐射场；
[0006]步骤2，利用多层感知器对辐射场进行神经场参数化，建立双平面光场的神经辐射场；
[0007]步骤3，利用高频映射编码和体素渲染优化训练双平面光场的神经辐射场；
[0008]步骤4，利用优化后的双平面光场的神经辐射场对光场数据进行高分辨重建。
[0009]进一步地，步骤1中将将双平面光场表示为辐射场的方法具体包括：
[0010]步骤1.1，构建用于表示场景的双平面光场L(u,v,m,n)，双平面包括视点平面为(u,v)和成像平面为(m,n)，且两平面的距离为F；
[0011]步骤1.2，根据光场中的一条光线在视点平面的交点(u,v)、以及该光线在成像平面的交点(m,n)，获取双平面光场的辐射场函数RF的变量，该变量包括下式(1)表示的三维空间位置向量x＝(x,y,z)和下式(2)表示的二维观察方向向量d＝(d1,d2,d3)，最后辐射场的输出包括x处的体密度σ(x)以及x处的d方向的像素值c(x；d)＝(r,g,b)，则由双平面光场转化后的辐射场可表示为下式(3)，其中，r、g、b分别为红色值、绿色值和蓝色值；
[0012][0013][0014]RF(x；d)＝(σ；c)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0015]式中，d1、d2、d3分别为方向d分别在x,y,z方向的坐标值，σ对应为σ(x)，c对应为c(x；d)。
[0016]进一步地，步骤2具体包括：
[0017]利用多层感知器网络Θ对辐射场函数RF进行神经场参数化，形成双平面光场的神经辐射场RF
Θ
(x；d)。
[0018]进一步地，步骤3具体包括：
[0019]步骤3.1，将三维空间位置向量x和二维观察方向向量d分别扩充到更高维度为N
特征
的空间，获得坐标编码γ(x)和方向编码γ(d),将从视点x发出的射线设置为r＝x+td，二维观察方向向量d为射线r的方向，t为射线r的参数点；
[0020][0021]经过高频映射和编码的神经辐射场RF
Θ
表示为下式(5)中的RF
Θ
(x；d)：
[0022]RF
Θ
(x；d)＝Θ(γ(x)；γ(d))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0023]步骤3.2，根据辐射场RF(x；d)＝(σ；c)，利用下式(6)表示的投影关系获得射线r的颜色值C(r)，再利用体素渲染建立辐射场RF(x；d)和颜色值C(r)的投影关系表示为下式(7)：
[0024][0025]C(r)＝P[RF(x；d)]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0026]式中，t
n
和t
f
分别为沿射线r的最近点和最远点，σ(r(s))为射线r(s)在参数s点的体密度，σ(r(t))为射线r(t)在参数t点的体密度，c(r(t),d)为射线r(t)在d的像素值，由σ(x)和c(x；d)生成C(r)的过程表达为投影算子P(σ(x)；c(x；d))；
[0027]步骤3.3，优化训练双平面光场的神经辐射场。
[0028]进一步地，步骤3.3具体包括：
[0029]步骤3.31，通过公式(1)和(2)，将光场的视点图像的视点坐标(u
i
,v
i
)和像素坐标(m
j
,n
j
)转化为辐射场的变量：三维空间位置向量x
i
和二维观察方向向量d
j
，RF
Θ
(x
i
；d
j
)是对应视点坐标(u
i
,v
i
)下生成的视点图像的第j个像素值，其中i＝1,2,L,N，N为视点的个数，j＝1,2,L,M，M为像素的个数；
[0030]步骤3.32，建立优化训练双平面光场的神经辐射场的目标泛函，如公式(7)所示，用视点图像I
i
及其辐射场的变量(x
i
；d
j
)，采用神经辐射场的梯度下降优化模型，最小化真值视点图像I
i
的第j个像素值I
ij
和生成视点图像的第j个像素值RF
Θ
(x
i
；d
j
)之间的误差，得到如下式(7)所示的优化的多层感知器Θ
*
：
[0031][0032]其中，||I
ij
‑
P[RF
Θ
(x
i
；d
j
)]||表示神经辐射场生成的视点图像的第j个像素值RF
Θ
(x
i
；d
j
)与真实视点图像I
j
的第j个像素值之间的图像差；
[0033]步骤3.33，利用优化的多层感知器Θ
*
建立双平面光场神经辐射场，记为
[0034]进一步地，步骤4具体包括：
[0035]步骤4.1，设定双平面光场的视点平面(u,v)的分辨率为N
u
×
N
v
，成像平面(x,y)的分辨率为N
m
×
N
n
；
[0036]步骤4.2，计算高分辨重建的光场数据的辐射场变量：通过公式(1)和(2)，将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于辐射场表示和神经场参数化的光场高分辨重建方法，其特征在于，包括：步骤1，构建用于表示场景的双平面光场，再将双平面光场表示为辐射场；步骤2，利用多层感知器对辐射场进行神经场参数化，建立双平面光场的神经辐射场；步骤3，利用高频映射编码和体素渲染优化训练双平面光场的神经辐射场；步骤4，利用优化后的双平面光场的神经辐射场对光场数据进行高分辨重建。2.如权利要求1所述的基于辐射场表示和神经场参数化的光场高分辨重建方法，其特征在于，步骤1中将将双平面光场表示为辐射场的方法具体包括：步骤1.1，构建用于表示场景的双平面光场L(u,v,m,n)，双平面包括视点平面为(u,v)和成像平面为(m,n)，且两平面的距离为F；步骤1.2，根据光场中的一条光线在视点平面的交点(u,v)、以及该光线在成像平面的交点(m,n)，获取双平面光场的辐射场函数RF的变量，该变量包括下式(1)表示的三维空间位置向量x＝(x,y,z)和下式(2)表示的二维观察方向向量d＝(d1,d2,d3)，最后辐射场的输出包括x处的体密度σ(x)以及x处的d方向的像素值c(x；d)＝(r,g,b)，则由双平面光场转化后的辐射场可表示为下式(3)，其中，r、g、b分别为红色值、绿色值和蓝色值；后的辐射场可表示为下式(3)，其中，r、g、b分别为红色值、绿色值和蓝色值；RF(x；d)＝(σ；c)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)式中，d1、d2、d3分别为方向d分别在x,y,z方向的坐标值，σ对应为σ(x)，c对应为c(x；d)。3.如权利要求2所述的基于辐射场表示和神经场参数化的光场高分辨重建方法，其特征在于，步骤2具体包括：利用多层感知器网络Θ对辐射场函数RF进行神经场参数化，形成双平面光场的神经辐射场RF
Θ
(x；d)。4.如权利要求3所述的基于辐射场表示和神经场参数化的光场高分辨重建方法，其特征在于，步骤3具体包括：步骤3.1，将三维空间位置向量x和二维观察方向向量d分别扩充到更高维度为N
特征
的空间，获得坐标编码γ(x)和方向编码γ(d),将从视点x发出的射线设置为r＝x+td，二维观察方向向量d为射线r的方向，t为射线r的参数点；经过高频映射和编码的神经辐射场RF
Θ
表示为下式(5)中的RF
Θ
(x；d)：RF
Θ
(x；d)＝Θ(γ(x)；γ(d))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)步骤3.2，根据辐射场RF(x；d)＝(σ；c)，利用下式(6)表示的投影关系获得射线r的颜色
值C(r)，再利用体素渲染建立辐射场RF(x；d)和颜色值C(r)的投影关系表示为下式(7)：C(r)＝P[RF(x；d)]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)式中，t
n
和t
f
分别为沿射线r的最近点和最远点，σ(r(s))为射线r(s)在参数s点的体密度，σ(r(t))为射线r(t)在参数t点的体密度，c(r(t),d)为射线r(t)在d的像素值，由σ(x)和c(x；d)生成C(r)的过程表达为投影算子P(σ(x)；c(x；d))；步骤3.3，优化训练双平面光场的神经辐射场。5.如权利要求4所述的基于辐射场表示和神经场参数化的光场高分辨重建方法，其特征在于，步骤3.3具体包括：步骤3.31，通过公式(1)和(2)，将光场的视点图像的视点坐标(u
i
,v
i
)和像素坐标(m
j
,n
j
)转化为辐射场的变量：三维空间位置向量x
i
和二维观察方向向量d
j
，RF
Θ
(x
i
；d
j

【专利技术属性】
技术研发人员：邱钧，刘畅，周哲海，苗源，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：