一种非视域隐藏场景的重建方法技术

本发明专利技术公开一种非视域隐藏场景的重建方法。其步骤如下：构造隐藏场景深度图和灰度图数据集；根据中介面光场分布模型模拟出各深度图和灰度图所对应的中介面仿真光子计数图；构建反向重建模型，并利用经预处理后的仿真光子计数图数据集完成模型训练；将测试集中的三维光子计数图作为重建模型的输入，输出二值平面图像和粗略的三维反向重建结果；对粗略的三维重建结果沿深度轴方向求最大值及最大值所对应的下标，并用所得的二值图像过滤，分别得到所重建出的隐藏场景反射率二维投影图和深度图。本发明专利技术方法在不明显降低重建效率的情况下，定量而准确地重建出了隐藏场景的深度图和反射率二维投影图，重建图像中物体边缘清晰、表面平滑、具有较少的伪影。具有较少的伪影。具有较少的伪影。

【技术实现步骤摘要】
一种非视域隐藏场景的重建方法


[0001]本专利技术属于计算机视觉、深度学习和非视域三维场景重建
，特别涉及一种基于光锥变换(Light
‑
cone Transform，LCT)和目标检测网络的非视域场景重建方法。

技术介绍

[0002]绝大多数情况下，成像系统要求被成像物体所反射或发射的光或其他携带场景信息的信号，能够沿直线路径直接进入成像设备。然而，在实际过程中，可能出现被测景物不在成像设备视线范围内的情况，即景物所反射或发出的光或其他信号由于存在某障碍物的遮挡，不能通过直线路径直接为成像设备所接收。
[0003]但是，若景物所反射或发出的光或其他信号可以借由一个中介面的二次反射而绕过障碍物，那么隐藏在障碍物后的场景信息也可以成功地被成像设备间接地接收到。所谓非视域(Non
‑
line
‑
of
‑
sight，NLOS)成像就是这样一种借由中介面所接收到的场景信号，间接地恢复出被障碍物遮挡的隐藏场景信息的技术。
[0004]不难想象，如果“中介面”就是一面镜子，那么利用平面镜成像的原理，只需要调整好摄像机的位置和角度，很容易就能拍摄到障碍物之后的隐藏场景。然而，实际情景中的“中介面”往往不具有镜面反射的性质，并且对光的吸收作用很强，它们多数情况下可能就是一面普通的墙壁，使得对NLOS成像系统中隐藏场景的重建变得非常具有挑战性。
[0005]NLOS成像技术突破了被成像物体必须位于成像设备视野范围内的限制，极大地拓宽了探测器的感知范围，在各行各业都具有重要的研究价值和应用前景，包括机器人视觉、国防军事、遥感、医学成像、自动驾驶等。
[0006]目前关于NLOS重建系统的研究工作所提出的重建算法有基于数学模型的重建，也有在基本数学模型的基础上结合神经网络完成的重建。
[0007]Velten等人(VELTEN A,WILLWACHER T,GUPTA O,et al.Recovering Three
‑
Dimensional Shape around a Corner Using Ultrafast Time
‑
of
‑
Flight Imaging[J].Nature,2012,3(1):1
‑
8.)采用滤波反投影(Filtered back
‑
projection，FBP)算法完成隐藏场景反向重建。然而，FBP算法的时间复杂度很高，重建质量也比较差。O
’
Toole等人(O
’
TOOLE M,LINDELL D,WETZSTEIN G.Confocal non
‑
line
‑
of
‑
sightimaging based on the light
‑
cone transform[J].Nature,2018(555):338
‑
341.)将中介面光场分布模型通过数学变换改写为了隐藏场景物体表面反射率与某已知的点扩散函数相卷积的形式，那么对隐藏场景物体反射率的复原就是一个解卷积问题。他们将这种算法称为LCT重建算法，其计算效率和重建质量相比于FBP提高了不少，但仍然存在重建结果受噪声影响大、物体边缘模糊且存在伪影等问题，并且无法自动化地输出定量而精确的深度图。此外，O
’
Toole等人(O
’
TOOLE M,LINDELL D,WETZSTEIN G.Wave
‑
based non
‑
line
‑
of
‑
sight imaging using fast f
‑
k migration[J].ACM Transactions on Graphics,2019,38(4):1
‑
13.)和Liu等人(LIU X,GUILLEN I,LA M M,et al.Non
‑
line
‑
of
‑
sight Imaging Using Phasor
‑
field Virtual Wave Optics[J].Nature,2019(572):620
‑
623.)从基于波的成像模型出发，分别提出了f
‑
k
变换和相量场方法来解决NLOS重建问题。这两种方法的重建质量和对噪声的鲁棒性相比于LCT算法又有所提高，但同样无法直接输出定量精确的深度图。
[0008]此外，也有不少NLOS研究工作结合了神经网络技术完成隐藏场景的重建。在LCT算法的基础上结合神经网络的实例如Isogawa等人(ISOGAWA M,YE Y,O'TOOLE M,et al.Optical Non
‑
Line
‑
of
‑
Sight Physics
‑
Based 3D Human Pose Estimation[C]//IEEE.IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),2020,Seattle,WA.USA:IEEE Computer Society,2020:7013
‑
7022.)所提出的重建模型。该模型实现了一种称为P2PSF(Photon to Point Spread Function，光子
‑
点扩散函数)的网络，该网络基于U
‑
Net结构，以三维原始光子计数矩阵为输入，输出与LCT中的解卷积算子尺寸相同的特征矩阵，最后再将其与基本解卷积算子相加，以提高LCT过程对噪声的鲁棒性。但是，P2PSF网络的参数量较大，网络结构和运算过程比较复杂，因此导致该重建方法对计算资源的开销较大，网络的训练和测试效率都比较低，并且经实践证明，对于重建任务而言，P2PSF网络的引入并不会为重建质量带来明显的改善。

技术实现思路

[0009]针对以上现有技术中存在的技术缺陷，本专利技术提出了一种重建质量和准确率较高的非视域隐藏场景重建方法。
[0010]本专利技术采用的技术方案如下：
[0011]一种非视域隐藏场景的重建方法，该方法包括如下步骤：
[0012]步骤1，构造隐藏场景数据集，数据集分为训练集和测试集两部分；
[0013]步骤2，根据中介面光场分布模型仿真出各隐藏场景所对应的中介面光场分布，得到仿真光子计数图数据集，作为实际非视域成像系统所得三维光子计数测量结果的模拟；
[0014]步骤3，构建反向重建模型，并利用经预处理后的仿真光子计数测量结果数据集完成模型训练；反向重建模型是由光锥变换网络LCT
‑
Net和目标检测网络Detect本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非视域隐藏场景的重建方法，其特征在于，包括如下步骤：步骤1，构造隐藏场景数据集，数据集分为训练集和测试集两部分；步骤2，根据中介面光场分布模型仿真出各隐藏场景所对应的中介面光场分布，得到仿真光子计数图数据集，作为实际非视域成像系统所得三维光子计数测量结果的模拟；步骤3，构建反向重建模型，并利用经预处理后的仿真光子计数测量结果数据集完成模型训练；反向重建模型是由光锥变换网络LCT
‑
Net和目标检测网络Detect
‑
Net两部分组成的一个端到端的网络，其中，光锥变换网络LCT
‑
Net对输入的原始三维光子计数测量值输出粗略的隐藏场景三维重建结果，目标检测网络Detect
‑
Net对光锥变换网络LCT
‑
Net输出结果的反射率二维投影进行进一步的特征提取，输出一幅二值平面图像；步骤4，完成反向重建模型的训练后，将步骤1测试集中的三维光子计数图作为步骤3所述反向重建模型的输入，同时输出粗略的三维反向重建结果和二值平面图像；步骤5，对步骤4得到的粗略三维反向重建结果沿深度轴求最大值及最大值所对应的下标，并用得到的二值平面图像过滤，分别重建出隐藏场景反射率二维投影图和深度图。2.根据权利要求1所述的一种非视域隐藏场景的重建方法，其特征在于，所述步骤1中，训练集和测试集的数据形式相同；每一组隐藏场景数据包括一幅深度图及其对应的灰度图。3.根据权利要求1所述的一种非视域隐藏场景的重建方法，其特征在于，所述步骤3中，预处理具体包括：先在时间轴上将三维光子计数图进行下采样，再对其添加泊松噪声和不同强度的高斯噪声，进行数据增强。4.根据权利要求1所述的一种非视域隐藏场景的重建方法，其特征在于，所述步骤3中，光锥变换网络LCT
‑
Net的计算步骤如下：
①
根据当前时刻t和光速c计算出步骤1数据集原始三维光子计数图τ中各时刻下的测量结果所对应的距离r，再由光信号能量按r
k
衰减的规律，校正原始光子计数测量结果的能量衰减，其中，k为可通过神经网络的训练过程动态优化的参数；
②
对时间轴进行重采样...

【专利技术属性】
技术研发人员：胡雪梅，蒋博文，倪思琪，岳涛，
申请(专利权)人：南京大学，
类型：发明
国别省市：