一种联合RGB图片的多视角ToF深度测量去噪方法技术

本发明专利技术公开了一种联合RGB图片的多视角ToF深度测量去噪方法，包括：1利用RGB

【技术实现步骤摘要】
一种联合RGB图片的多视角ToF深度测量去噪方法


[0001]本专利技术属于计算机视觉领域，具体的说是一种通过多视角的RGB
‑
D图片去除ToF相机成像过程中由于多径干扰导致的噪声的方法。

技术介绍

[0002]近几年来，基于Time
‑
of
‑
Fight(TOF)的RGB
‑
D相机模块在移动设备中得到了大量的应用。其提供了一个可靠的深度数据测量的方式。相对比与结构光相机或是双目成像系统，TOF相机在短距离范围内提供了精度更高的深度数据。
[0003]TOF设备通过向场景发射调制的红外光，并在传感器上与不同的相移计算测量，来计算可几何场景的深度。然而，ToF设备受到多路径干扰(multipath interference，MPI)的影响：单个像素点信号由多个光反射的路径信号组成，这会在获取深度信息时造成误差，从而降低TOF相机的适用范围。为了尽可能消除MPI效应的影响，以前的大多数工作是利用额外的措施增加获取信号的准确性，例如将探测光信号编码或使用不同相移的多个调制频率，由此可以消除多径效应带来的误差，但是这需要硬件更改(例如，修改内置的红外光发射器，使用可以接收多个调制频率的传感器)，或者使用同一标准的ToF相机的多次扫描。
[0004]由于近几年深度学习的快速发展，促使越来越多的研究人员想通过深度学习的方式来解决多径效应,因此研究人员开始从深度学习的方法来解决TOF成像中的误差问题，这就十分依赖用来训练的数据集。但是这种方式需要大量的真实深度数据作为监督，并且一个模型只能用于单一型号的相机上，不具备通用性。

技术实现思路

[0005]本专利技术是为了解决上述现有技术在进行ToF去噪时需要大量真实深度图数据作为监督且只是适用于单一型号的相机，提出一种联合RGB图片的多视角ToF深度测量去噪方法，以期能通过多视角的成像结果联合RGB图片去除的ToF成像过程中由于多径干扰造成的噪声，从而获得更准确的深度测量数据，克服了需要大量真实深度数据作为监督的弊端。
[0006]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0007]本专利技术一种联合RGB图片的多视角ToF深度测量去噪方法的特点是按如下步骤进行：
[0008]步骤1、利用标定对齐后的RGB
‑
D成像系统获得N组的RGB图和ToF相位测量图{I
n
,P
n
|n＝1,2,
…
,N}，其中，I
n
表示第n张RGB图，P
n
表示第n张ToF相位测量图；
[0009]将第n张RGB图I
n
中第i列第j行的像素点记为其中，表示第n张RGB图I
n
中第i列第j行的像素点的R值，表示第n张RGB图I
n
中第i列第j行的像素点的G值，表示第n张RGB图I
n
中第i列第j行的像素点的B值；
[0010]将第n张ToF相位测量图P
n
中第i列第j行的像素点记为
其中，表示第n张ToF相位测量图P
n
中第i列第j行的像素点的正弦测量分量，表示第n张ToF相位测量图P
n
中第i列第j行的像素点的余弦测量分量；
[0011]步骤2、以第n组图的相机光心作为原点o
n
，将原点o
n
指向第i列第j行的像素点(i,j)的方向记为从而利用式(1)得到从原点o
n
经过像素点(i,j)的一条射线作为相机光线：
[0012][0013]式(1)中，x表示射线上的任意一点与原点o
n
之间的距离；并有：
[0014]o
n
＝
‑
t
n
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0015][0016]式(2)和式(3)中，K表示相机内参；R
n
表示第n组图的相机位姿E
n
下的旋转矩阵；t
n
表示第n组图的相机位姿E
n
下的平移向量，n＝1,2,
…
,N；
[0017]步骤3、利用分层抽样法从射线上采样A个位置点：
[0018]步骤3.1、设置采样区间为[x
near
,x
far
]，并将[x
near
,x
far
]均匀分为A个区间块；其中，x
near
表示采样点与原点o
n
的最近距离，x
far
表示采样点与原点o
n
的最远距离；
[0019]步骤3.2、从第a个块区间中随机采样一个样本x
a
，其中，x
a
代表当前采样位置点与原点o
n
之间的距离，并有：
[0020][0021]式(2)中，表示服从；U表示均匀分布；
[0022]步骤3.3、将样本x
a
代入式(1)中得到第a个3D坐标点
[0023]步骤3.4、按照步骤3.2
‑
步骤3.3的过程得到A个区间的各个3D坐标点并构成3D坐标点集合
[0024]步骤4、构建多层感知机网络并且每一层采用ReLU作为激活函数；并将第a个3D坐标点输入多层感知机网络从而利用式(5)和式(6)分别得到第a个3D坐标点对应的密度值σ
a
，辐射值c
a
，红外强度值b
a
以及法线方向n
a
：
[0025][0026][0027]式(5)和式(6)中，表示梯度；
[0028]步骤5、利用式(7)、式(8)、式(9)和式(10)分别计算相机光线对应的RGB值ToF强度值相机光线穿过平面的交点与原点o
n
的距离相机光线在平面交点处的平面法向量
[0029][0030][0031][0032][0033]式(7)、式(8)、式(9)和式(10)中，c
a
表示第a个3D坐标点的辐射值，b
a
表示第a个3D坐标点的红外强度值，x
a
表示第a个3D坐标点与原点o
n
的距离，n
a
表示第a个3D坐标点的法向量值，w
a
表示第a个3D坐标点的权重，并有：
[0034]w
a
＝T
a
(1
‑
exp(
‑
σ
a
δ
a
))
ꢀꢀ
(11)
[0035]式(11)中，T
a
表示第1个3D坐标点与第a个3D坐标点之间的透明度，并由式(12)得到，δ
a
表示第a+本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合RGB图片的多视角ToF深度测量去噪方法，其特征是按如下步骤进行：步骤1、利用标定对齐后的RGB
‑
D成像系统获得N组的RGB图和ToF相位测量图(I
n
，P
n
|n＝1，2，...，N}，其中，I
n
表示第n张RGB图，P
n
表示第n张ToF相位测量图；将第n张RGB图I
n
中第i列第j行的像素点记为其中，表示第n张RGB图I
n
中第i列第j行的像素点的R值，表示第n张RGB图I
n
中第i列第j行的像素点的G值，表示第n张RGB图I
n
中第i列第j行的像素点的B值；将第n张ToF相位测量图P
n
中第i列第j行的像素点记为其中，表示第n张ToF相位测量图P
n
中第i列第j行的像素点的正弦测量分量，表示第n张ToF相位测量图P
n
中第i列第j行的像素点的余弦测量分量；步骤2、以第n组图的相机光心作为原点o
n
，将原点o
n
指向第i列第j行的像素点(i，j)的方向记为从而利用式(1)得到从原点o
n
经过像素点(i，j)的一条射线作为相机光线：式(1)中，x表示射线上的任意一点与原点o
n
之间的距离；并有：o
n
＝
‑
t
n
ꢀꢀꢀꢀ
(2)式(2)和式(3)中，K表示相机内参；R
n
表示第n组图的相机位姿E
n
下的旋转矩阵；t
n
表示第n组图的相机位姿E
n
下的平移向量，n＝1，2，...，N；步骤3、利用分层抽样法从射线上采样A个位置点：步骤3.1、设置采样区间为[x
near
，x
far
]，并将[x
near
，x
far
]均匀分为A个区间块；其中，x
near
表示采样点与原点o
n
的最近距离，x
far
表示采样点与原点o
n
的最远距离；步骤3.2、从第a个块区间中随机采样一个样本x
a
，其中，x
a
代表当前采样位置点与原点o
n
之间的距离，并有：式(2)中，表示服从；U表示均匀分布；步骤3.3、将样本x
a
代入式(1)中得到第a个3D坐标点步骤3.4、按照步骤3.2
‑
步骤3.3的过程得到A个区间的各个3D坐标点并构成3D坐标点集合步骤4、构建多层感知机网络并且每一层采用ReLU作为激活函数；并将第a个3D坐标点输入多层感知机网络从而利用式(5)和式(6)分别得到第a个3D坐标点对应的密度值σ
a
，辐射值c
a
，红外强度值b
a
以及法线方向n
a
：
式(5)...

【专利技术属性】
技术研发人员：张越一，常文杰，熊志伟，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：