模拟调制TOF相机校正方法、装置及系统和存储介质制造方法及图纸

本发明专利技术公开一种模拟调制TOF相机校正方法、装置及系统和存储介质，首先计算光强阈值作为深度误差分类标准，选取深度误差标准差最大的光强阈值作为深度误差摆动临界点，根据光强

【技术实现步骤摘要】
模拟调制TOF相机校正方法、装置及系统和存储介质


[0001]本专利技术涉及光学计量及标定
，特别是涉及一种模拟调制TOF相机校正方法、装置及系统和存储介质。

技术介绍

[0002]随着人工智能的迅猛发展，三维信息获取在计算机视觉、机器人导航、人机交互、自动驾驶等领域得到了广泛关注。通常，获取三维信息的方法主要包括立体视觉、结构光、单像素三维成像和飞行时间(TOF)。立体视觉需要先进的匹配算法来获得精确的深度信息，而深度信息容易受到环境光的影响。结构光需要投影优化补偿，这对处理系统的性能要求很高。与上述两种方法相比，TOF深度相机利用主动发射红外激光实现深度信息采集，具有成本低、帧频高、可靠性高等优点。
[0003]TOF深度相机通过计算红外激光在相机与物体之间的飞行时间来获取两者之间的距离信息，并同时获取灰度信息，是一种高效的3D成像仪器。然而，TOF深度相机的测量数据与实际真实数据之间的误差受到多种误差来源影响，如环境光噪声、积分时间、温度漂移、以及物体表面材质不同所引起的反射率不同等等，这些因素会显著降低TOF相机的性能。因此，需要对TOF相机进行适当校准，以实现可靠的深度信息采集。
[0004]通常对TOF相机进行深度标定的方法有多种，其中一种常见的方法是利用导轨进行标定。具体地，将TOF相机面朝白墙安置在不同的距离处进行成像，通过建立测量距离与真实距离的关系来修正测量距离，从而获得更准确的深度图。此外，还有其他的标定方法，如利用时延偏差对TOF相机的时延值进行校准、对采集的原始相位图像进行几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正及温度误差补偿等等，以消除多个方面引入的误差。
[0005]另外，一些专利中还提出了新的TOF相机标定方法和装置。例如，专利《一种飞行时间TOF相机的标定方法和装置》中提出了一种TOF相机标定方法，其通过调整TOF相机时序的方法模拟TOF相机和标定板之间的不同距离，采集到的TOF相机的测量深度值和标定板的实际深度值，并分析其之间的对应关系，从而得出TOF相机的深度测量值所对应的补偿修正值，最后利用所述补偿修正值对深度测量值进行补偿，从而得到标定结果。专利《一种TOF相机的标定装置及方法》提出了一种TOF相机的标定装置，该装置有多个标定板间隔排布，并且板面之间相互平行，每一块标定板都至少有一个标定面，除此之外，该装置还包含多个导轨和多个TOF相机，能够快速、准确地对TOF相机进行标定。
[0006]然而，由于TOF相机原理和制造工艺的限制，当光强度较低时，深度失真表现出无规律的变化状态，上述方法均无法显式地对深度误差进行建模。论文《改进的TOF相机谐波和强度误差校正算法设计》采用光强导致深度误差进行误差拟合曲面的方法，优化控制点矩阵可以更好地拟合实际误差，但对于光强较低导致的无规律深度误差补偿效果仍然有限。
[0007]此外，在不同测量场景下，测量材料的不同会导致光散射误差，除了光散射误差
外，不同测量场景下不同材料的反射率也会导致深度失真，无法使用单一的模型进行校正。专利《对不同反射率物体的深度补偿方法及TOF相机》通过光强度比值补偿提高深度测量准确性，但对于光散射误差和反射率差异较大的场景校正效果有限。论文《Object Identification Using Time
‑
of
‑
Flight Depth Camera and Data Fusion》采用数据融合和机器学习方法识别不同材料的物体，并使用KNN(K
‑
Nearest Neighbor)算法进行分类，但并未描述如何使用材料分类结果进行材料相关深度失真校正。
[0008]因此，本专利技术为克服测量材料导致的多径效应与光散射等非系统误差带来的影响，提出一种基于材料分类辨识的TOF相机误差校正方法，采用机器学习对不同材料频率相关深度失真特性进行学习建模，构建材料深度误差数据集，将材料分类结果与深度失真数据库相结合进而校正深度数据，提高TOF相机的成像质量和准确性。

技术实现思路

[0009]提供了本专利技术以解决现有技术中存在的上述问题。因此，需要一种模拟调制TOF相机校正方法、装置及系统和存储介质，首先针对TOF相机由于不同的测量光强距离引起的强度距离误差，使用k
‑
means聚类算法计算光强阈值作为深度误差分类标准，选取深度误差标准差最大的光强阈值作为深度误差摆动临界点，根据光强
‑
距离数据集建立光强
‑
距离查找表对高光强深度数据进行校正，建立光强
‑
深度随机森林非线性模型并使用粒子群算法优化模型超参数对低光强深度数据。然后，构建stacking材料校正分类模型，针对由于测量场景材料导致的光散射误差，使用LDA(Linear Discriminant Analysis)算法提取有效特征并建立材料
‑
深度失真数据集，最后，在实时采集过程中使用训练好的材料校正分类模型对采集到的物体材料进行分类，并根据材料分类结果使用材料
‑
深度失真数据集对深度数据进行校正，最终获得较高质量的深度图像。本专利技术优点在于有效减少深度测量误差，提高了深度测量精度；并且可以针对不同材料和光照环境进行自适应校正，适用范围广，具有良好的通用性。此外本专利技术实现了实时采集和校正，能够满足实时应用的需求。本专利技术是TOF深度相机工程应用中的重要一环，可以便利、高效地对TOF深度相机进行校正，有效避免现有校正方法的不足。
[0010]根据本专利技术的第一方案，提供了一种模拟调制TOF相机校正方法，所述方法包括：
[0011]获取光强阈值作为TOF相机的深度误差分类标准；
[0012]根据TOF相机的光强和距离数据，生成光强
‑
距离数据集，选取深度误差标准差最大的分段对应的光强阈值A
pi
作为深度误差摆动临界点V
ep
；
[0013]根据所述光强
‑
距离数据集，利用高于深度误差摆动临界点V
ep
的高光强深度数据来构建光强
‑
距离查找表进行校正；
[0014]根据所述光强
‑
距离数据集，利用低于深度误差摆动临界点V
ep
的低光强深度数据来构建光强
‑
深度随机森林非线性模型，并优化随机森林超参数；
[0015]根据材料分类相关特征，建立材料
‑
深度失真数据集，从所述材料
‑
深度失真数据集中提取有效特征并训练材料校正分类模型；
[0016]利用训练后的材料校正分类模型确定该物体的材料类型，通过材料
‑
深度失真数据集获取材料与深度失真值之间的关系，对深度数据进行校正。
[0017]进一步地，通过如下方法获取光强阈值
[0018]使用TOF相机对基准距离处的靶标中心像素点的深本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模拟调制TOF相机校正方法，其特征在于，所述方法包括：获取光强阈值作为TOF相机的深度误差分类标准；根据TOF相机的光强和距离数据，生成光强
‑
距离数据集，选取深度误差标准差最大的分段对应的光强阈值作为深度误差摆动临界点V
ep
；根据所述光强
‑
距离数据集，利用高于深度误差摆动临界点V
ep
的高光强深度数据来构建光强
‑
距离查找表进行校正；根据所述光强
‑
距离数据集，利用低于深度误差摆动临界点V
ep
的低光强深度数据来构建光强
‑
深度随机森林非线性模型，并优化随机森林超参数；根据材料分类相关特征，建立材料
‑
深度失真数据集，从所述材料
‑
深度失真数据集中提取有效特征并训练材料校正分类模型；利用训练后的材料校正分类模型确定该物体的材料类型，通过材料
‑
深度失真数据集获取材料与深度失真值之间的关系，对深度数据进行校正。2.根据权利要求1所述的方法，其特征在于，通过如下方法获取光强阈值使用TOF相机对基准距离处的靶标中心像素点的深度距离进行测量时，通过改变TOF相机的积分时间和靶标板的反射率，得到不同光强值A下的深度距离测量值，与实际准确深度值对比得到每组测量值与实际值的深度偏移值，以所述深度偏移值作为距离误差d
error
，得到光强
‑
误差数据集{A,d
error
}；通过枚举法对采集数据进行k
‑
means聚类分析，在每个k值上重复运行一次k
‑
means聚类，并计算当前k值的平均轮廓系数，选取轮廓系数最大的值对应的k作为最终的集群数目，根据不同光强值A下的深度距离测量值得到最佳分类的k值K
AP
，以将光强分为K
AP
个段，分别进行光强深度误差聚类分析；根据得到的最佳k值K
AP
，对所述光强
‑
误差数据集{A,d
error
}采用k
‑
means聚类进行光强深度误差聚类分析，得到K
AP
‑
1个光强阈值3.根据权利要求1所述的方法，其特征在于，所述根据TOF相机的光强和距离数据，生成光强
‑
距离数据集，具体包括：对测量范围R
min
～R
max
内，以步长S为单位，共组深度距离进行测量，移动TOF相机在每个测量距离d上，改变TOF相机积分时间，分别获得从低光强到高光强下的测量深度值，分别使用不同反射率和粗糙度的测量材料为靶标，重复进行采集。在每个距离d上，通过激光测距仪测量获得TOF相机与靶标精确距离，利用TOF相机连续测量获得n组测量的图像帧，从图像中心选择区域进行深度误差分析，定义距离误差d
error
为：
d
error
＝d
measure
‑
d
real
其中，是像素(i,j)的平均测量距离，f是相机的帧序号，是在第f帧中像素(i,j)测量的距离，d
measure
为中心区域平均测量距离，a和b分别是所选区域的行数和列数，s是像素总数，d
real
是激光测距仪测量得到的实际距离，d
error
为测量误差；根据得到的每组的光强值A，深度测量值d
measure
，实际值d
real
与深度偏移值d
error
，获得光强
‑
距离数据集{A,d
real
,d
measure
,d
error
}。4.根据权利要求1所述的方法，其特征在于，所述根据所述光强
‑
距离数据集，利用高于深度误差摆动临界点V
ep
的高光强深度数据来构建光强
‑
距离查找表进行校正，具体包括：对每个预设范围内同样测量距离的数据为一组使用线性多项式拟合方法，分别建立测量距离与测量光强的六阶多项式函数，d
measure
＝f(A)，以补偿实测光强数据区间的不足；将光强值以A
step
为单位划分，范围从A
min
～A
max
，对每组的建立测量值与真实值的映射，对n组测量深度数据中每两个数据点之间使用高阶多项式函数连接建一个三次样条，样条函数如下：根据三次样条插值结果，建立光强
‑
距离查找表AD_LUT(A,d
measure
,d
real
)，A为光强以A
step
为单位，范围从A
min
～A
max
，d
real
为实际距离，范围为R
min
～R
max
。5.根据权利要求1所述的方法，其特征在于，所述根据所述光强
‑
距离数据集，利用低于深度误差摆动临界点V
ep
的低光强深度数据来构建光强
‑
深度随机森林非线性模型，并优化随机森林超参数，具体包括：基于所述光强
‑
距离数据集，将低于深度误差摆动临界点的低光强深度数据作为训练样本集{A
i
,d
measure,i
,d
err...

【专利技术属性】
技术研发人员：王海宽，桂韬，周文举，
申请(专利权)人：上海大学，
类型：发明
国别省市：