一种采用双目原理的双TOF相机深度信息获取方法技术

本发明专利技术提供的一种采用双目原理的双TOF相机深度信息获取方法，涉及图像处理技术，通过对左TOF深度图和右TOF深度图进行处理，获取TOF深度图，对TOF深度图进行降噪处理，获取初始深度图，并根据左TOF光强灰度图和右TOF光强灰度图获取视差图像；基于TOF深度图获取TOF深度图可信度权重函数，基于视差图像获取立体匹配深度图，并获取立体匹配深度图的可信度权重函数；基于TOF深度图可信度权重函数和立体匹配深度图可信度权重函数对TOF深度图和立体匹配深度图进行像素级融合处理，获取目标深度图像的技术方案，无需联合标定，简化流程，成本较低，且使得TOF深度相机与双目立体匹配测得的深度能够实现优势互补，从而获得更加精确的深度信息。度信息。度信息。

【技术实现步骤摘要】
一种采用双目原理的双TOF相机深度信息获取方法


[0001]本专利技术涉及图像处理技术，尤其涉及一种采用双目原理的双TOF相机深度信息获取方法。

技术介绍

[0002]目前，TOF相机技术应用越来越多，原理是TOF相机主动发射调制光源到被测物体表面，调制光被物体反射后再被TOF相机捕获，通过计算调制光源由发出到捕获期间的时间差或相位差得到物体距离相机的深度/距离。其中，通过时间差计算距离的方法称为脉冲法(Pulsed TOF)，通过相位差计算距离的方法称为连续波法(Continuous
‑
Wave TOF)。脉冲法中直接测量时间差，这对系统时钟要求非常高，比如1毫米的精度只需要6.6皮秒，因而连续波法更常被使用。
[0003]然而，TOF相机由于自身成像原因及外界环境干扰等，在低反射率区域测量误差大，目前，存在TOF相机和双目相机融合获取图像信息的方法，然后这种方法需要进行联合标定，流程繁琐，成本较高。

技术实现思路

[0004]本专利技术实施例提供一种采用双目原理的双TOF相机深度信息获取方法，无需联合标定，成本较低。
[0005]本专利技术实施例的第一方面，提供一种采用双目原理的双TOF相机深度信息获取方法，包括：
[0006]基于左TOF相机获取左TOF深度图和左TOF光强灰度图，基于右TOF相机获取右TOF深度图和右TOF光强灰度图；
[0007]对所述左TOF深度图和所述右TOF深度图进行处理，获取TOF深度图，对所述TOF深度图进行降噪处理，获取初始深度图，并根据所述左TOF光强灰度图和所述右TOF光强灰度图获取视差图像；
[0008]基于所述TOF深度图获取TOF深度图可信度权重函数，基于所述视差图像获取立体匹配深度图，并获取所述立体匹配深度图的可信度权重函数；
[0009]基于所述TOF深度图可信度权重函数和所述立体匹配深度图可信度权重函数对所述TOF深度图和立体匹配深度图进行像素级融合处理，获取目标深度图像。
[0010]可选地，在第一方面的一种可能实现方式中，所述对所述TOF深度图进行降噪处理，获取初始深度图，包括：
[0011]根据高斯滤波模型对所述TOF深度图进行降噪处理，获取所述初始深度图，其中，所述高斯滤波模型包括：
[0012][0013]其中，σ为标准差，x,y为高斯核坐标，G为高斯核新值。
[0014]可选地，在第一方面的一种可能实现方式中，所述基于所述TOF深度图获取TOF深度图可信度权重函数，包括：
[0015]获取TOF深度图的初始可信度权重函数，所述初始可信度权重函数包括：
[0016][0017]其中，σ为TOF相机测得深度值的标准偏差；
[0018]对所述初始可信度权重函数进行归一化处理，获取所述TOF深度图可信度权重函数，所述TOF深度图可信度权重函数包括：
[0019][0020]其中，rt为TOF深度图归一化后的可信度权重函数。
[0021]可选地，在第一方面的一种可能实现方式中，所述获取所述立体匹配深度图的可信度权重函数，包括：
[0022]获取立体匹配深度图的初始可信度权重函数，所述初始可信度权重函数包括：
[0023][0024]其中，为立体匹配图像像素点的最小匹配代价函数值，为次小匹配代价函数值。
[0025]对所述初始可信度权重函数进行归一化处理，获取所述立体匹配深度图的可信度权重函数，所述可信度权重函数包括：
[0026][0027]可选地，在第一方面的一种可能实现方式中，所述对所述左TOF光强灰度图和所述右TOF光强灰度图进行双目立体视觉匹配处理，获取所述视差图像，包括：
[0028]对Census变换模型和SAD局部立体匹配模型进行融合处理，获取第二匹配代价函数；
[0029]基于所述第二匹配代价函数对所述左TOF光强灰度图和所述右TOF光强灰度图进行局部立体匹配处理，获取所述视差图像；
[0030]其中，所述Census变换模型为：
[0031][0032]所述SAD局部立体匹配模型的第一匹配代价函数为：
[0033][0034]所述第二匹配代价函数为：
[0035]C(p,d)＝ρ(C
census
(p,d),λ
census
)+ρ(C
SAD
(p,d),λ
SAD
)
[0036]其中，
[0037]式中，I
p
代表窗口中心像素灰度值，I
q
代表邻域像素灰度值，N
p
代表中心像素p的邻域，Il代表左目图像像素值，I
r
代表右目图像像素值，n、m代表窗口大小，u代表像素点横坐标，i代表横坐标偏移量，v代表像素点纵坐标，j代表纵坐标偏移量，d代表视差，C(p,d)代表点p在视差为d时的匹配代价，λ代表匹配模型融合权值。
[0038]可选地，在第一方面的一种可能实现方式中，所述对所述左TOF光强灰度图和所述右TOF光强灰度图进行双目立体视觉匹配处理，获取所述视差图像，还包括：
[0039]基于所述TOF深度图对所述视差图像进行辅助配准。
[0040]可选地，在第一方面的一种可能实现方式中，所述TOF深度图对应像素点的可信度函数为：
[0041][0042]其中，W(x,y)代表像素点(x,y)的可信权重，A代表该点光强，Amin代表最小可信光强值，Amax代表最大可信光强值。
[0043]所述基于所述TOF深度图对所述视差图像进行辅助配准，包括：
[0044]当所述TOF深度图对应像素点的可信度为1时，使用该像素点的深度值对视差图像进行辅助配准。
[0045]可选地，在第一方面的一种可能实现方式中，所述基于所述TOF深度图可信度权重函数和所述立体匹配深度图可信度权重函数对所述TOF深度图和立体匹配深度图进行像素级融合处理，获取目标深度图像，包括：
[0046]基于所述TOF深度图可信度权重函数和所述立体匹配深度图可信度权重函数获取最终权重函数，所述最终权重函数包括：
[0047][0048]w
t
＝1
‑
w
s
[0049]其中，w
s
为立体匹配深度图的权重，w
t
为TOF深度图的权重；
[0050]基于所述最终权重函数对所述TOF深度图和立体匹配深度图进行像素级融合处理，获取所述目标深度图像。
[0051]本专利技术提供的一种采用双目原理的双TOF相机深度信息获取方法，通过基于左TOF相机获取左TOF深度图和左TOF光强灰度图，基于右TOF相机获取右TOF深度图和右TOF光强灰度图；对所述左TOF深度图和所述右TOF深度图进行处理，获取TOF深度图，对所述TOF深度图进行降噪处理，获取初始深度图，并根据所述左TOF光强灰度图和所述右TOF本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种采用双目原理的双TOF相机深度信息获取方法，其特征在于，包括：基于左TOF相机获取左TOF深度图和左TOF光强灰度图，基于右TOF相机获取右TOF深度图和右TOF光强灰度图；对所述左TOF深度图和所述右TOF深度图进行处理，获取TOF深度图，对所述TOF深度图进行降噪处理，获取初始深度图，并根据所述左TOF光强灰度图和所述右TOF光强灰度图获取视差图像；基于所述TOF深度图获取TOF深度图可信度权重函数，基于所述视差图像获取立体匹配深度图，并获取所述立体匹配深度图的可信度权重函数；基于所述TOF深度图可信度权重函数和所述立体匹配深度图可信度权重函数对所述TOF深度图和立体匹配深度图进行像素级融合处理，获取目标深度图像。2.根据权利要求1所述的方法，其特征在于，所述对所述TOF深度图进行降噪处理，获取初始深度图，包括：根据高斯滤波模型对所述TOF深度图进行降噪处理，获取所述初始深度图，其中，所述高斯滤波模型包括：其中，σ为标准差，x,y为高斯核坐标，G为高斯核新值。3.根据权利要求1所述的方法，其特征在于，所述基于所述TOF深度图获取TOF深度图可信度权重函数，包括：获取TOF深度图的初始可信度权重函数，所述初始可信度权重函数包括：其中，σ为TOF相机测得深度值的标准偏差；对所述初始可信度权重函数进行归一化处理，获取所述TOF深度图可信度权重函数，所述TOF深度图可信度权重函数包括：其中，rt为TOF深度图归一化后的可信度权重函数。4.根据权利要求3所述的方法，其特征在于，所述获取所述立体匹配深度图的可信度权重函数，包括：获取立体匹配深度图的初始可信度权重函数，所述初始可信度权重函数包括：其中，为立体匹配图像像素点的最小匹配代价函数值，为次小匹配代价函数值。对所述初始可信度权重函数进行归一化处理，获取所述立体匹配深度图的可信度权重函数，所述可信度权重函数包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述左TOF光强灰度图和所述右TOF光强灰度图获取视差图像，包括：对所述左TOF光强灰度图和所述右TOF光强灰度图进行双目立体视觉匹配处理，获取所述视差图像。6.根据权利要求5所述的方法，其特征在于，所述对所述左TOF光强灰度图和所述右TOF光强灰度图进行双目立体视觉匹配处理，获取所述视差图像，包括：对Census变换模型和SAD局部立体匹配模型进行融合处理，获取第二匹配代价函数；...

【专利技术属性】
技术研发人员：毕欣，张博，熊璐，杨士超，许志秋，
申请(专利权)人：同济大学，
类型：发明
国别省市：