一种融合的深度测量方法及测量装置制造方法及图纸

一种融合的深度测量方法及测量装置，对场景区域的距离进行测量，测量方法包括：对场景区域发射脉冲光束；接收脉冲光束的反射信号，并输出往返脉冲光束与反射信号的渡越时间的电信号；采集场景区域的左图像，并采集场景区域的右图像；对渡越时间的电信号进行处理以获取第一深度图像，并将第一深度图像转换为第一视差图像；对左图像与右图像进行立体匹配，以获取第二视差图像；对第一视差图像与第二视差图像进行融合，以获取目标图像。通过设置上述融合的深度测量方法及测量装置，解决了传统的测距方法存在着因算法复杂，从而导致测距计算时间较长和目标识别精度较低的技术问题。

【技术实现步骤摘要】
一种融合的深度测量方法及测量装置
本申请涉及图像处理与光学测量
，尤其涉及一种融合的深度测量方法及测量装置。
技术介绍
深度测量装置可以用来获取物体的深度图像，进一步可以进行3D建模、骨架提取、人脸识别等，在3D测量以及人机交互等领域有着非常广泛的应用。目前的深度测量技术主要有TOF测距技术、双目测距技术等。TOF的全称是Time-of-Flight，即飞行时间，TOF测距技术是一种通过测量脉冲光束在发射/接收装置和目标物体间的往返飞行时间来实现精确测距的技术，分为直接测距技术和间接测距技术。其中，直接测距技术测量脉冲光束的发射和接收的时间差，相比于传统的图像传感器，直接测距技术利用单光子雪崩二极管(SPAD)图像传感器实现高灵敏度的光探测，并且采用时间相关单光子技术方法来实现皮秒级的时间精度。但SPAD图像传感器在制造工艺、芯片设计等方面仍然存在诸多限制，以至于图像传感器的分辨率非常低。双目测距技术利用的是三角测距法计算被测物到相机的距离；具体地说，就是从两个相机观察同一物体，被观测物体在两个相机中拍摄到的图像中的位置会有一定位置差，即视差；被测物离相机越近，视差就越大；距离越远，视差就越小。在已知两个相机间距等相对位置关系的情况下，即可通过相似三角形的原理计算出被摄物到相机的距离。然而这种测距方式对处理器硬件要求较高，且需要依赖于复杂的算法，算法计算时间长，对于特征不明显的目标识别效果不佳，识别精度较低。因此，传统的测距方法存在着因算法复杂，从而导致测距计算时间较长和目标识别精度较低的技术问题。
技术实现思路
本申请的目的在于提供一种融合的深度测量方法及测量装置，旨在解决传统的测距方法存在着因算法复杂，从而导致测距计算时间较长和目标识别精度较低的技术问题。本申请实施例的第一方面提供了一种融合的深度测量方法，对场景区域的距离进行测量，包括：对所述场景区域发射脉冲光束；接收所述脉冲光束的反射信号，并输出往返所述脉冲光束与所述反射信号的渡越时间的电信号；采集所述场景区域的左图像和右图像；对所述渡越时间的电信号进行处理以获取第一深度图像，并将所述第一深度图像转换为第一视差图像；对所述左图像与所述右图像进行立体匹配，以获取第二视差图像；对所述第一视差图像与所述第二视差图像进行融合，以获取目标图像。在其中一实施例中，对所述场景区域发射脉冲光束包括：产生所述脉冲光束；调整所述脉冲光束的发散度；对所述脉冲光束进行导向，以指示所述脉冲光束发散至所述场景区域的各个方向。本申请实施例的第二方面提供了一种融合的深度测量装置，包括：发射模块，用于对场景区域发射脉冲光束；探测模块，用于接收所述脉冲光束的反射信号，并输出往返所述脉冲光束与所述反射信号的渡越时间的电信号；采集模块，用于采集所述场景区域的左图像和右图像；处理模块，用于对所述渡越时间的电信号进行处理以获取第一深度图像，并将所述第一深度图像转换为第一视差图像；转换模块，对所述左图像与所述右图像进行立体匹配，以获取第二视差图像；以及融合模块，用于对所述第一视差图像与所述第二视差图像进行融合，以获取目标图像。在其中一实施例中，所述发射模块包括：光源阵列，用于产生脉冲光束；透镜元件，用于调整所述脉冲光束的发散度；以及光束扫描元件，用于对所述脉冲光束进行导向，以指示所述脉冲光束发散至所述场景区域的各个方向。在其中一实施例中，所述探测模块包括单光子雪崩二极管图像传感器；所述处理模块中，将所述第一深度图像转换为第一视差图像具体包括：以所述左图像为参考图像，计算所述第一深度图像对应的所述第一视差图像：式中，PD(x0,y0)为所述第一深度图像上深度值Z(x0,y0)在点(x0,y0)处的视差值，f为所述单光子雪崩二极管图像传感器的焦距，Tlt是以深度相机-左相机为系统的基线长度，Hlt是深度相机标定出来的单应矩阵。在其中一实施例中，将所述第一深度图像转换为所述第一视差图像，还包括：采用以下二元三次方程对所述第一视差图像的视差曲面进行拟合，以获取平滑的视差曲面：d(x,y)＝a1+a2x+a3y+a4x2+a5xy+a6y2+a7x3+a8x2y+a9xy2+a10y3式中，d(x,y)为一个三维视差曲面，a1，a2，···，a10为系数，x和y为像素坐标。在其中一实施例中，所述处理模块中，在将所述第一深度图像转化为第一视差图像之前，还包括：对所述单光子雪崩二极管图像传感器与所述左图像传感器或者所述右图像传感器进行联合标定：将所述单光子雪崩二极管图像传感器获得的所述第一深度图像转化为点云数据，将所述点云数据通过联合标定的变换矩阵映射到所述左图像传感器或者所述右图像传感器的相机坐标系中，得到以所述左图像传感器或者所述右图像传感器为参考的平面二维点。在其中一实施例中，所述转换模块中，对所述左图像与所述右图像进行立体匹配，以获取第二视差图像具体包括：选取所述第一视差图像上的像素点作为种子点，引导所述左图像和所述右图像进行立体匹配以获得所述第二视差图像，具体采用以下公式：式中，(x,y0)为右图像每个视差范围内的像素点，θ为选定的参数。在其中一实施例中，对所述第一视差图像与所述第二视差图像进行融合，以获取深度图像，具体包括：根据所述第一视差图像，获取第一可信度函数；根据所述第二视差图像，获取第二可信度函数；根据所述第一可信度函数和所述第二可信度函数构成不同的权重，对所述第一视差图像与所述第二视差图像进行融合，以获取像素融合视差；根据所述像素融合视差对场景区域进行三维重建，以获取所述深度图像。在其中一实施例中，对所述第一视差图像与所述第二视差图像进行融合，以获取像素融合视差，具体包括：根据所述第一可信度函数和所述第二可信度函数，构成不同的权重对两种视差进行融合，得到像素融合视差，具体采用以下公式：d＝wt·dt+ws·dswt＝1-ws式中，dt为第一视差值，ds为第二视差值，wt为根据第一视差值的权重，ws为根据第二视差值的权重。本专利技术实施例中上述的一种融合的深度测量方法及测量装置，通过单光子雪崩二极管图像传感器获取第一深度图像，并将第一深度图像的像素点作为种子点，引导左图像传感器和右图像传感器进行立体匹配，以获取第二视差图像，通过将第一深度图像转化为第一视差图像，并根据第一可信度函数和第二可信度函数构成不同的权重，以融合第一视差图像和第二视差图像，得到融合视差图像以恢复场景区域的三维重建，获取高分辨率的目标图像，识别精度较高。附图说明图1为本申请一实施例提供的一种融合的深度测量方法的具体流程步骤示意图；图2为本申请一实施例提供的一种融合的深度测量方法中将第一深度图像转换为本文档来自技高网...

【技术保护点】
1.一种融合的深度测量方法，对场景区域的距离进行测量，其特征在于，所述测量方法包括：/n对所述场景区域发射脉冲光束；/n接收所述脉冲光束的反射信号，并输出往返所述脉冲光束与所述反射信号的渡越时间的电信号；/n采集所述场景区域的左图像和右图像；/n对所述渡越时间的电信号进行处理以获取第一深度图像，并将所述第一深度图像转换为第一视差图像；/n对所述左图像与所述右图像进行立体匹配，以获取第二视差图像；/n对所述第一视差图像与所述第二视差图像进行融合，以获取目标图像。/n

【技术特征摘要】
1.一种融合的深度测量方法，对场景区域的距离进行测量，其特征在于，所述测量方法包括：
对所述场景区域发射脉冲光束；
接收所述脉冲光束的反射信号，并输出往返所述脉冲光束与所述反射信号的渡越时间的电信号；
采集所述场景区域的左图像和右图像；
对所述渡越时间的电信号进行处理以获取第一深度图像，并将所述第一深度图像转换为第一视差图像；
对所述左图像与所述右图像进行立体匹配，以获取第二视差图像；
对所述第一视差图像与所述第二视差图像进行融合，以获取目标图像。


2.根据权利要求1所述的测量方法，其特征在于，对所述场景区域发射脉冲光束包括：
产生所述脉冲光束；
调整所述脉冲光束的发散度；
对所述脉冲光束进行导向，以指示所述脉冲光束发散至所述场景区域的各个方向。


3.一种融合的深度测量装置，其特征在于，包括：
发射模块，用于对场景区域发射脉冲光束；
探测模块，用于接收所述脉冲光束的反射信号，并输出往返所述脉冲光束与所述反射信号的渡越时间的电信号；
采集模块，用于采集所述场景区域的左图像和右图像；
处理模块，用于对所述渡越时间的电信号进行处理以获取第一深度图像，并将所述第一深度图像转换为第一视差图像；
转换模块，对所述左图像与所述右图像进行立体匹配，以获取第二视差图像；以及
融合模块，用于对所述第一视差图像与所述第二视差图像进行融合，以获取目标图像。


4.根据权利要求3所述的测量装置，其特征在于，所述发射模块包括：
光源阵列，用于产生脉冲光束；
透镜元件，用于调整所述脉冲光束的发散度；以及
光束扫描元件，用于对所述脉冲光束进行导向，以指示所述脉冲光束发散至所述场景区域的各个方向。


5.根据权利要求4所述的测量装置，其特征在于，所述探测模块包括单光子雪崩二极管图像传感器；
所述处理模块中，将所述第一深度图像转换为所述第一视差图像具体包括：
以所述左图像为参考图像，计算所述第一深度图像对应的所述第一视差图像：



式中，PD(x0,y0)为所述第一深度图像上深度值Z(x0,y0)在点(x0,y0)处的视差值，f为所述单光子雪崩二极管图像传感器的焦距，Tlt是以深度相机-左相机为系统的基线长度，Hlt是深度相机标定出来的单应矩阵。


6.根据权利要求5所述的测量装...

【专利技术属性】
技术研发人员：王兆民，黄源浩，肖振中，
申请(专利权)人：奥比中光科技集团股份有限公司，
类型：发明
国别省市：广东;44