飞行时间三维传感器的运动模糊消除方法和设备技术

本申请提供了一种飞行时间(ToF)三维传感器的运动模糊消除方法，包括：检测各图像的运动模糊区域；针对检测的运动模糊区域，计算各图像的灰度直方图，根据灰度直方图分别对各图像进行灰度变换；将经过灰度变换后的各图像进行对齐；将对齐之后的各图像分别进行灰度逆变换；根据灰度逆变换后的图像计算深度图像。本申请还提供了一种ToF三维传感器的运动模糊消除设备。应用本申请能够消除ToF三维传感器的运动模糊。

Method and apparatus for eliminating motion blur of flight time three-dimensional sensor

This application provides a time of flight (ToF) including fuzzy elimination method, 3D movement of the sensor: the detection of moving images of the fuzzy region; for the detected motion blur region, calculating the histogram of each image according to the gray histogram, gray-scale transformation of the image respectively; after the image gray-scale transformation after alignment the image alignment; after are gray inversion; calculate the depth image based on image gray transform of. The present application also provides a motion blur eliminating device for a ToF three-dimensional sensor. Application of this application can eliminate motion blur of ToF 3D sensors.

【技术实现步骤摘要】
飞行时间三维传感器的运动模糊消除方法和设备
本专利技术涉及三维传感器和数字图像处理
，具体涉及飞行时间(time-of-flight,ToF)三维传感器的运动模糊消除方法和设备。
技术介绍
三维深度传感器可以用来感知环境的三维深度信息，因此被广泛应用于人机交互、移动机器人导航、体感游戏、虚拟/增强现实等领域。相比于传统的双目立体相机，深度相机不需要大量的运算来恢复深度，而且得到的图像更为准确、可靠。深度传感器常见的工作方式有两种，一种是结构光(structured-light)方法；另一种是飞行时间(time-of-flight,ToF)方法。图1示意了一种基于光学快门(opticalshutter)的飞行时间深度传感器的工作原理。需要说明的是，本专利技术有时以该ToF传感器为例对本专利技术提出的运动模糊消除方法和设备进行说明，但是，本专利技术方法和设备适用于多种形式的、可能产生运动模糊的ToF传感器，不局限于该传感器。参见图1，飞行时间法三维成像是通过红外光源向目标物体连续发射光波(如图1中照明红外光的正弦波形所示)，然后用感光器件接收从目标物体返回的光(如图1中反射红外光的正弦波形所示)，通过探测光脉冲的往返飞行时间来得到目标物体的距离。飞行时间传感器与普通相机的组成部件有类似之处，都是由光源、光学部件、成像单元、控制电路以及计算单元等几部单元组成。ToF技术采用主动光探测方式。照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量。ToF的照射单元通常是人眼不可见的红外光，比如图1所示的采用激光二极管(Laserdiode，LD)发射的红外光，脉冲频率为20MHz。反射的红外光经过与谐振器零拍混频后，被成像单元CMOS图像传感器接收。在一个成像周期内，成像单元接收到4幅不同相位的图像，随后ToF运算单元针对每一个像素对入射光往返相机与目标物体之间的相位分别进行计算，并计算出深度图像。深度传感器相比于传统传感器在深度测量方面有很多优势，同时也面临一些挑战。对于ToF三维传感器，一个很大的挑战就是运动模糊。从图1中可以看出，为了得到一幅深度图像，需要4幅红外图像I0、I90、I180、I270，下标分别对应4个不同的相位。由于4幅红外图像是在不同的时刻成像，当场景中存在运动物体的时候，物体在不同图像中的位置不相同，就会产生运动模糊的问题。因此，运动模糊消除(motiondeblurring)就成了ToF三维传感器的一个重要课题。ToF三维传感器的运动模糊消除问题的解决方案，包含以下两个步骤：(1)运动模糊区域的检测。如果场景是静止的，理想情况下一个成像周期的4幅红外图像满足一定的约束，通常满足(I0+I180)-(I90+I270)＝0。如果像素点严重不满足该约束，例如：|(I0+I180)-(I90+I270)|>ε其中，ε是一个阈值，就把这些像素判定为运动模糊的像素。(2)运动模糊的消除。主要有以下解决思路：(i)采用孔洞填充(hole-filling)的方法。首先，将运动模糊区域的深度值设为无效，从而运动模糊区域形成了一些孔洞；然后，从孔洞的相邻区域中，采用图像补全技术、或者选择孔洞相邻像素的深度值来填充这些孔洞。空洞填充方法丢弃了运动模糊区域的测量值，根据图像的统计特性加以填充。当前最先进的孔洞补全算法面临着运算量大、难以实时计算的问题。(ii)将一个成像周期内的多幅红外图像对齐，根据对齐之后的图像再来计算深度。跟空洞填充方法相比，这种方法没有丢弃运动模糊区域的测量值，能够更加充分地利用图像的信息。本专利采用这种思路。消除运动模糊在图像处理和计算机视觉领域是一个经典的问题，对于普通的彩色或者灰度图像，存在一些消除运动模糊的算法。按照模糊核的性质，运动模糊消除算法可划分为：盲去卷积(Blindimagedeconvolution，BID)和非盲去卷积(Non-blindimagedeconvolution，NBID)。BID是在模糊核未知的情况下恢复出原始的清晰图像。在这种情况下，除了采集到的图像，没有其他任何信息可供使用。NBID是在模糊核已知的情况下恢复出清晰的原始图像。按照模糊的区域来划分，运动模糊可以分为：全局模糊和局部模糊。全局模糊主要是由于拍摄设备的运动造成的，而局部模糊是由于单个物体的运动造成的。全局模糊可以用一个模糊核来恢复，因此最主要的任务就是点扩散函数(pointspreadfunction,PSF)的估计；而局部模糊的模糊核是随位置变化的，需要在图像的不同地方分别估计点扩散函数。运动模糊消除算法按照可用信息的来源可分为：单幅图像模糊消除和带辅助信息的图像模糊消除。单幅图像模糊消除的输入只有一幅图像，没有其他辅助信息。带辅助信息的图像模糊消除，除了一幅待处理的图像，还有其他的辅助信息可以利用。这里的辅助信息包括：(1)连续的多帧图像；(2)一帧不模糊但噪声可能较大、分辨率可能很低的图像；(3)不同曝光时间的多幅图像；(4)低分辨率的视频；(5)对曝光时间的编码；(6)对镜头或者相机硬件的改造，等等。尽管对于彩色图像或者灰度图像，存在大量的图像模糊消除算法，但是对于三维深度图像，传统的运动模糊消除算法并不能直接使用，因此，有必要提出适用于三维深度图像的运动模糊消除方案。
技术实现思路
本申请提供了一种飞行时间三维传感器的运动模糊消除方法和设备，以消除三维深度图像中的运动模糊。本申请提供的一种ToF三维传感器的运动模糊消除方法，包括：检测各图像的运动模糊区域；针对检测的运动模糊区域，计算各图像的灰度直方图，根据灰度直方图分别对各图像进行灰度变换；将经过灰度变换后的各图像进行对齐；将对齐之后的各图像分别进行灰度逆变换；根据灰度逆变换后的图像计算深度图像。较佳的，检测各图像的运动模糊区域包括：根据各相位红外图像检测运动模糊区域。较佳的，在检测到运动模糊区域后，并在计算各相位红外图像的灰度直方图之前，还包括：对运动模糊区域进行开操作和/或闭操作。较佳的，所述开操作包括：先对运动模糊区域进行腐蚀操作，再进行膨胀操作；所述闭操作包括：先对运动模糊区域进行膨胀操作，再进行腐蚀操作。较佳的，所述根据各相位红外图像检测运动模糊区域包括：对每一个像素i计算(I0+I180)-(I90+I270)；判定满足(I0+I180)-(I90+I270)≤-ε的像素属于类型一运动模糊像素，类型取值为1；判定满足(I0+I180)-(I90+I270)≥ε的像素属于类型二运动模糊，类型取值为2；判定满足|(I0+I180)-(I90+I270)|<ε的像素属于无模糊像素，类型取值为0；其中，I0、I90、I180和I270分别表示相位为0、90、180和270的红外图像；ε是设定的阈值参数。较佳的，所述腐蚀操作包括：如果当前像素的类型取值是0，保持该取值不变；如果当前像素的类型取值是1，则当当前像素的所有相邻像素的类型取值为1时，当前像素的类型取值置为1，否则，当前像素的类型取值置为0；如果当前像素的类型取值是2，则当当前像素的所有相邻像素的类型取值为2时，当前像素的类型取值置为2，否则，当前像素的类型取值置为0。较佳的，所述膨胀操作包括：如果当前像素的类型取本文档来自技高网...

【技术保护点】
一种飞行时间ToF三维传感器的运动模糊消除方法，其特征在于，包括：检测各图像的运动模糊区域；针对检测的运动模糊区域，计算各图像的灰度直方图，根据灰度直方图分别对各图像进行灰度变换；将经过灰度变换后的各图像进行对齐；将对齐之后的各图像分别进行灰度逆变换；根据灰度逆变换后的图像计算深度图像。

【技术特征摘要】
1.一种飞行时间ToF三维传感器的运动模糊消除方法，其特征在于，包括：检测各图像的运动模糊区域；针对检测的运动模糊区域，计算各图像的灰度直方图，根据灰度直方图分别对各图像进行灰度变换；将经过灰度变换后的各图像进行对齐；将对齐之后的各图像分别进行灰度逆变换；根据灰度逆变换后的图像计算深度图像。2.根据权利要求1所述的方法，其特征在于：检测各图像的运动模糊区域包括：根据各相位红外图像检测运动模糊区域。3.根据权利要求2所述的方法，其特征在于：在检测到运动模糊区域后，并在计算各相位红外图像的灰度直方图之前，还包括：对运动模糊区域进行开操作和/或闭操作。4.根据权利要求3所述的方法，其特征在于：所述开操作包括：先对运动模糊区域进行腐蚀操作，再进行膨胀操作；所述闭操作包括：先对运动模糊区域进行膨胀操作，再进行腐蚀操作。5.根据权利要求4所述的方法，其特征在于，所述根据各相位红外图像检测运动模糊区域包括：对每一个像素i计算(I0+I180)-(I90+I270)；判定满足(I0+I180)-(I90+I270)≤-ε的像素属于类型一运动模糊像素，类型取值为1；判定满足(I0+I180)-(I90+I270)≥ε的像素属于类型二运动模糊，类型取值为2；判定满足|(I0+I180)-(I90+I270)|<ε的像素属于无模糊像素，类型取值为0；其中，I0、I90、I180和I270分别表示相位为0、90、180和270的红外图像；ε是设定的阈值参数。6.根据权利要求5所述的方法，其特征在于：所述腐蚀操作包括：如果当前像素的类型取值是0，保持该取值不变；如果当前像素的类型取值是1，则当当前像素的所有相邻像素的类型取值为1时，当前像素的类型取值置为1，否则，当前像素的类型取值置为0；如果当前像素的类型取值是2，则当当前像素的所有相邻像素的类型取值为2时，当前像素的类型取值置为2，否则，当前像素的类型取值置为0。7.根据权利要求5所述的方法，其特征在于：所述膨胀操作包括：如果当前像素的类型取值是1或2，保持该取值不变；如果当前像素的类型取值是0，将其相邻像素中取值为1和2的像素数目分别记作N1和N2，再按照以下情况处理：如果N1和N2均等于0，保持当前像素的类型取值不变；如果N1大于N2，当前像素的类型取值置为1；如果N2大于N1，当前像素的类型取值置为2；...

【专利技术属性】
技术研发人员：赵季，周文，王海涛，朴勇和，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京,11