基于TOF成像系统的深度融合方法和TOF相机技术方案

本发明专利技术公开了一基于TOF成像系统的深度融合方法和TOF相机，其中，所述TOF成像系统被适用于获取至少一目标对象的深度信息，包括以下步骤：获取该目标对象的至少一长曝光数据以及至少一短曝光数据；获取该目标对象的至少一深度数据，其中所述深度数据包括至少一短深度数据以及至少一长深度数据；以及融合所述短深度数据值以及所述长深度数据值，以获取该目标对象的至少一融合数据。所述深度融合方法基于目标对象的深度信息融合所述目标对象的图像，以获取所述目标对象的完整的深度信息。

Depth Fusion Method and TOF Camera Based on TOF Imaging System

The invention discloses a depth fusion method and a TOF camera based on a TOF imaging system, in which the TOF imaging system is suitable for obtaining depth information of at least one target object, including the following steps: acquiring at least one long exposure data of the target object and at least one short exposure data of the target object; acquiring at least one depth data of the target object, wherein the depth data includes to Less than one short depth data and at least one long depth data; and fusing the short depth data value and the long depth data value to obtain at least one fusion data of the target object. The depth fusion method fuses the image of the target object based on the depth information of the target object to obtain the complete depth information of the target object.

【技术实现步骤摘要】
基于TOF成像系统的深度融合方法和TOF相机
本专利技术涉及一摄像领域，特别涉及一基于TOF成像系统的深度融合方法和TOF相机，本专利技术在嵌入式端集中实现所述TOF成像系统对图像的深度融合。
技术介绍
随着科技的不断发展，机器视觉作为人工智能的一个重要分支正在快速发展。简单来说，机器视觉就是配置机器从而使得机器具有人眼功能，甚至使得机器具有比人眼功能更强大的视觉功能，从而使得机器可智能代替人眼来做目标对象做测量和判断。具体而言，机器视觉系统就是通过机器视觉产品(比如图像获取设备)将目标对象转换为图像信号，并将传送给专用的图像处理系统，得到目标对象的形态信息，图像处理系统对像素分布、亮度、颜色等信号进行各种运算来抽取目标对象的特征，进而根据判别的结果来控制现场的设备动作。机器视觉在很多领域都有广泛的应用，比如机器视觉可被应用在航拍无人机的自动跟踪及避障，VR(virtualreality)，AR(augmentedreality)，ADAS(advanceddriverassistantsystem)及SLAM(simultaneouslocalizationandmapping)等多领域中，以替代人工视觉，以获取目标对象的各种信息，而在机器视觉的应用中，必不可少以及至关重要的一个功能就是深度感知，准确地获取目标对象的深度数据信息才可为后续的测量或者应用做准备，TOF便是实现深度感知的重要技术手段之一。飞行时间法(TimeOfFlight，TOF)通过测量测量仪器发出的脉冲信号从发射到接收的时间间隔t(常被称为脉冲测距法)或激光往返目标对象一次所产生的相位(相位差测距法)来实现对目标对象(或目标对象检测区域)的三维结构或三维轮廓的测量。应用TOF技术进行测量的仪器被定义为TOF测量仪器，如TOF相机，所述TOF相机对目标对象的深度或三维结构的测量主要是基于脉冲信号或激光的相位差的测量。其通常包括一光源发射模块和一感光接收模块，所述光源发射模块与所述感光接收模块相配合，并基于TOF深度测量生成被测目标的深度信息。更具体地说，所述光源发射模块发射一特定波段的光波，所述发射光波在被测目标的表面发生反射，以被所述感光接收模块所接收，进而，所述感光接收模块根据发射光波和接收光波之间的时间差或者相位差计算出被测目标的深度信息。所述TOF测量仪器不仅能够获取被测目标的深度信息，同时，获取被测目标的灰度信息和亮度信息。正是由于TOF测试仪器的这些独特的特指，使得TOF测试仪器在机器视觉方面有广泛的应用。然而，现有的TOF测试仪器在获取目标对象的深度信息时，存在或多或少的问题，从而导致所述TOF测试仪器并不能获取目标对象的完整的深度信息，而影响深度数据在机器视觉或者其他后续的应用。具体而言，现有的TOF测试仪器在拍摄远近的目标对象时，往往存在曝光不足或者曝光过度的问题，从而导致目标对象的深度信息的丢失。比如，现有TOF测试仪器在拍摄一距离较远的目标对象时，所述目标对象的合适的曝光时间被环境亮度、目标对象的亮度，相机光圈，目标对象的距离等多因素共同影响，即所述目标对象的合适的曝光时间随时随地地在变化，而现有的TOF测试仪器并不能每时每刻都获取适宜目标对象的合适的曝光时间，而导致现有的TOF测试仪器在拍摄目标对象时会存在过曝或者曝光不足的问题。再者，即使TOF测试仪器在拍摄距离较远的目标对象时控制较好的曝光时间，此时，所述TOF测试仪器在拍摄距离较近的目标对象时依据存在过曝或者曝光不足的问题，即所述TOF测试仪器并不能同时获取远近物品的完整的深度信息。一旦所述TOF测试仪器获取的目标的深度信息存在误差，将或多或少地影响所述深度信息的后续应用。举例来说，在无人航空机的避障过程，假设设置在所述无人航空机上的TOF测试仪器获取的目标对象的深度信息存在偏差，所述无人航空机获取错误的周边环境信息，导致无人航空机可能会与周边障碍物发生碰撞而引发不必要的事故或者损失。综上所述，现有的TOF测试仪器在获取远近的目标对象时，往往存在曝光过度或者曝光不足的问题，即所述TOF测试仪器并不能获取所述目标对象的完整的深度信息。
技术实现思路
本专利技术的目的在于提供一基于TOF成像系统的深度融合方法，其中，所述深度融合方法基于目标对象的深度信息融合所述目标对象的图像，以获取所述目标对象的完整的深度信息。本专利技术的目的在于提供一基于TOF成像系统的深度融合方法，其中，所述深度融合方法基于目标对象的深度信息融合所述目标对象的图像，以适用于获取所述目标对象的三维图像，换言之，所述深度融合方法被适用于TOF成像系统以获取所述目标对象的完整的三维图像信息。本专利技术的目的在于提供一基于TOF成像系统的深度融合方法，其中，所述深度融合方法可解决所述TOF成像系统在拍摄距离近或距离远的目标对象时存在的曝光问题，以获取所述目标对象的完整的深度信息。本专利技术的目的在于提供一基于TOF成像系统的深度融合方法，其中，所述深度融合方法可获取距离较远的目标对象的完整的深度信息，换言之，所述深度融合方法被应用于所述TOF成像系统以获取距离较远的目标对象的完整的深度信息。本专利技术的目的在于提供一基于TOF成像系统的深度融合方法，其中，所述深度融合方法可获取距离较近的目标对象的完整的深度信息，换言之，所述深度融合方法被应用于所述TOF成像系统以获取距离较近的目标对象的完整的深度信息。本专利技术的目的在于提供一基于TOF成像系统的深度融合方法，其中，所述深度融合方法可同时获取距离近或距离远的目标对象的深度信息，以提高所述TOF成像系统的成像效率。本专利技术的目的在于提供一基于TOF成像系统的深度融合方法，其中，所述深度融合方法被应用于所述TOF成像系统，以快速地获取所述目标对象的完整的深度信息，即所述深度融合方法的融合速度快。本专利技术的目的在于提供一基于TOF成像系统的深度融合方法，其中，所述深度融合方法可通过一次获取图像的方式，快速获取所述目标对象的完整的深度信息，以方便所述TOF成像系统的成像操作。本专利技术的目的在于提供一基于TOF成像系统的深度融合方法，其中，所述TOF成像系统可结合多类型的上位机使用，即所述TOF成像系统获取的深度融合数据可被传送给多类型的上位机。本专利技术的目的在于提供一基于TOF成像系统的深度融合方法，其中，所述深度融合数据被传送给机器视觉系统被应用，以提高所述机器视觉系统的视觉检测效率和准确度。本专利技术的目的在于提供一基于TOF成像系统的深度融合方法，其中，所述深度融合方法结合自动曝光算法使用，以避免长短曝光过渡区的深度信息的丢失，以获取所述目标对象的完整的深度信息。为了实现以上任一专利技术目的，本专利技术提供一基于TOF成像系统的深度融合方方法，其中一基于TOF成像系统的深度融合方法，所述TOF成像系统被适用于获取至少一目标对象的深度信息，包括以下步骤：S1：一曝光数据模块获取该目标对象的至少一长曝光数据以及至少一短曝光数据；S2：一计算模块获取该目标对象的至少一深度数据，其中所述深度数据包括至少一短深度数据以及至少一长深度数据；以及S3：一融合模块融合所述短深度数据以及所述长深度数据，以获取该目标对象的至少一融合数据。在一些实施例中，其中，所述TOF成像系统在所述步骤S2之后进一步包括本文档来自技高网...

【技术保护点】
1.一基于TOF成像系统的深度融合方法，其中，所述TOF成像系统被适用于获取至少一目标对象的深度信息，其特征在于，包括以下步骤：S1：一曝光数据模块获取该目标对象的至少一长曝光数据以及至少一短曝光数据；S2：一计算模块获取该目标对象的至少一深度数据，其中所述深度数据包括至少一短深度数据以及至少一长深度数据；以及S3：一融合模块融合所述短深度数据以及所述长深度数据，以获取该目标对象的至少一融合数据。

【技术特征摘要】
1.一基于TOF成像系统的深度融合方法，其中，所述TOF成像系统被适用于获取至少一目标对象的深度信息，其特征在于，包括以下步骤：S1：一曝光数据模块获取该目标对象的至少一长曝光数据以及至少一短曝光数据；S2：一计算模块获取该目标对象的至少一深度数据，其中所述深度数据包括至少一短深度数据以及至少一长深度数据；以及S3：一融合模块融合所述短深度数据以及所述长深度数据，以获取该目标对象的至少一融合数据。2.根据权利要求1所述的基于TOF成像系统的深度融合方法，其中，所述TOF成像系统在所述步骤S2之后进一步包括以下步骤：S4：调整所述短深度数据。3.根据权利要求2所述的基于TOF成像系统的深度融合方法，其中，所述步骤S4进一步包括以下步骤：S41：判断所述短深度数据是否符合要求，若不符合标准则执行步骤S41；S42：启动一自动曝光模块以调整所述短曝光数据；以及S43：依据所述短曝光数据调整所述短深度数据。4.根据权利要求1或3任一所述的基于TOF成像系统的深度融合方法，其中，所述步骤S1进一步包括以下步骤：S11：一判断模块判断该目标对象的类型，当该目标对象为一远场景对象时执行步骤S12，当该目标对象为一近场景对象时执行步骤S13；S12：所述曝光数据模块获取该目标对象的至少一双频长曝光数据以及所述短曝光数据；以及S13：所述曝光数据模块获取该目标对象的至少一单频长曝光数据以及所述短曝光数据。5.根据权利要求4所述的基于TOF成像系统的深度融合方法，其中，所述步骤S2进一步包括以下步骤：S21：所述计算模块分别获取所述长曝光数据以及所述短曝光数据；S22：所述计算模块依据所述长曝光数据以及所述短曝光数据，判断是否需要进行多核运算，当需要执行多核运算时，执行步骤S23；以及S23：分割所述长曝光数据和/或所述短曝光数据，多核运算获取所述深度数据。6.根据权利要求5所述的基于TOF成像系统的深度融合方法，其中，所述步骤S3进一步包括以下步骤：S31：当所述长深度数据对应的坐标像素对应的数值大于一阈值，则所述坐标像素赋值为所述长深度数据；以及S32：当所述长深度数据对应的坐标像素对应的数值小于或等于所述阈值，则所述坐标像素赋值为所述短深度数据。7.根据权利要求6所述的基于TOF成像系统的深度融合方法，其中，所述阈值被实施为在长曝光模式下较近物体处于最佳深度效果的深度值。8.根据权利要求4所述的基于TOF成像系统的深度融合方法，其中，所述双频长曝光数据被实施为所述TOF模组以至少一双频近红外光获取所述目标对象的数据，其中所述双频近红外光被实施为对两种频率调制解调后得到的近红外...

【专利技术属性】
技术研发人员：陈立刚，赵俊能，周劲蕾，
申请(专利权)人：浙江舜宇智能光学技术有限公司，
类型：发明
国别省市：浙江,33