一种提高深度图像帧率的方法和深度相机组技术

本发明专利技术公开了一种提高深度图像帧率的方法和深度相机组，该方法包括控制光源的发光时间段并根据所述发光时间段生成同步信号，将所述同步信号发送给深度相机组中的各深度相机，所述深度相机组包括至少两个深度相机；所述深度相机，根据所述同步信号进行曝光，在曝光时间段内采集深度图像；根据所述同步信号对传输的所述深度图像进行合并，得到合并后的深度图像。本发明专利技术实施例提高了深度图像帧率，降低了图像延迟并满足了实际应用需求，优化了用户体验。

A Method to Improve the Frame Rate of Depth Image and Depth Camera

The invention discloses a method for improving the frame rate of depth image and a depth camera. The method includes controlling the luminous time period of the light source and generating a synchronous signal according to the luminous time period, transmitting the synchronous signal to each depth camera of the depth camera, which comprises at least two depth cameras, and according to the synchronous signal. Exposure, the depth image is captured in the exposure period, and the transmitted depth image is merged according to the synchronization signal to obtain the merged depth image. The embodiment of the invention improves the frame rate of the depth image, reduces the image delay, satisfies the practical application requirements and optimizes the user experience.

【技术实现步骤摘要】
一种提高深度图像帧率的方法和深度相机组
本专利技术涉及图像处理
，具体涉及一种提高深度图像帧率的方法和深度相机组。
技术介绍
目前，深度相机在各行各业都扮演着越来越重要的角色，通过深度相机获取到景深图像，可以实现体感互动，手势交互，物体扫描等，提高了传统行业的生产效率和用户体验。深度相机根据其工作原理可以分为三种：TOF(TimeOfFlight)深度相机、RGB-D双目相机、结构光深度相机，不论哪种深度相机，帧率都是直接影响深度图像延迟的一个重要指标，不同类别的深度相机的帧率有所不同，但是现有深度相机的帧率较低，不能满足某些应用场景比如体感互动等需要快速响应的场合的应用需求，亟待改善。
技术实现思路
本专利技术提供了一种提高深度图像帧率的方法和深度相机组，通过多深度相机交替曝光采集深度图像后合并的方式来提高输出的深度图像帧率，满足应用需求，优化用户体验。根据本申请的一个方面，提供了一种提高深度图像帧率方法，包括：控制光源的发光时间段并根据所述发光时间段生成同步信号，将所述同步信号发送给深度相机组中的各深度相机，所述深度相机组包括至少两个深度相机；所述深度相机，根据所述同步信号进行曝光，在曝光时间段内采集深度图像；根据所述同步信号对所述深度图像进行合并，得到合并后的深度图像。根据本申请的另一个方面，提供了一种深度相机组，包括：光源，图像处理器，第一深度相机和第二深度相机，所述光源，用于接收发光时间段控制信号，根据所述发光时间段控制信号发射激光；所述第一深度相机，用于接收第一同步信号并根据所述第一同步信号进行曝光，在曝光时间段内采集深度图像；所述第二深度相机，用于接收第二同步信号并根据所述第二同步信号进行曝光，在曝光时间段内采集深度图像，其中所述第一同步信号和所述第二同步信号分别根据所述光源的发光时间段生成；所述图像处理器，用于接收所述第一同步信号、所述第二同步信号，并根据所述第一同步信号、所述第二同步信号对所述深度图像进行合并，得到合并后的深度图像。应用本专利技术实施例的提高深度图像帧率方法和深度相机组，通过根据光源的发光时间段生成同步信号，交替向各深度相机发送同步信号，使得深度相机根据同步信号采集得到深度图像，而后根据同步信号对采集的深度图像进行合并，得到合并后的深度图像。由此，通过同步信号控制各深度相机在光源的不同发光时间段内交替工作采集深度图像，将深度图像合并提高了深度图像的帧率，降低了图像延迟并满足了实际应用需求，优化了用户体验。附图说明图1是本专利技术一个实施例的提高深度图像帧率方法的流程图；图2是本专利技术一个实施例的提高深度图像帧率的深度相机组的框图；图3是本专利技术一个实施例的一帧深度图像耗费时间的示意图；图4是本专利技术一个实施例的深度相机的工作阶段示意图；图5是本专利技术一个实施例的根据同步信号交替控制深度相机工作的示意图；图6是本专利技术一个实施例的根据同步信号进行图像合并的示意图；图7是本专利技术一个实施例的深度相机组的框图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的设计构思在于：针对现有技术中深度相机的帧率较低，不能满足某些应用场景下的适用需求的技术问题，提出一种利用多相机并行交替工作的技术方案来提高输出的深度图像的帧率，降低图像延迟。图1是本专利技术一个实施例的深度图像帧率提高方法的流程图，参见图1，本实施例的深度图像帧率提高方法，包括下列步骤：步骤S101，控制光源的发光时间段并根据所述发光时间段生成同步信号，将所述同步信号发送给深度相机组中的各深度相机，所述深度相机组包括至少两个深度相机；步骤S102，所述深度相机，根据所述同步信号进行曝光，在曝光时间段内采集深度图像；步骤S103，根据所述同步信号对所述深度图像进行合并，得到合并后的深度图像。由图1所示可知，本实施例的提高深度图像帧率的方法，通过控制光源的发光时间，在不同的发光时间段内生成同步信号，向至少两个深度相机中的各个深度相机发送同步信号，使得深度相机根据同步信号并行工作采集得到深度图像，而后根据同步信号对采集的深度图像进行合并得到合并后的深度图像，与现有技术中每个深度相机串行工作输出深度图像的方式相比，本实施例的深度图像的输出帧率可以提高两倍以上，满足了应用需求，降低了图像延迟从而改善了用户体验。下面以深度相机的数量为2个，深度相机的类别为TOF相机为例，对图1所示方法的实现步骤进行说明。具体的，深度相机组中包括第一TOF深度相机和第二TOF深度相机，前述步骤中控制光源的发光时间段并根据所述发光时间段生成同步信号，将所述同步信号发送给深度相机组中的各深度相机包括：根据所述发光时间段生成第一同步信号和第二同步信号，将所述第一同步信号发送给第一TOF深度相机，将所述第二同步信号发送给第二TOF深度相机，所述深度相机，根据所述同步信号进行曝光，在曝光时间段内采集深度图像包括：所述第一TOF深度相机，根据所述第一同步信号进行曝光，在第一曝光时间段内采集得到第一深度图像，所述第二TOF深度相机，根据所述第二同步信号进行曝光，在第二曝光时间段内采集得到第二深度图像。需要说明的是，本实施例的深度相机的数量不限于2个，也可以是3个、4个或者更多，深度相机的类别不限于TOF相机，也可以是结构光深度相机等。两个深度相机的帧率可以相同也可以不同，对此不做限制。当深度相机为两个帧率相同的TOF深度相机时，由于TOF相机本身具有输出深度图像的功能，而根据本专利技术实施例的方案，各深度相机不直接输出深度图像而是将采集的深度图像输出给处理器由处理进行处理、合并后再输出，对外部上位机而言，本实施例输出的深度图像的帧率比单个深度相机输出的帧率提高了两倍以上，从而显著降低了图像的延迟。如前述，帧率是直接影响深度图像延迟的一个重要指标，延迟的最大值为1/f，这里的f代表帧率，比如，当帧率f等于30fps时，深度图像的延迟可能为33ms，目前，很多深度相机的帧率基本都是30fps，采用本申请的技术方案后可以将深度图像的输出帧率提高到60fps。为了便于理解，这里对深度相机的工作过程和工作阶段进行简要说明。TOF深度相机一般包括图像传感器和图像处理芯片，图像传感器用于采集物体反射光获得深度数据，图像处理芯片用于对深度数据进行处理转换为数字信号并控制将数字信号传输至外部的接收端。基于此，本实施例的第一TOF深度相机将第一TOF深度相机的图像传感器的曝光时间段设置成与第一同步信号指示的发光时间段同步，通过图像传感器接收由采集物体反射的光能量转换成的数字信号，根据数字信号获得第一深度图像，并在第一传输时间段内将第一深度图像传输至处理器；第二TOF深度相机将第二TOF深度相机的图像传感器的曝光时间段设置为与第二同步信号指示的发光时间段同步后，通过图像传感器(这里是第二TOF深度相机的图像传感器)接收由采集物体反射的光能量转换成的数字信号，根据数字信号获得第二深度图像，并在第二传输时间段内将第二深度图像传输至处理器。也就是说，本实施例的TO本文档来自技高网...

【技术保护点】
1.一种提高深度图像帧率的方法，其特征在于，包括：控制光源的发光时间段并根据所述发光时间段生成同步信号，将所述同步信号发送给深度相机组中的各深度相机，所述深度相机组包括至少两个深度相机；所述深度相机，根据所述同步信号进行曝光，在曝光时间段内采集深度图像；根据所述同步信号对所述深度图像进行合并，得到合并后的深度图像。

【技术特征摘要】
1.一种提高深度图像帧率的方法，其特征在于，包括：控制光源的发光时间段并根据所述发光时间段生成同步信号，将所述同步信号发送给深度相机组中的各深度相机，所述深度相机组包括至少两个深度相机；所述深度相机，根据所述同步信号进行曝光，在曝光时间段内采集深度图像；根据所述同步信号对所述深度图像进行合并，得到合并后的深度图像。2.根据权利要求1所述的方法，其特征在于，所述深度相机包括第一TOF深度相机和第二TOF深度相机，所述控制光源的发光时间段并根据所述发光时间段生成同步信号，将所述同步信号发送给深度相机组中的各深度相机包括：根据所述发光时间段生成第一同步信号和第二同步信号，将所述第一同步信号发送给第一TOF深度相机，将所述第二同步信号发送给第二TOF深度相机，所述深度相机，根据所述同步信号进行曝光，在曝光时间段内采集深度图像包括：所述第一TOF深度相机，根据所述第一同步信号进行曝光，在第一曝光时间段内采集得到第一深度图像，所述第二TOF深度相机，根据所述第二同步信号进行曝光，在第二曝光时间段内采集得到第二深度图像。3.根据权利要求2所述的方法，其特征在于，所述根据所述同步信号对传输的所述深度图像进行合并，得到合并后的深度图像包括：根据所述第一同步信号、所述第二同步信号、第一传输时间段内传输的所述第一深度图像以及第二传输时间段内传输的所述第二深度图像，将所述第一深度图像与所述第二深度图像合并作为连续的两帧深度图像，得到合并后的深度图像，其中，所述第一传输时间段与所述第二曝光时间段相等，所述第一曝光时间段与所述第二传输时间段相等。4.根据权利要求2所述的方法，其特征在于，所述第一TOF深度相机，根据所述第一同步信号进行曝光，在第一曝光时间段内采集得到第一深度图像包括：所述第一TOF深度相机，将所述第一TOF深度相机的图像传感器的曝光时间段设置为与所述第一同步信号指示的发光时间段同步后，通过所述图像传感器接收物体反射的光能量并将所述光能量转换成数字信号，根据所述数字信号获得第一深度图像；所述第二TOF深度相机，根据所述第二同步信号进行曝光，在第二曝光时间段内采集得到第二深度图像包括：所述第二TOF深度相机，将所述第二TOF深度相机的图像传感器的曝光时间段设置为与所述第二同步信号指示的发光时间段同步后，通过所述图像传感器接收物体反射...

【专利技术属性】
技术研发人员：孔庆磊，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东,37