一种图像数据的帧同步方法和相机技术

本发明专利技术公开一种图像数据的帧同步方法和相机。本发明专利技术的方法包括：获取由不同信号通道传输的彩色图像数据流和深度图像数据流，其中，在所述彩色图像数据流中的彩色图像帧和在所述深度图像数据流中的深度图像帧中包括由彩色摄像头和深度摄像头曝光后同步输出的同步帧，所述不同信号通道的传输延时不同，所述彩色图像帧与所述深度图像帧的数据体结构均携带时间戳和曝光时间；根据所述时间戳和曝光时间，分别获取所述彩色图像帧的SOF时间和所述深度图像帧的SOF时间；根据所述SOF时间从所述彩色图像数据流和深度图像数据流中获取同步帧图像。本发明专利技术能够避免由于传输延时造成的图像数据不同步，保证上层得到同步的彩色图像和深度图像。

A frame synchronization method and camera for image data

The invention discloses a frame synchronization method and a camera for image data. The method of the invention includes: acquiring a color image data stream and a depth image data stream transmitted by different signal channels, wherein the color image frame in the color image data stream and the depth image frame in the depth image data stream include a synchronous frame output synchronously after exposure by the color camera and the depth camera, and the transmission delay of the different signal channels is not In the same way, the data body structure of the color image frame and the depth image frame carries time stamp and exposure time; according to the time stamp and exposure time, the sof time of the color image frame and the sof time of the depth image frame are obtained respectively; according to the sof time, the synchronous frame image is obtained from the color image data stream and the depth image data stream. The invention can avoid the image data out of synchronization caused by the transmission delay, and ensure the upper layer to get the synchronized color image and depth image.

【技术实现步骤摘要】
一种图像数据的帧同步方法和相机
本专利技术涉及图像处理
，尤其涉及一种图像数据的帧同步方法和相机。
技术介绍
3D骨骼识别技术已经运用到很多领域，例如各种美图功软件，具有骨骼识别技术，可精准定位人体骨骼位置，从而对人像进行局部调整，实现全身美化的功能。“骨骼识别点技术”又称“肢体检测技术”，可利用计算机视觉技术从图像或者视频当中估计人体关节点位置，给定一张包含人体的图像，从而精准定位出图像中人体各个关节的位置，比如肘关节、腕关节、膝关节等，被定位的关节点最后可以组成一个人体骨骼图，可以反映出这个人体的当前姿态等信息。骨骼识别技术用到彩色图像和深度图像，对于实时性有很严格的要求，算法拿到的两帧数据必须保证是在同一时刻拍摄的，所以要想使用这项技术，对于硬件有要求，能保证同步输出彩色数据和深度数据，对于软件层来说，必须有个策略能保证上层sdk拿到的数据是同步输出的。在能保证底层同步输出的情况下，由于曝光时间不一、传输延时等问题，很难保证上层拿到的数据是同一时刻拍摄到的图像。在这种情况下，骨骼识别到的关节点存在不准确的问题，因而不能保证稳定的识别，所以存在骨骼识别位置偏差的缺陷。
技术实现思路
本专利技术提供了一种图像数据的帧同步方法和相机，以解决现有技术中由于曝光时间不一、传输延时导致上层获取到的两种图像数据不同步的问题。第一方面，本专利技术提供了一种图像数据的帧同步方法，包括：获取由不同信号通道传输的彩色图像数据流和深度图像数据流，其中，在所述彩色图像数据流中的彩色图像帧和在所述深度图像数据流中的深度图像帧中包括由彩色摄像头和深度摄像头曝光后同步输出的同步帧，所述不同信号通道的传输延时不同，所述彩色图像帧与所述深度图像帧的数据体结构均携带时间戳和曝光时间；根据所述时间戳和曝光时间，分别获取所述彩色图像帧的SOF时间和所述深度图像帧的SOF时间；根据所述SOF时间从所述彩色图像数据流和深度图像数据流中获取同步帧图像。在一些实施例中，获取由不同信号通道传输的彩色图像数据流和深度图像数据流，包括：构建帧缓存队列，将获取到的深度图像数据流中的深度图像帧依次缓存到所述帧缓存队列中；其中，所述深度图像数据流的传输延时小于所述彩色图像数据流的传输延时；获取所述彩色图像数据流的彩色图像帧，并从缓存在所述帧缓存队列中的深度图像帧中确定所述彩色图像帧对应的同步深度图像帧。在一些实施例中，根据所述SOF时间从所述彩色图像数据流和深度图像数据流中获取同步帧图像，包括：在获取到所述彩色图像数据流的第一帧彩色图像时，将所述第一帧彩色图像与所述帧缓存队列中的第一帧深度图像进行SOF时间比较；在所述SOF时间比较结果不大于预设时间阈值时，确定所述第一帧彩色图像与所述第一帧深度图像为同步帧图像；在所述SOF时间比较结果大于所述预设时间阈值时，根据所述SOF时间比较结果获取所述同步帧图像。在一些实施例中，根据所述SOF时间比较结果获取所述同步帧图像，包括：在所述第一帧深度图像的SOF时间大于所述第一帧彩色图像的SOF时间时，丢弃所述第一帧彩色图像和所述第一帧深度图像，将所述彩色图像数据流的第二帧彩色图像与所述第二帧彩色图像对应的帧缓存队列中的度图像帧进行SOF时间比较，获取所述第二帧彩色图像的同步帧图像；在所述第一帧深度图像的SOF时间不大于所述第一帧彩色图像的SOF时间时，丢弃所述第一帧深度图像，并将所述第一帧彩色图像与与其对应的所述帧缓存队列中的其他深度图像帧进行SOF时间比较，根据所述SOF时间比较结果确定所述第一帧彩色图像的同步帧图像。在一些实施例中，将所述第一帧彩色图像与与其对应的所述帧缓存队列中的其他深度图像帧进行SOF时间比较，根据所述SOF时间比较结果确定所述第一帧彩色图像的同步帧图像，包括：在所述第一帧彩色图像对应的帧缓存队列中的其他深度图像帧中未匹配到所述第一帧彩色图像的同步帧图像时，若所述其他深度图像帧的SOF时间均不大于所述第一帧彩色图像的SOF时间，生成指示底层传输错误的提示信息。在一些实施例中，将获取到的深度图像数据流中的深度图像帧依次缓存到所述帧缓存队列中，包括：在所述帧缓存队列中缓存设定数量的深度图像帧时，若获取到所述深度图像数据流中新深度图像帧时，丢弃所述帧缓存队列中的第一帧深度图像，将所述新深度图像帧缓存到所述帧缓存队列的队尾。在一些实施例中，根据所述时间戳和曝光时间，分别获取所述彩色图像帧的SOF时间和所述深度图像帧的SOF时间，包括：计算所述彩色图像帧的数据体结构携带的时间戳和曝光时间的时间和，所述时间和为所述彩色图像帧的SOF时间；以及，计算所述深度图像帧的数据体结构携带的时间戳和曝光时间的时间和，所述时间和为所述深度图像帧的SOF时间。在一些实施例中，根据所述SOF时间从所述彩色图像数据流和深度图像数据流中获取同步帧图像，还包括：根据所述同步帧图像进行骨骼识别，并在所述彩色图像上标识识别到的骨骼关键点，将标识有所述骨骼关键点的彩色图像进行显示。第二方面，本专利技术提供了一种相机，包括：彩色摄像头、深度摄像头和处理器；所述彩色摄像头，采集彩色图像帧并将由所述彩色图像帧构成的彩色图像数据流经由第一信号通道发送给所述处理器；所述深度摄像头，采集深度图像帧并将由所述深度图像帧构成的深度图像数据流经由第二信号通道发送给所述处理器；其中，在所述彩色图像数据流中的彩色图像帧和在所述深度图像数据流中的深度图像帧中包括由所述彩色摄像头和所述深度摄像头曝光后同步输出的同步帧，所述第一信号通道与所述第二信号通道的传输延时不同，所述彩色图像帧与所述深度图像帧的数据体结构均携带时间戳和曝光时间；所述处理器，根据所述时间戳和曝光时间，分别获取所述彩色图像帧的SOF时间和所述深度图像帧的SOF时间；根据所述SOF时间从所述彩色图像数据流和深度图像数据流中获取同步帧图像。在一些实施例中，所述相机还包括显示器；所述处理器，根据所述同步帧图像进行骨骼识别，并在所述彩色图像上标识识别到的骨骼关键点，将标识有所述骨骼关键点的彩色图像发送给所述显示器；所述显示器，对标识有所述骨骼关键点的彩色图像进行显示。本专利技术针对底层同步输出的彩色图像数据和深度图像数据在经由不同信号通道传输时导致上层同时刻获取到的彩色图像和深度图像不同步的问题，基于图像数据体结构携带的时间戳和曝光时间获得图像数据的SOF时间，将彩色图像和深度图像的SOF时间最接近的图像帧确定为同步帧图像，避免由于传输延时造成的图像数据不同步。附图说明图1为本专利技术实施例示出的Framework层获取同步RGB图像和深度图像的时间节点示意图；图2为本专利技术实施例示出的图像数据的帧同步方法的流程图；图3为本专利技术实施例示出的RGB图像和深度图像的SOF时间示意图；图4为本专利技术实施例示出的获取同步帧图像的流程示意图；图5为本专利技术实施例示出的人体骨骼点示意图；图6为本专利技术实施例示出的相机结构框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式本文档来自技高网...

【技术保护点】
1.一种图像数据的帧同步方法，其特征在于，包括：/n获取由不同信号通道传输的彩色图像数据流和深度图像数据流，其中，在所述彩色图像数据流中的彩色图像帧和在所述深度图像数据流中的深度图像帧中包括由彩色摄像头和深度摄像头曝光后同步输出的同步帧，所述不同信号通道的传输延时不同，所述彩色图像帧与所述深度图像帧的数据体结构均携带时间戳和曝光时间；/n根据所述时间戳和曝光时间，分别获取所述彩色图像帧的SOF时间和所述深度图像帧的SOF时间；/n根据所述SOF时间从所述彩色图像数据流和深度图像数据流中获取同步帧图像。/n

【技术特征摘要】
1.一种图像数据的帧同步方法，其特征在于，包括：
获取由不同信号通道传输的彩色图像数据流和深度图像数据流，其中，在所述彩色图像数据流中的彩色图像帧和在所述深度图像数据流中的深度图像帧中包括由彩色摄像头和深度摄像头曝光后同步输出的同步帧，所述不同信号通道的传输延时不同，所述彩色图像帧与所述深度图像帧的数据体结构均携带时间戳和曝光时间；
根据所述时间戳和曝光时间，分别获取所述彩色图像帧的SOF时间和所述深度图像帧的SOF时间；
根据所述SOF时间从所述彩色图像数据流和深度图像数据流中获取同步帧图像。


2.根据权利要求1所述的方法，其特征在于，所述获取由不同信号通道传输的彩色图像数据流和深度图像数据流，包括：
构建帧缓存队列，将获取到的深度图像数据流中的深度图像帧依次缓存到所述帧缓存队列中；其中，所述深度图像数据流的传输延时小于所述彩色图像数据流的传输延时；
获取所述彩色图像数据流的彩色图像帧，并从缓存在所述帧缓存队列中的深度图像帧中确定所述彩色图像帧对应的同步深度图像帧。


3.根据权利要求2所述的方法，其特征在于，所述根据所述SOF时间从所述彩色图像数据流和深度图像数据流中获取同步帧图像，包括：
在获取到所述彩色图像数据流的第一帧彩色图像时，将所述第一帧彩色图像与所述帧缓存队列中的第一帧深度图像进行SOF时间比较；
在所述SOF时间比较结果不大于预设时间阈值时，确定所述第一帧彩色图像与所述第一帧深度图像为同步帧图像；
在所述SOF时间比较结果大于所述预设时间阈值时，根据所述SOF时间比较结果获取所述同步帧图像。


4.根据权利要求3所述的方法，其特征在于，所述根据所述SOF时间比较结果获取所述同步帧图像，包括：
在所述第一帧深度图像的SOF时间大于所述第一帧彩色图像的SOF时间时，丢弃所述第一帧彩色图像和所述第一帧深度图像，将所述彩色图像数据流的第二帧彩色图像与所述第二帧彩色图像对应的帧缓存队列中的度图像帧进行SOF时间比较，获取所述第二帧彩色图像的同步帧图像；
在所述第一帧深度图像的SOF时间不大于所述第一帧彩色图像的SOF时间时，丢弃所述第一帧深度图像，并将所述第一帧彩色图像与与其对应的所述帧缓存队列中的其他深度图像帧进行SOF时间比较，根据所述SOF时间比较结果确定所述第一帧彩色图像的同步帧图像。


5.根据权利要求4述的方法，其特征在于，所述将所述第一帧彩色图像与与其对应的所述帧缓存队列中的其他深度图像帧进行SOF时间比较，根据所述SOF时间比较结果确定所述第一帧彩色图像...

【专利技术属性】
技术研发人员：位言东，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东;37