一种多路采集数据的同步输出方法、系统及RGBD相机技术方案

本发明专利技术公开了一种多路采集数据的同步输出方法、系统及RGBD相机。方法包括：接收N路数据流中的数据帧，将每个数据帧加入至队列集中对应的队列，队列集包括N个队列，每个队列与每路数据流相对；从队列集的各个存有数据帧的队列中提取加入时刻最早的数据帧，得到待同步数据包；从待同步数据包中提取出时间戳最早的数据帧作为参考数据帧并输至缓存，将待同步数据包中剩余的数据帧中时间戳最早的数据帧作为目标数据帧；根据参考数据帧和目标数据帧之间的时间戳差值判断目标数据帧是否符合同步条件；若是，则将目标数据帧输至缓存，在待同步数据包中没有数据帧时将缓存中的数据帧标记为同步输出。本方法可以为多路数据流的同步输出提供有效保障。提供有效保障。提供有效保障。

【技术实现步骤摘要】
一种多路采集数据的同步输出方法、系统及RGBD相机


[0001]本专利技术涉及数据处理领域，特别涉及一种多路采集数据的同步输出方法、系统及RGBD相机。

技术介绍

[0002]在单个设备或多个设备组合使用的场景中，往往同一设备或者不同设备的各路数据流的帧采样时间点、帧数据处理延时和帧数据传输延时等条件都各不相同，导致同批次采样的各路数据流的数据帧输出到上位机时的时间不同步。
[0003]因此，为了使得采集到的多路数据能够同步输出，需要对数据的同步数据方法做出改进。

技术实现思路

[0004]针对现有技术的上述缺陷，本专利技术提供一种多路采集数据的同步输出方法，旨在解决现有技术中多路数据流的数据帧输出到上位机的时间不同步的问题。
[0005]为了解决上述技术问题，本专利技术所采用的技术方案如下：
[0006]本专利技术的第一方面，提供一种多路采集数据的同步输出方法，方法包括：接收N路数据流中的数据帧，将每个数据帧加入至队列集中对应的队列，其中，队列集包括N个队列，每个队列与每路数据流相对应，N为大于1的整数；分别提取队列集中存在数据帧的各个队列中加入时刻最早的数据帧，得到待同步数据包；从待同步数据包中提取出时间戳最早的数据帧作为参考数据帧并输至缓存，将待同步数据包中剩余的数据帧中时间戳最早的数据帧作为目标数据帧；根据参考数据帧和目标数据帧之间的时间戳差值，判断目标数据帧是否符合同步条件；若是，则将目标数据帧输至缓存，并在待同步数据包中没有剩余数据帧时将缓存中的数据帧标记为同步输出。
[0007]本专利技术的第二方面，提供一种多路采集数据的同步输出系统，包括：数据接收模块，用于接收多路数据流中的数据帧，将每个数据帧加入至队列集中对应的队列，其中，队列集中的每个队列与每路数据流相对应；第一数据提取模块，用于分别提取队列集中存在数据帧的各个队列中加入时刻最早的数据帧，得到待同步数据包；第二数据提取模块，用于从待同步数据包中提取出时间戳最早的数据帧作为参考数据帧并输出至缓存，将待同步数据包中剩余的数据帧中时间戳最早的数据帧作为目标数据帧；数据同步模块，用于根据参考数据帧和目标数据帧之间的时间戳差值，判断目标数据帧是否符合同步条件；若是，则将目标数据帧输至缓存，并在待同步数据包中没有剩余数据帧时将缓存中的数据帧标记为同步输出。
[0008]本专利技术的第三方面，提供一种RGBD相机，包括：发射器、RGB图像采集器、IR图像采集器、处理器和存储器；存储器，用于存储可在处理器上运行的同步输出程序，同步输出程序被处理器执行时实现如上述任一方面提供的多路采集数据的同步输出方法的步骤；发射器，用于向目标投射散斑图案；RGB图像采集器，用于采集RGB数据；IR图像采集器，用于采集
目标反射回来的IR数据；处理器，用于获取RGB数据和IR数据，利用IR数据进行深度计算得到深度数据，并执行同步输出程序，以实现RGB数据、IR数据和深度数据同步输出。
[0009]本专利技术的第四方面，提供一种终端，终端包括处理器、与处理器通信连接的计算机可读存储介质，计算机可读存储介质适于存储多条指令，处理器适于调用计算机可读存储介质中的指令，以执行实现上述的多路采集数据的同步输出方法的步骤。
[0010]本专利技术的第五方面，提供一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的多路采集数据的同步输出方法的步骤。
[0011]与现有技术相比，本专利技术提供了一种多路采集数据的同步输出方法、系统及RGBD相机，本专利技术提供的方法，通过为每路数据流设置对应的队列，每路数据流的数据帧先是暂存在队列中，将队列中加入时刻最早的数据帧提取出来作为待同步数据包，并在待同步数据包中提取时间戳最早的数据帧作为参考数据帧，将在待同步数据包中剩余的数据帧中时间戳最早的数据帧作为目标数据帧，根据参考数据帧和目标数据帧之间的时间戳差值确定目标数据帧是否满足同步条件，若满足，则目标数据帧为参考数据帧的同步数据帧，输至缓存，并在待同步数据包中没有剩余数据帧时将缓存中的数据帧标记为同步后输出，这样可以为多路数据流的同步输出提供有效保障。
附图说明
[0012]图1为本专利技术提供的RGBD相机的实施例的原理示意图；
[0013]图2为本专利技术提供的多路采集数据的同步输出方法的实施例的流程图；
[0014]图3为一种多路采集数据的同步输出方法的流程示意图；
[0015]图4为本专利技术提供的多路采集数据的同步输出方法的实施例中开始数据同步匹配的逻辑图；
[0016]图5为本专利技术提供的多路采集数据的同步输出方法的实施例中数据同步匹配的流程图；
[0017]图6为本专利技术提供的多路采集数据的同步输出系统的实施例的结构原理图；
[0018]图7为本专利技术提供的终端的实施例的原理示意图。
具体实施方式
[0019]为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0020]请参阅图1，图1是本专利技术某一实施例提供的RGBD相机的结构示意图。RGBD相机1包括：发射器11、采集器12、处理器13和存储器14。图1仅示出了RGBD相机的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
[0021]发射器11，用于向目标投射散斑图案。采集器12包括RGB图像采集器和IR图像采集器，RGB图像采集器用于采集RGB数据，IR图像采集器用于采集目标反射回来的IR数据。由于RGB图像采集器和IR图像采集器的帧采样时间点、帧数据处理延时和帧数据传输延时等条件都各不相同，且深度图像由IR图像经过深度引擎处理得到，因此RGB图像、IR图像和深度
图像等数据的传输如果不加以同步处理，则不同数据到达上位机的时间不能同步。
[0022]在本实施例中，存储器14，用于存储可在处理器13上运行的同步输出程序。处理器13，用于获取RGB数据和IR数据，利用IR数据进行深度计算得到深度数据，并执行同步输出程序，以实现RGB数据、IR数据和深度数据同步输出。
[0023]例如，对于在线上会议抠图场景中，需要RGBD相机同时输出4K分辨率RGB图像和VGA分辨率深度图像至上位机，上位机基于深度图像增强RGB抠图的效果，在该场景中，需要严格要求RGB图像和深度图像同步，才能保证抠图主体运动时的抠图准确性和连贯性。为了降低USB带宽和设备功耗，一般采用RGB图像30FPS、深度图像15FPS的采样频率组合，即RGB图像和深度图像采样频率不一致，并且在设备端RGB图像需要经过ISP处理后传输给上位机，而深度图像需要经过深度引擎处理后传输给上位机，并且二者单帧数据量不同，导致在最相近时间采样的RGB图像和深度图像，传输到达上位机的时间点相差比较大。此时，利用处理器13执行同步输出程序，实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多路采集数据的同步输出方法，其特征在于，所述方法包括：接收N路数据流中的数据帧，将每个数据帧加入至队列集中对应的队列，其中，所述队列集包括N个队列，每个队列与每路数据流相对应，N为大于1的整数；从所述队列集的各个存有数据帧的队列中提取加入时刻最早的数据帧，得到待同步数据包；从所述待同步数据包中提取出时间戳最早的数据帧作为参考数据帧并输至缓存，将所述待同步数据包剩余的数据帧中时间戳最早的数据帧作为目标数据帧；根据所述参考数据帧和所述目标数据帧之间的时间戳差值，判断所述目标数据帧是否符合同步条件；若是，则将所述目标数据帧输至缓存，并在所述待同步数据包中没有剩余数据帧时将所述缓存中的数据帧标记为同步输出。2.根据权利要求1所述的多路采集数据的同步输出方法，其特征在于，所述从所述队列集的各个存有数据帧的队列中提取加入时刻最早的数据帧，包括：当所述队列集中的全部队列都匹配了数据帧，或者所述队列集中的任一队列匹配的数据帧数量超出该队列对应的最大缓存量时，提取所述各个队列中加入时刻最早的数据帧。3.根据权利要求2所述的多路采集数据的同步输出方法，其特征在于，所述队列集中队列的最大缓存量是根据对应的数据流的延时以及所有的数据流的延时中的最大延时得到的；所述最大缓存量的计算公式为：queue_max_size_n＝(delay_max
‑
delay_n)*FPSn其中，queue_max_size_n表示所述队列集中第n队列对应的所述最大缓存量，delay_max表示所有数据流的传输延时中的最大延时，delay_n表示所述队列集中第n队列对应的数据流的传输延时，FPSn表示所述队列集中第n队列对应的数据流的采样频率。4.根据权利要求3所述的多路采集数据的同步输出方法，其特征在于，所述根据所述参考数据帧和所述目标数据帧之间的时间戳差值，判断所述目标数据帧是否符合同步条件，包括：根据所述参考数据帧和所述目标数据帧分别对应的帧间隔时长确定目标比较值；判断所述参考数据帧和所述目标数据帧之间的时间戳差值是否小于或等于所述目标比较值；若是，则确定所述目标数据帧符合同步条件；若否，则确定所述目标数据帧不符合同步条件。5.根据权利要求3所述的多路采集数据的同步输出方法，其特征在于，所述根据所述参考数据帧和所述目标数据帧分别对应的帧间隔时长确定目标比较值，包括：确定所述参考数据帧和所述目标数据帧分别对应的帧间隔时长中的较小值作为目标时长；将所述目标时长的一半作为所述目标比较值。6.根据权利要求1所述的多...

【专利技术属性】
技术研发人员：黄振昌，段鹏飞，吴梓华，
申请(专利权)人：奥比中光科技集团股份有限公司，
类型：发明
国别省市：