视频帧同步方法、终端、服务器、电子设备及存储介质技术

本申请实施例提供了一种视频帧同步方法、终端、服务器、电子设备及计算机可读存储介质，涉及图像处理技术领域。该方法包括：接收各终端分别发送的视频流，视频流包括多个待同步视频帧，待同步视频帧中携带帧发送时刻，帧发送时刻为第一本地发送时刻或者公共发送时刻；根据各个终端对应的时延或待同步视频帧中携带的帧发送时刻中的至少一种，从所有视频流中确定至少一个目标视频帧簇，目标视频帧簇中包括与终端数量相同的、且对应同一公共发送时刻的待同步视频帧，每个目标视频帧簇用于生成一帧多视角视频帧。本申请实施例可达到十毫秒级别的实时性，适用于对实时性要求较高的场景。适用于对实时性要求较高的场景。适用于对实时性要求较高的场景。

【技术实现步骤摘要】
视频帧同步方法、终端、服务器、电子设备及存储介质


[0001]本申请涉及图像处理
，具体而言，本申请涉及一种视频帧同步方法、终端、服务器、电子设备及存储介质。

技术介绍

[0002]如图1所示，多视角视频是由多个图像采集设备对一个对象进行拍摄生成的视频，每个图像采集设备处于不同的视点(viewpoint)，通过将每个图像采集设备采集的视频帧进行同步和编码，即可生成一帧多视角视频帧。
[0003]传统的视频同步方案一般都是利用专业相机完成采集，因为相机可以利用物理连线后通过同步脉冲的方式实现时间同步，保证相机在几乎同一时刻开始拍摄（误差在毫秒级以下）。
[0004]但专业相机方案造价昂贵且搭建复杂，并且所有相机只能在同一地方，不能做到远程同步，现有基于手机同步的方案只能做到百毫秒级或秒级同步，这种同步结果不能直接用在远程同屏体感游戏中。

技术实现思路

[0005]本申请实施例提供了一种视频帧同步方法、终端、服务器、电子设备、计算机可读存储介质及计算机程序产品，可以解决现有技术的上述问题。所述技术方案如下：根据本申请实施例的第一个方面，提供了一种视频帧同步方法，应用于服务器，该方法包括：接收待同步的各终端分别发送的视频流，所述视频流包括多个待同步视频帧，所述待同步视频帧中携带帧发送时刻，所述帧发送时刻为第一本地发送时刻或者公共发送时刻，所述公共发送时刻是基于相应终端与所述服务器间时延对第一本地发送时刻进行更新获得的，本地发送时刻为基于相应终端的本地时钟确定的发送时刻；根据各终端对应的时延或待同步视频帧中携带的帧发送时刻中的至少一种，从所有视频流中确定至少一个目标视频帧簇，所述目标视频帧簇中包括与终端数量相同的、且对应同一公共发送时刻的待同步视频帧，每个目标视频帧簇用于生成一帧多视角视频帧；其中，所述时延为相应终端发送的时延参考信息携带的第二本地发送时刻，与所述服务器接收到所述时延参考信息的接收时刻间的时间间隔，所述接收时刻为基于所述服务器的本地时钟确定的时刻。
[0006]作为一种可选的实施方式，接收各所述终端发送的视频流，之前还包括：向各终端发送对应的时延，并指示各终端根据相应的时延对本地时钟确定的时刻进行更新；相应的，所述待同步视频帧中携带的帧发送时刻为公共发送时刻。
[0007]作为一种可选的实施方式，接收各终端分别发送的视频流，包括：根据每个终端的视频流中待同步视频帧携带的帧发送时刻的先后顺序，将待同步
视频帧依次存储至相应终端对应的消费队列中；所述从所有视频流中确定至少一个目标视频帧簇，包括：将各消费队列中对应同一存储顺序的待同步视频帧作为一组视频帧；若该组视频帧对应相同的帧发送时刻，则确定接收到所有终端发送的该帧发送时刻的待同步视频帧，将该组视频帧作为目标视频帧簇；若该组视频帧对应不同的帧发送时刻，则丢弃该组视频帧中除最晚帧发送时刻对应的待同步视频帧之外的待同步视频帧。
[0008]作为一种可选的实施方式，待同步视频帧还携带终端标识；将待同步视频帧依次存储至相应终端对应的消费队列中，包括：按照各待同步视频帧携带的帧发送时刻的先后顺序，依次将各待同步视频帧携带的帧发送时刻和终端标识存储在共享内存中；确定所述共享内存中同一帧发送时刻对应的终端标识的数目，根据首次满足预设条件的帧发送时刻确定基准时刻，所述预设条件为对应的终端标识的数目等于所述终端的总数目；将每个终端的视频流中所述基准时刻以后的帧发送时刻对应的待同步视频帧，依次存储至相应终端对应的消费队列。
[0009]作为一种可选的实施方式，待同步视频帧中携带的帧发送时刻为第一本地发送时刻；所述根据各终端对应的时延或待同步视频帧中携带的帧发送时刻中的至少一种，从所有视频流中确定至少一个目标视频帧簇，包括：从所有视频流中的最早帧发送时刻的待同步视频帧进行图像匹配，确定首个目标视频帧簇；将首个目标视频帧簇中的待同步视频帧作为基准视频帧，根据各终端对应的时延以及各视频流中的待同步视频帧中携带的帧发送时刻，从各视频流中的基准视频帧之后的待同步视频帧中确定所述首个目标视频帧簇之后的目标视频帧簇。
[0010]作为一种可选的实施方式，根据各终端对应的时延以及各视频流中的待同步视频帧中携带的帧发送时刻，从各视频流中的基准视频帧之后的待同步视频帧中确定所述首个目标视频帧簇之后的目标视频帧簇，包括：对于各视频流中位于相应的基准视频帧之后的待同步视频帧，根据所述待同步视频帧携带的帧发送时刻以及相应终端对应的时延，获得所述待同步视频帧的公共发送时刻；对于每个公共发送时刻，若各视频流中均包括该公共发送时刻的待同步视频帧，则将该公共发送时刻的所有待同步视频帧作为一个目标视频帧簇。
[0011]作为一种可选的实施方式，还包括：当获得首个目标视频帧簇时，指示各终端停止在发送的待同步视频帧中携带帧发送时刻；从所有视频流中确定至少一个目标视频帧簇，包括获取除所述首个目标视频帧簇之外的目标视频帧簇的步骤：将首个目标视频帧簇中的待同步视频帧作为基准视频帧，对于每个视频流，以相
应的基准视频帧为起点，通过预设的滑动窗口采集多个待同步视频帧作为一组视频帧序列，将所述视频帧序列输入预先训练的帧同步识别模型，获得所述帧同步识别模型输出的所述视频帧序列中每个待同步视频帧的识别结果，所述识别结果用于表征相应视频帧与前一个视频帧之间丢帧的帧数；根据各视频流中的基准视频帧之后的待同步视频帧对应的识别结果，确定所述首个目标视频帧簇之后的目标视频帧簇。
[0012]作为一种可选的实施方式，根据各视频流中的基准视频帧之后的待同步视频帧对应的识别结果，确定所述首个目标视频帧簇之后的目标视频帧簇，包括：根据各视频流中的基准视频帧之后的待同步视频帧对应的识别结果，确定所述待同步视频帧相对于所述基准视频帧的帧间隔；对于每个帧间隔，若各视频流中均包括该帧间隔的待同步视频帧，则将该帧间隔的所有待同步视频帧作为一个目标视频帧簇。
[0013]根据本申请实施例的第二个方面，提供了一种视频帧同步方法，应用于待同步的多个终端中的任意一个终端，该方法包括：发送视频流，所述视频流包括多个待同步视频帧，所述待同步视频帧中携带帧发送时刻，所述帧发送时刻为第一本地发送时刻或者公共发送时刻，所述公共发送时刻是基于所述终端与所述服务器间时延对第一本地发送时刻进行更新获得的，本地发送时刻为基于所述终端的本地时钟确定的发送时刻；其中，所述时延为所述终端发送的时延参考信息携带的第二本地发送时刻，与所述服务器接收到所述时延参考信息的接收时刻间的时间间隔，所述接收时刻为基于所述服务器的本地时钟确定的时刻。
[0014]作为一种可选的实施方式，当所述待同步视频帧中携带的帧发送时刻为公共发送时刻时，所述发送视频流，之前还包括：接收所述服务器返回的所述时延，根据所述时延对本地时钟确定的时刻进行更新。
[0015]根据本申请实施例的第三个方面，提供了一种服务器，该服务器包括：视频流接收模块，用于接收待同步的各终端分别发送的视频流，所述视频流包括多个待同步视频帧，所述待同步视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频帧同步方法，其特征在于，应用于服务器，包括：接收待同步的各终端分别发送的视频流，所述视频流包括多个待同步视频帧，所述待同步视频帧中携带帧发送时刻，所述帧发送时刻为第一本地发送时刻或者公共发送时刻，所述公共发送时刻是基于相应终端与所述服务器间的时延对第一本地发送时刻进行更新获得的，本地发送时刻为基于相应终端的本地时钟确定的发送时刻；根据各终端对应的时延或待同步视频帧中携带的帧发送时刻中的至少一种，从所有视频流中确定至少一个目标视频帧簇，所述目标视频帧簇中包括与终端数量相同的、且对应同一公共发送时刻的待同步视频帧，每个目标视频帧簇用于生成一帧多视角视频帧；其中，所述时延为相应终端发送的时延参考信息中携带的第二本地发送时刻，与所述服务器接收到所述时延参考信息的接收时刻间的时间间隔，所述接收时刻为基于所述服务器的本地时钟确定的时刻。2.根据权利要求1所述的方法，其特征在于，所述接收各所述终端发送的视频流，之前还包括：向各终端发送对应的时延，并指示各终端根据相应的时延对本地时钟确定的时刻进行更新；相应的，所述待同步视频帧中携带的帧发送时刻为公共发送时刻。3.根据权利要求2所述的方法，其特征在于，所述接收各终端分别发送的视频流，包括：根据每个终端的视频流中待同步视频帧携带的帧发送时刻的先后顺序，将待同步视频帧依次存储至相应终端对应的消费队列中；所述从所有视频流中确定至少一个目标视频帧簇，包括：将各消费队列中对应同一存储顺序的待同步视频帧作为一组视频帧；若该组视频帧对应相同的帧发送时刻，则确定接收到所有终端发送的该帧发送时刻的待同步视频帧，将该组视频帧作为目标视频帧簇；若该组视频帧对应不同的帧发送时刻，则丢弃该组视频帧中除最晚帧发送时刻对应的待同步视频帧之外的待同步视频帧。4.根据权利要求3所述的方法，其特征在于，所述待同步视频帧还携带终端标识；所述将待同步视频帧依次存储至相应终端对应的消费队列中，包括：按照各待同步视频帧携带的帧发送时刻的先后顺序，依次将各待同步视频帧携带的帧发送时刻和终端标识存储在共享内存中；确定所述共享内存中同一帧发送时刻对应的终端标识的数目，根据首次满足预设条件的帧发送时刻确定基准时刻，所述预设条件为对应的终端标识的数目等于所述终端的总数目；将每个终端的视频流中所述基准时刻以后的帧发送时刻对应的待同步视频帧，依次存储至相应终端对应的消费队列。5.根据权利要求1所述的方法，其特征在于，所述待同步视频帧中携带的帧发送时刻为第一本地发送时刻；所述根据各终端对应的时延或待同步视频帧中携带的帧发送时刻中的至少一种，从所有视频流中确定至少一个目标视频帧簇，包括：从所有视频流中的最早帧发送时刻的待同步视频帧进行图像匹配，确定首个目标视频
帧簇；将首个目标视频帧簇中的待同步视频帧作为基准视频帧，根据各终端对应的时延以及各视频流中的待同步视频帧中携带的帧发送时刻，从各视频流中的基准视频帧之后的待同步视频帧中确定所述首个目标视频帧簇之后的目标视频帧簇。6.根据权利要求5所述的方法，其特征在于，所述根据各终端对应的时延以及各视频流中的待同步视频帧中携带的帧发送时刻，从各视频流中的基准视频帧之后的待同步视频帧中确定所述首个目标视频帧簇之后的目标视频帧簇，包括：对于各视频流中位于相应的基准视频帧之后的待同步视频帧，根据所述待同步视频帧携带的帧发送时刻以及相应终端对应的时延，获得所述待同步视频帧的公共发送时刻；对于每个公共发送时刻，若各视频流中均包括该公共发送时刻的待同步视频帧，则将该公共发送时刻的所有待同步视频帧作为一个目标视频帧簇。7.根据权利要求1
‑
4任意一项所述的方法，其特征在于，还包括：当获得首个目标视频帧簇时，指示各终端停止在发送的待同步视频帧中携带帧发送时刻；所述从所有视频流中确定至少一个目标视频帧簇，包括获取除所述首个目标视频帧簇之外的目标视频帧簇的步骤：将首个目标视频帧簇中的待同步视频帧作为基准视...

【专利技术属性】
技术研发人员：高一君，曹瑞鹏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：