基于VLC的视频帧同步制造技术

拍摄场景的多个用户设备(1，2，3)的摄像机(4)检测到表示对齐标识符的VLC信号。解码来自用户设备(1，2，3)的编码视频帧(91，92，93)，并且解码之后在至少一些视频帧中识别表示所捕捉的VLC信号的光图案。将光图案解码为对齐标识符，对齐标识符用于对来自不同用户设备(1，2，3)的视频帧(91，92，93)进行时间对齐，从而实现来自记录场景的多个用户设备(1，2，3)的视频数据的视频帧同步。因此，这些实施例在不需要用户设备(1，2，3)和视频同步系统(10)之间的精确时钟同步的情况下实现了视频帧同步。

Frame synchronization of video based on VLC

A camera (4) of a plurality of user devices (1, 2, 3) in the shooting scene detects an VLC signal indicating the alignment identifier. Decoded video frames (91, 92, 93) from user devices (1, 2, 3) are decoded and decoded, and at least some of the light patterns representing the captured VLC signals are decoded after decoding. The light pattern for decoding aligned identifiers for aligning the identifiers from different user equipment (1, 2, 3) of the video frames (91, 92, 93) are time aligned, so as to realize a plurality of user equipment from the recording scene (1, 2, 3) synchronous video frames of video data. Thus, these embodiments achieve synchronization of video frames without requiring accurate clock synchronization between the user devices (1, 2, 3) and the video synchronization system (10).

【技术实现步骤摘要】
【国外来华专利技术】基于VLC的视频帧同步
本实施例总体上涉及视频帧同步，具体地，涉及源自记录场景的多个用户设备的视频帧的同步。
技术介绍
高速移动互联网的进步以及诸如手机、智能手机和平板电脑等用户设备的能力带来了消费移动直播视频流服务的新途径。用户也很需要拍摄社交事件，例如足球比赛或音乐节，以呈现用户自己的故事版本。新兴的应用允许用户以类似于制作专业的直播TV的方式协同使用多个移动摄像机制作视频。如图1所示，场景包括三个用户角色，即，制作人、导演和消费者。制作人是具有用户设备1、2、3的用户，用户设备1、2、3协作记录和流传输例如在体育场中的视频馈送到应用服务器或系统10。视频馈送的混合使导演能够进行视频指导和丰富内容主张。消费者能够基于导演的选择而不仅仅是传统TV广播提供的少数选项从不同视点观看事件的实况直播。在社交多媒体环境中，导演希望监视来自制作人的同步比特流。仅将每个比特流同时发送到其物理输出硬件不一定能确保同步。在专业的直播视频制作中，多个摄像机馈送之间的同步通过专用硬件完成。然而，当通过无线连接流传输来自用户设备1、2、3的视频时，这种方法是不实际的。因为延迟是无线网络的固有特征，并且当数本文档来自技高网...

【技术保护点】
一种视频同步方法，包括：用调制信号调制(S1)对齐标识符以获得光控制信号；向光控制器(42)输出(S2)所述光控制信号，所述光控制器(42)连接到具有可见光通信VLC能力的光源(43)并被配置为根据所述光控制信号控制所述具有VLC能力的光源(43)输出VLC信号；从多个用户设备(1，2，3)中的每个用户设备(1，2，3)接收(S3)表示由所述用户设备(1，2，3)的摄像机(4)或连接到所述用户设备(1，2，3)的摄像机(4)捕捉的视频数据的编码视频帧(91，92，93)的比特流(81，82，83)；针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，对所述比特流(81，82，83...

【技术特征摘要】
【国外来华专利技术】1.一种视频同步方法，包括：用调制信号调制(S1)对齐标识符以获得光控制信号；向光控制器(42)输出(S2)所述光控制信号，所述光控制器(42)连接到具有可见光通信VLC能力的光源(43)并被配置为根据所述光控制信号控制所述具有VLC能力的光源(43)输出VLC信号；从多个用户设备(1，2，3)中的每个用户设备(1，2，3)接收(S3)表示由所述用户设备(1，2，3)的摄像机(4)或连接到所述用户设备(1，2，3)的摄像机(4)捕捉的视频数据的编码视频帧(91，92，93)的比特流(81，82，83)；针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，对所述比特流(81，82，83)的编码视频帧(91，92，93)进行解码(S4)以获得解码视频帧流；针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，在所述解码视频帧流的至少一个解码视频帧中，识别(S5)表示由所述用户设备(1，2，3)的摄像机(4)或连接到所述用户设备(1，2，3)的摄像机(4)捕捉的VLC信号的光图案；针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，将所述光图案解码(S6)为对齐标识符；以及基于所述对齐标识符，对来自所述多个用户设备(1，2，3)中的不同用户设备(1，2，3)的视频帧(91，92，93)进行时间对齐(S7)。2.根据权利要求1所述的视频同步方法，其中，对所述视频帧(91，92，93)进行时间对齐(S7)包括：基于所述对齐标识符的相应值，对来自所述不同用户设备(1，2，3)的所述视频帧(91，92，93)进行时间对齐(S7)。3.根据权利要求2所述的视频同步方法，其中，对所述视频帧(91，92，93)进行时间对齐(S7)包括：向来自所述不同用户设备(1，2，3)的具有相同或相对应的值的所述对齐标识符的视频帧(91，92，93)分配(S7)相同的输出或回放标识符值。4.根据权利要求2所述的视频同步方法，其中，对所述视频帧(91，92，93)进行时间对齐(S7)包括：在相同的时间点输出(S7)来自所述不同用户设备(1，2，3)的具有相同或相对应的值的所述对齐标识符的视频帧(91，92，93)。5.根据权利要求1至4中任一项所述的视频同步方法，还包括：识别(S10)包括所述光图案的至少一个解码视频帧；从所述解码视频帧流中移除(S11)所识别的至少一个解码视频帧；以及将所述解码视频帧流中的解码视频帧编码(S13)为编码视频帧。6.根据权利要求1至4中任一项所述的视频同步方法，还包括：识别(S10)包括所述光图案的至少一个解码视频帧；用所述解码视频帧流中没有所述光图案的相邻解码视频帧替换(S12)所识别的至少一个解码视频帧；以及将所述解码视频帧流中的解码视频帧编码(S13)为编码视频帧。7.根据权利要求1至6中任一项所述的视频同步方法，还包括：针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，测量(S20)所述比特流(81，82，83)的传输的底噪；以及针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)并且基于所述测量，检测(S21)所述光图案在图像频域中的频率，其中对所述光图案进行解码(S6)包括：针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)并且基于所述光图案的所述频率的信息，将所述光图案解码(S6)为所述对齐标识符。8.根据权利要求1至7中任一项所述的视频同步方法，还包括：针对所述多个用户设备(1，2，3)中的至少一个用户设备(1，2，3)，获得(S30)表示所述比特流(81，82，83)的传输质量的服务质量QoS参数；以及基于所述QoS参数的值来控制(S31)所述对齐标识符的调制和/或所述对齐标识符的产生。9.根据权利要求1至8中任一项所述的视频同步方法，还包括：针对所述多个用户设备(1，2，3)中的至少一个用户设备(1，2，3)，获得(S40)表示所述比特流(81，82，83)的视频数据的质量的质量得分；以及基于所述质量得分来控制(S41)所述对齐标识符的调制和/或所述对齐标识符的产生。10.根据权利要求8或9所述的视频同步方法，其中，控制所述对齐标识符的调制(S31，S41)包括：如果所述QoS参数的值表示比定义的最小QoS更差的QoS，或者如果所述质量得分的值表示比定义的最小质量更差的质量，则增加(S31，S41)调制所述对齐标识符的时机之间的时间间隔。11.根据权利要求8或9所述的视频同步方法，其中，控制所述对齐标识符的调制(S31，S41)包括：如果所述QoS参数的值表示比定义的QoS更好的QoS，或者如果所述质量得分的值表示比定义的质量更好的质量，则减小(S31，S41)调制所述对齐标识符的时机之间的时间间隔。12.根据权利要求8至10中任一项所述的视频同步方法，其中，控制所述对齐标识符的产生(S31，S41)包括：如果所述QoS参数的值表示比定义的最小QoS更差的QoS，或者如果所述质量得分的值表示比定义的最小质量更差的质量，则产生(S31，S41)使所述VLC信号的持续时间减少的对齐标识符。13.根据权利要求1至12中任一项所述的视频同步方法，还包括提供(S50)：i)第一对齐标识符，包括可选的前导符号，之后是可选的导频符号和第一序号，以及ii)第二对齐标识符，包括所述可选的前导符号，之后是所述可选的导频符号和不同的第二序号，其中调制(S1)所述对齐标识符包括：i)用所述调制信号调制(S1)所述第一对齐标识符以获得第一光控制信号，以及ii)用所述调制信号调制(S1)所述第二对齐标识符以获得第二光控制信号；输出(S2)所述光控制信号包括：i)向光控制器(42)输出(S2)所述第一光控制信号，所述光控制器连接到具有VLC能力的第一光源(43A)并被配置为根据所述第一光控制信号控制所述具有VLC能力的第一光源(43A)输出第一VLC信号；以及ii)向光控制器(42)输出(S2)所述第二光控制信号，所述光控制器连接到具有VLC能力的第二光源(43B)并被配置为根据所述第二光控制信号控制所述具有VLC能力的第二光源(43B)输出第二VLC信号，所述方法还包括：基于所述第一对齐标识符和所述第二对齐标识符，从所述多个用户设备(1，2，3)中选择(S51)输出携带具有表示所述第一VLC信号的光图案的至少一个编码视频帧(91，92，93)的比特流(81，82，83)的用户设备(1，2，3)，其中对视频帧(91，92，93)进行时间对齐(S7)包括：对来自所选择的用户设备(1，2，3)的视频帧(91，92，93)进行时间对齐(S7)。14.一种视频同步系统(10，100，110)，其中，所述视频同步系统(10，100，110)被配置为用调制信号调制对齐标识符以获得光控制信号；所述视频同步系统(10，100，110)被配置为向光控制器(42)输出所述光控制信号，所述光控制器(42)连接到具有可见光通信VLC能力的光源(43)并被配置为根据所述光控制信号控制所述具有VLC能力的光源(43)输出VLC信号；所述视频同步系统(10，100，110)被配置为从多个用户设备(1，2，3)中的每个用户设备(1，2，3)接收表示由所述用户设备(1，2，3)的摄像机(4)或连接到所述用户设备(1，2，3)的摄像机(4)捕捉的视频数据的编码视频帧(91，92，93)的比特流(81，82，83)；所述视频同步系统(10，100，110)被配置为针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，对所述比特流(81，82，83)的编码视频帧(91，92，93)进行解码以获得解码视频帧流；所述视频同步系统(10，100，110)被配置为针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，在所述解码视频帧流的至少一个解码视频帧中，识别表示由所述用户设备(1，2，3)的所述摄像机(4)或连接到所述用户设备(1，2，3)的所述摄像机(4)捕捉的VLC信号的光图案；所述视频同步系统(10，100，110)被配置为针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，将所述光图案解码为对齐标识符；以及所述视频同步系统(10，100，110)被配置为基于所述对齐标识符，对来自所述多个用户设备(1，2，3)中的不同用户设备(1，2，3)的视频帧(91，92，93)进行时间对齐。15.根据权利要求14所述的视频同步系统，其中，所述视频同步系统(10，100，110)被配置为基于所述对齐标识符的相应值对来自所述不同用户设备(1，2，3)的所述视频帧(91，92，93)进行时间对齐。16.根据权利要求15所述的视频同步系统，其中，所述视频同步系统(10，100，110)被配置为，向来自所述不同用户设备(1，2，3)的具有相同或相对应的值的所述对齐标识符的视频帧(91，92，93)分配相同的输出或回放标识符值。17.根据权利要求15所述的视频同步系统，其中，所述视频同步系统(10，100，110)被配置为在相同的时间点输出来自所述不同用户设备(1，2，3)的具有相同或相对应的值的所述对齐标识符的视频帧(91，92，93)。18.根据权利要求14至17中任一项所述的视频同步系统，其中，所述视频同步系统(10，100，110)被配置为识别包括所述光图案的至少一个解码视频帧；所述视频同步系统(10，100，110)被配置为从所解码视频帧流中移除所识别的至...

【专利技术属性】
技术研发人员：王乐，米连科·奥普塞尼查，托马斯·梅克林，海迪马利亚·贝克，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典,SE