在媒体流之间使时间线信息相互关联制造技术

提供了一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的系统，其中所述第一媒体流和第二媒体流二者都与公共播出时间线相关联。该系统包括至少两个内容监视器，其各自被布置用于提供媒体流的一个或多个媒体样本的持久标识。该系统还包括相互关联子系统，其被布置用于接收与第二持久标识在时间上相关的第一持久标识、接收与第二媒体流的第二时间戳值在时间上相关的第一媒体流的第一时间戳值、将第一持久标识与公共播出时间线上的第一播出时间匹配并且将第二持久标识与第二播出时间匹配、以及基于第一播出时间与第二播出时间的比较来生成相互关联信息，用于使得能够将第一时间戳值与第二时间戳值相互关联，并且从而使第一时间线信息与第二时间线信息相互关联。

Time line information is interconnected between media streams

Provides a system for enabling the first media stream and media stream between the second time line information related to each other, wherein the first media stream and second media stream two are associated with public broadcast time line. The system includes at least two content monitors, each of which is individually arranged to provide persistent identification of one or more media samples of the media stream. The system also includes interconnected subsystems, which is arranged for receiving the second and second time stamps marking the first long lasting identification, related in time for the reception and the second media stream values for the first time stamp related media stream at the time of the value, the first lasting mark and public broadcast time online for the first time broadcast second, and lasting mark and second broadcast time matching, and the first broadcast time and second broadcast time is generated based on related information, so that it can be used for the first time stamp value is related to the second timestamp value, and thus the first time and second time line information line information in association with each other.

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于在第一媒体流和第二媒体流之间使时间线信息相互关联的系统和方法。本专利技术此外涉及包括该系统的媒体分发网络，涉及如在该系统中使用的内容监视器、时间线监视器或相互关联子系统，并且涉及包括用于使得处理器系统执行该方法的指令的计算机程序产品。本专利技术此外涉及同步客户端。
技术介绍
诸如视频内容和音频内容的媒体内容通常以数字形式递送给用户。如果媒体内容具有时间方面，并且特别地与指示将如何随时间播出媒体内容的时间线相关联，则这样的数字形式通常被称为媒体流。媒体流可以经由媒体分发网络被递送给用户的接收器。特别地，媒体流可以被流式传输到接收器，这允许接收器在接收到整个媒体流之前开始媒体流的播出。然而，媒体流也可以以非流式传输的方式被递送到用户的接收器，例如通过以文件的形式被递送到接收器。媒体流的示例包括诸如相机记录的或计算机再现的流之类的视频流、诸如麦克风记录的流之类的音频流、诸如字幕流或社交媒体流之类的定时文本流、在接收器处示出广告图像或执行动作的定时事件流、以及包括不同类型的媒体流的多媒体流。不同的媒体流可以与公共播出时间线相关联，因为在媒体流之间可能存在时间关系。特别地，媒体流可以打算以同步的方式被播出。如果媒体流涉及相同事件的不同记录，例如，其中第一媒体流是视频流并且第二媒体流是音频流，或者第一媒体流是表示从第一相机角度的事件的记录的视频流并且第二媒体流也是视频流但是表示从不同相机角度的记录，则情况可能是这样。因此，可能存在对于使得能够以同步的方式播出不同媒体流的需要。此外，可能存在对于使得能够例如跨不同接收器、以同步的方式播出相同的、类似的或不同的媒体流的需要。以下是其中可以采用这样的媒体同步的已知示例：·社交TV，其中期望跨多个TV或多个用户的其它设备的相同或类似的媒体流的同步。相同或类似的媒体流可以包括相同流的技术变型，但是它们还可以包括对于相同事件、然而构成不同内容的流，诸如对相同事件、从不同相机角度的记录。·混合TV，其中期望潜在地经由多个路由到达单个TV的多个媒体流的同步。这样的多个路由可以包括，例如，数字视频广播（DVB）、因特网协议（IP）多播和IP单播。·伴随屏幕，其中期望在TV和伴随屏幕（例如平板设备）之间同步相同或不同的媒体流。注意到，术语“伴随屏幕”也已知为第二屏幕。注意到，上述示例主要是指电视，但是对于其它类型的设备或接收器存在类似的示例。此外，在上述示例中，媒体流中的一些或全部可以是实时或准实时的媒体流。附加地或替代地，媒体流中的一些或全部可以例如由媒体分发网络来高速缓存，或者例如由个人视频记录器（PVR）来记录，或者构成这样称呼的重放（catch-up）TV或用户特技模式（trick-mode）媒体流。广播方可以采用媒体同步来提供同步的服务，其中用户可以以各种广播方提供的组合、经由多个路由和/或在多个设备上组合媒体流。这样的同步可以发生在所有媒体流聚集的广播方的演播室系统中。而且，增值服务提供商可以采用媒体同步以提供增值同步服务。增值媒体流的示例包括提供对另一媒体流（例如广播的视频流）的评论、加字幕、音频描述或手语解释的媒体流。与媒体同步相关联的问题可能是，尽管不同的媒体流可以在广播方或第三方处被同步，但是它们可能在被分发到终端用户时失去其同步性。例如，媒体流可以经由不同的路由被递送。这些路由由于距离（传输速度）、复用和路由（缓冲）、经高速缓存和记录的递送、信号处理（例如混合、转码）等方面的差异而具有不同的延迟。类似地，在增值服务提供商的情况下，可以从服务提供商递送增值媒体流，而可以从广播方、即经由不同的路由来递送原始广播流。F.Boronat等人的文章“Multimediagroupandinter-streamsynchronizationtechniques:Acomparativestudy”（ElsevierInformationSystems,34,2009,pp.108-131）提供了已知的目的地间同步技术（即不同最终终端之间的同步）的全面概述。大多数引用的目的地间同步技术利用被包括在媒体流中的时间线信息。这里，术语“时间线信息”是指使得接收器能够根据播出时间线来播出媒体流的媒体样本的元数据。例如，如果经由实时传输协议（RTP）来递送媒体流，即构成RTP媒体流，则可以使用诸如RTP时间戳的时间线信息。时间线信息的其它示例包括这样称呼的节目时钟参考（PCR）、呈现时间戳（PTS）和解码时间戳（DTS）。通过跨不同的接收器比较这样的时间线信息，可以计算适当的流调整。为了使得能够跨接收器实现这样的比较，可以在接收器上使用同步的挂钟（wall-clock），或者替代地，具有很少和/或已知延迟的高质量信令连接。例如，可以通过在接收器处缓冲媒体流来实现媒体流的播出时间的延迟。已经认识到，媒体流可能在媒体分发网络中丢失其原始时间线信息。这样的媒体分发网络通常由有线运营商、电信运营商和因特网服务提供商（其通常与广播方或增值服务提供商不同）所拥有。在这样的媒体分发网络中，媒体流可以在头端中被修改，以便使得媒体流适合于通过网络分发。这些网络可以是例如基于DVB的（DVB-T、DVB-C、DVB-H）、基于IP的（RTP/RTCP、IP多播、IP单播）。不同的编解码器（MPEG2、H.264、HEVC）、传输技术（广播、流式传输、渐进式下载、自适应流式传输）等可以使用在媒体流的最终递送中。在这些过程中的一个或多个期间，媒体流可能被剥去其原始元数据。结果，原始时间线信息可能没有被包括在修改的媒体流中。替代地，可能包括新的元数据，其可以包括新的时间线信息。对媒体流的这样的修改的示例包括：·（再）复用。用于MPEGTS（传输流）的大多数复用器在进行复用时生成新的PCR/PTS/DTS值。然而，通常仅改变PCR/PTS/DTS的绝对值，而其跨媒体流的关系被维持。因而，音频-视频声像同步（lipsync）可以被保持。·转码和重编码。这里，在传入和传出的媒体样本之间的所有关系可能丢失。例如，在视频流的情况下，视频流的帧可以变成不同的类型，例如从I帧到B帧。此外，如果帧率在转码和重编码期间改变，则在传入和传出的帧之间的一对一关系可能丢失。另外，媒体流的整个容器可能改变，例如从这样称呼的TS到ISOBFF，由此也改变时间线信息的类型。·技术或商业原因。媒体分发网络可能拒绝传递时间线信息。例如，DVB同步辅助数据分组标识符（SAD-PID）可能默认地从传输流（TS）中剥去。这可能是故意的，例如出于所述商业原因，或者参数可能只是不被当前网络所支持，从而构成技术原因。除了媒体流被修改并且从而丢失其原始时间线信息之外，这样的时间线信息也可能固有地在意图被同步播放但是已经初始地（例如在媒体流发源处）没被提供有公共时间线信息的不同媒体流之间不同。同样，这里可能存在对于媒体同步的需要。WO2010106075A1描述了一种用于至少第一和第二（媒体）流的目的地间媒体同步的方法和系统，其中第二流是使用第一流作为输入本文档来自技高网...

【技术保护点】
一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的系统，所述第一媒体流和第二媒体流二者都与公共播出时间线相关联并且包括不同的时间线信息，并且该系统包括：‑至少两个内容监视器，其各自被布置用于提供媒体流的一个或多个媒体样本的持久标识，所述持久标识是对着媒体流的处理是稳健的并且可以使用媒体流来可再现地获得的数据，其中，所述至少两个内容监视器包括用于提供第一媒体流的第一持久标识的第一内容监视器以及用于提供第二媒体流的第二持久标识的第二内容监视器；以及‑相互关联子系统，其被布置用于：i）接收第一持久标识和第二持久标识，其中所述第一持久标识和第二持久标识在时间上相关，ii）接收来自第一媒体流的时间线信息的第一时间戳值和来自第二媒体流的时间线信息的第二时间戳值，其中所述第一时间戳值和第二时间戳值在时间上相关，iii）将第一持久标识与公共播出时间线上的第一播出时间匹配，并且将第二持久标识与公共播出时间线上的第二播出时间匹配；以及iv）基于第一播出时间与第二播出时间的比较来生成相互关联信息，用于使得能够将第一时间戳值与第二时间戳值相互关联，并且从而使第一时间线信息与第二时间线信息相互关联。...

【技术特征摘要】
【国外来华专利技术】2013.09.20 EP 13185428.31.一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的系统，所述第一媒体流和第二媒体流二者都与公共播出时间线相关联并且包括不同的时间线信息，并且该系统包括：
-至少两个内容监视器，其各自被布置用于提供媒体流的一个或多个媒体样本的持久标识，所述持久标识是对着媒体流的处理是稳健的并且可以使用媒体流来可再现地获得的数据，其中，所述至少两个内容监视器包括用于提供第一媒体流的第一持久标识的第一内容监视器以及用于提供第二媒体流的第二持久标识的第二内容监视器；以及
-相互关联子系统，其被布置用于：
i）接收第一持久标识和第二持久标识，其中所述第一持久标识和第二持久标识在时间上相关，
ii）接收来自第一媒体流的时间线信息的第一时间戳值和来自第二媒体流的时间线信息的第二时间戳值，其中所述第一时间戳值和第二时间戳值在时间上相关，
iii）将第一持久标识与公共播出时间线上的第一播出时间匹配，并且将第二持久标识与公共播出时间线上的第二播出时间匹配；以及
iv）基于第一播出时间与第二播出时间的比较来生成相互关联信息，用于使得能够将第一时间戳值与第二时间戳值相互关联，并且从而使第一时间线信息与第二时间线信息相互关联。
2.根据权利要求1所述的系统，其中，基于所述至少两个内容监视器中的每一个来接收在时间上相关的第一持久标识和第二持久标识，所述内容监视器被布置用于：
i）基于在所述至少两个内容监视器之间同步的时钟信号来确定与持久标识相关联的挂钟时间戳值，以及
ii）将挂钟时间戳值连同持久标识一起提供到相互关联子系统。
3.根据权利要求1所述的系统，其中，基于所述至少两个内容监视器来接收在时间上相关的第一持久标识和第二持久标识，所述内容监视器在时间上同步地获得持久标识并且向相互关联子系统提供持久标识。
4.根据上述权利要求中任一项所述的系统，此外包括至少两个时间线监视器，所述至少两个时间线监视器中的每一个被布置用于提供来自媒体流的时间线信息的时间戳值，其中所述至少两个时间线监视器包括用于提供第一媒体流的第一时间戳值的第一时间线监视器以及用于提供第二媒体流的第二时间戳值的第二时间线监视器。
5.根据权利要求4所述的系统，其中，基于所述至少两个时间线监视器中的每一个来接收在时间上相关的第一时间戳值和第二时间戳值，所述时间线监视器被布置用于：
i）基于在所述至少两个时间线监视器之间同步的时钟信号来确定与时间戳值相关联的挂钟时间戳值，以及
ii）将挂钟时间戳值连同时间戳值一起提供到相互关联子系统。
6.根据权利要求4所述的系统，其中，基于所述至少两个时间线监视器中的每一个来接收在时间上相关的第一...

【专利技术属性】
技术研发人员：HM斯托克金，MO范德文特，R范布兰登伯格，
申请(专利权)人：皇家KPN公司，荷兰应用自然科学研究组织，
类型：发明
国别省市：荷兰;NL