多媒体流的同步制造技术

这种用于对在第一终端上呈现的第一多媒体流和在第二终端(6)上呈现的第二多媒体流进行同步的方法包括根据第一流的原始音频序列生成原始音频指纹的步骤，并且还包括以下步骤：a)根据第一流的第一序列(52)生成(56)第一音频指纹；b)在第一指纹与原始指纹之间进行比较(58)以便获得一个或更多的第一同步位置(P1)；c)使第一序列(52)与位于第一同步位置(P1)周围的原始序列中的一个或更多的片段相关(60)以便获得第二同步位置(P2)；d)使用第二同步位置(P2)在第二终端上呈现第二流。

【技术实现步骤摘要】
【国外来华专利技术】多媒体流的同步
本专利技术一般涉及源自不同多媒体源和/或使用不同传输协议传送并且在至少一个呈现设备上恢复的多媒体流的处理。更具体地，本专利技术处理这样的多媒体流的同步。例如，具体地，其寻求在第二屏幕电视情况下的应用，其中，有关的内容同时呈现在个人终端和电视机上。因此，本专利技术涉及一种用于对多媒体数据流进行同步的方法、设备和系统。本专利技术还涉及一种实现本专利技术的方法的计算机程序。
技术介绍
可以实行在这部分中描述的方法，但是其不一定是先前已经构思或实行的方法。因此，除非在本文中另外指示，在这部分中描述的方法不是针对本申请中的权利要求的现有技术，并且不承认通过包括这部分中而成为现有技术。广播和宽带IP网络的互补性对混合交付模型敞开了大门，在混合交付模型中利用每种网络的实力来提供个性化电视服务。这种交付模型已经被大量参与者利用在电视场景中。消费者装备的制造商提供了合并对追赶电视(catch-upTV)、增强节目指南和因特网视频的宽带访问的“联网电视(ConnectedTV)”。诸如HbbTV(混合广播宽带电视)和YouView等发起者聚集了广播者、内容提供者和因特网服务提供者，设法定义标准化方法来提供混合广播宽带服务。虽然早在2009年12月就已经推出了第一个HbbTV服务，但是当前的混合电视服务部署仍未利用因特网的全部潜力来交付媒体内容，并且仍然有相当大的进一步创新的潜力。通过将广播交付用于流行节目的大量分发并且将宽带交付用于长尾和点播内容，组合交付模型良好地适用于将个性化的增值电视服务提供给大量订户。诸如平板或者智能电话这样的配套终端变成良好地被建立为用于消耗链接到电视广播者的个性化内容的“电视伙伴(TVbuddies)”。在C.Howson等人的“SecondScreenTVSynchronization”(2011IEEEInternationalConferenceonConsumerElectronics)的文章中，设想了第二屏幕使用情况，其中，通过宽带携带链接到广播节目的替代音频或视频内容，从而使得进行个性化并且缓和广播网络带宽上的负担。这种服务的一个示例使用户能够在手持设备上选择其偏好的音频声轨来为在电视机上所显示的广播视频伴奏。主音频和视频成分通过广播网络交付，而在需要时通过因特网可以得到若干其它语言。另一种这样的服务将使用户能够选择关于体育或音乐事件的宽带交付的替代视图，并且结合在电视机上显示的广播内容，将其呈现在用户的平板上。如果这种第二屏幕服务的用户体验要成为可接受的，则通过宽带网络和广播网络分开交付的媒体成分需要在精确同步的情况下呈现。虽然现有混合电视服务对于交互式应用确实采用触发机制，但是它们未合并例如将允许通过因特网交付的替代声轨自动并且精确地与广播视频成分同步的技术。以上所引用的论文提出了一种用于第二屏幕个性化电视服务的部署的系统，其使得通过宽带网络和广播网络独立交付的内容成分的呈现能够在用户设备中得以同步。在该论文中公开的方案基于添加与通过广播网络并且在某些情况下还通过宽带网络交付的每组媒体成分相关联的辅助成分时间轴。该时间轴成分传递与每个事件有关的同步信息，并且用于调整媒体内容的呈现。然而，在上述论文中公开的方案不是直接方案，因为其需要将签名(亦即，时间轴成分)嵌入到原始的媒体内容中。
技术实现思路
本专利技术提出一种用于改善所述情况的方案。相应地，本专利技术提供一种用于对打算在第一终端上呈现的第一多媒体流和打算在第二终端上呈现的第二多媒体流进行同步的同步方法，包括根据所述第一多媒体流的原始音频序列生成原始音频指纹的预备步骤，并且还包括以下步骤：a)接收所述第一多媒体流的音频数据的第一序列；b)根据所述第一序列生成第一音频指纹；c)在所述第一音频指纹与所述原始音频指纹的块之间进行比较，以便获得所述原始序列中的一个或更多的第一同步位置；d)使所述第一序列与位于所述第一同步位置周围的所述原始序列中的一个或更多的片段(piece)相关，以便获得所述原始序列中的仅仅一个第二同步位置；以及e)使用所述第二同步位置对所述第一多媒体流和所述第二多媒体流进行同步。通过组合对采指纹和互相关(cross-correlation)技术的使用，本专利技术的方法提供一种在不修改多媒体流的情况下在非常短的时间内的多媒体流的精确同步。更准确地，允许精确标识第一多媒体流中的呈现位置(亦即，从开始呈现起经过的时间)，使得第二终端可以在正确时刻从内容服务器请求与第一流同步的第二流。即使在通过比较指纹找到良好匹配的情况下，采指纹也提供具有在帧的等级上的精度的第一同步位置，亦即，粗略同步位置，因为对所考虑的序列的每个音频帧计算指纹，同时，所述相关允许将精度提高到样本的等级，亦即，第二同步位置比第一同步位置更精确。有利地，所述相关使用具有相位变换的广义互相关技术。例如在M.S.Brandstein和H.F.Silverman的论文“Arobustmethodforspeechsignaltime-delayestimationinreverberantrooms”(Proc.IEEEInt.Conf.onAcoustics,Speech,andSignalProcessing(ICASSP)，1997年，第375-378页)中描述了该技术，其也被称为GCC-PHAT。对该技术的使用，其中在频域中执行广义互相关，提高同步能力高于噪声，同时在计算上开销不大。有利地，所述方法包括以下步骤：在所述第一终端上呈现所述第一序列的同时，所述第二终端在第一持续时间期间捕获所述第一多媒体流的音频数据的第一序列。有利地，所述第一持续时间短于5秒，优选地包括在0.5与3秒之间。通过使用这种短记录，在非常短的时间内首先执行所述同步。因此，在多数情况下，用户不必等待大量时间来获得在第二终端上的呈现服务。优选地，通过计算所述第一序列和所述原始序列的指纹的对之间的距离来比较所述第一音频指纹和所述原始音频指纹。例如，所计算的距离是欧几里德距离或汉明距离。有利地，如果在步骤d)未获得第二同步位置，则所述方法还包括接收所述第一多媒体流的音频数据的第二序列的新步骤，并且其中，单独使用第二序列或者使用第一序列和第二序列的组合而不是第一序列来重复步骤b)至d)。优选地，所述第二终端在第二持续时间期间捕获所述第二序列。根据第一实施例，所述第二终端与所述第一终端相同。在该情况下，所述第一多媒体流和所述第二多媒体流都呈现在同一终端上，如同例如在“画中画(PictureinPicture)”服务的情况下的那样。根据第二实施例，所述第二终端与所述第一终端不同。在该情况下，所述第一多媒体流和所述第二多媒体流呈现在两个分离的显示设备上，所述第二终端从然后被认为是在呈现时间内的主设备的第一个捕获声音。有利地，所述方法还包括使用所述第二同步位置在所述第二终端上呈现所述第二多媒体流的步骤。本专利技术还提供一种用于对打算在第一终端上呈现的第一多媒体流和打算在第二终端上呈现的第二多媒体流进行同步的同步系统，包括所述第一和第二终端，并且还包括：-第一处理器，用于根据所述第一多媒体流的原始音频序列生成原始音频指纹；-麦克风，用于在所述第一终端上呈现所述第一序列的同时，所述第二终端在第一持续时间期间捕获本文档来自技高网...

【技术保护点】
一种用于对打算在第一终端(4)上呈现的第一多媒体流和打算在第二终端(6)上呈现的第二多媒体流进行同步的同步方法，包括根据所述第一多媒体流的原始音频序列(42)生成(40)原始音频指纹的预备步骤，并且还包括以下步骤：a)接收所述第一多媒体流的音频数据的第一序列(52)；b)根据所述第一序列(52)生成(56)第一音频指纹；c)在所述第一音频指纹与所述原始音频指纹的块之间进行比较(58)，以便获得所述原始序列(42)中的一个或更多的第一同步位置(P1；A，B，C)；d)使所述第一序列(52)与位于所述第一同步位置(P1；A，B，C)周围的所述原始序列(42)的一个或更多的片段(61)相关(60)，以便获得所述原始序列(42)中的仅仅一个第二同步位置(P2)；以及e)使用所述第二同步位置(P2)对所述第一多媒体流和所述第二多媒体流进行同步。

【技术特征摘要】
【国外来华专利技术】2012.04.05 EP 12305405.81.一种用于对打算在第一终端(4)上呈现的第一多媒体流和打算在第二终端(6)上呈现的第二多媒体流进行同步的同步方法，包括根据所述第一多媒体流的原始音频序列(42)生成原始音频指纹的预备步骤，并且还包括以下步骤：a)接收所述第一多媒体流的音频数据的第一序列(52)；b)根据所述第一序列(52)生成第一音频指纹；c)在所述第一音频指纹与所述原始音频指纹的块之间进行比较，以便获得所述原始音频序列(42)中的一个或更多的第一同步位置(P1；A，B，C)；d)使所述第一序列(52)与位于所述第一同步位置(P1；A，B，C)周围的所述原始音频序列(42)的一个或更多的片段(61)相关，以便在所述第一同步位置(P1；A，B，C)之中获得所述原始音频序列(42)中的仅仅一个第二同步位置(P2)；以及e)使用所述第二同步位置(P2)对所述第一多媒体流和所述第二多媒体流进行同步，其中，所述相关使用在频域中执行的具有相位变换的广义互相关技术。2.如权利要求1所述的方法，包括以下步骤：在所述第一终端(4)上呈现所述第一序列(52)的同时，所述第二终端(6)在第一持续时间期间捕获所述第一多媒体流的音频数据的第一序列(52)。3.如权利要求2所述的方法，其中，所述第一持续时间短于5秒。4.如权利要求1所述的方法，其中，通过计算所述第一序列(52)和所述原始音频序列(42)的各对指纹之间的距离来比较所述第一音频指纹和所述原始音频指纹。5.如权利要求1所述的方法，其中，如果在步骤d)未获得第二同步位置，则所述方法还包括接收所述第一多媒体流的音频数据的第二序列的新步骤，并且其中，单独使用第二序列或者使用第一序列(52)和第二序列的组合而不是第一序列(52)来重复步骤b)至d)。6.如权利要求1所述的方法，其中，所述第二终端(6)与所述第一终端(4)相同。7.如权利要求1所述的方法，其中，所述第二终端(6)与所述第一终端(4)不同。8.如权利要求1所述的方法，还包括使用所述第二同步位置(P2)在所述第二终端(6)上呈现所述第二多媒体流的步骤。9.如权利要求3所述的方法，其中，所述第一持续时间在0.5与3秒之间。10.一种用于对打算在第一终端(4)上呈现的第一多媒体流和打算在第二终端(6)上呈现的第...

【专利技术属性】
技术研发人员：Qkn东，Y莱格拉斯，C豪森，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国;FR