处理多媒体流的方法以及相应设备技术

本发明专利技术涉及同步由不同的多媒体源提供的、或通过不同的传输协议发送到单个接收设备的或计划用不同的呈现设备呈现的多媒体流。根据本发明专利技术，代表第一多媒体流的数据的参考数据被提供在第二多媒体流中并与该第二多媒体流的数据相关联以同步这两个流。该参考数据构成与之相关联的第二多媒体流的数据的定时参考。它被用来同步两个多媒体流。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及处理来自不同的多媒体源或通过不同的传输协议发送和/或在不同的呈现设备上恢复的多媒体流。
技术介绍
在广播电视中，通常一起广播音频和视频流。它们通常由单个多媒体源(例如，多媒体内容的提供商)提供，然后使用单个传输协议通过给定的传输网络传送到负责读取这些流、将视频数据显示在屏幕上并在扬声器上广播音频数据的单个端用户设备，例如，电视机。随着因特网网络和移动电信网络的迅速发展，已经出现了新的多媒体应用，其中用于音频流和视频流的源和/或传输协议和/或呈现设备可以不同。对于这些新的应用，确保音频流的呈现与视频流的呈现同步是必须的。新的多媒体应用的一个实例是通过不同于视频流的源的源生成音频流，该音频流旨在用其自身代替会和视频流一起被提供的基本音频流。例如，在电视上播放足球比赛的情形中，用包括例如除了会由另外一个多媒体提供商而不是比赛广播商传送的基本音频流的评论之外的语言评论的音频流代替与比赛的视频流一起被提供的基本音频流是可能的。为了使得音频流可以与视频流同步，所述流必须包含公共或相等的定时参考。作为通常规贝U，传输协议向呈现设备提供这些数据或时间戳以使得它可以控制并同步两个流的呈现。时间戳通常是表示在其期间发生与该时间戳相关联的事件的时间的计数器值。计数器的时钟频率必须是呈现设备已知的一个值，这样它可以正确地控制流呈现。时钟频率提供给呈现设备的方式在传输层规范(MPEG-TS、RTS等)中有说明。为了使得呈现设备可以同步这两个流，后者通常参考一般被称作“挂钟”的公共时钟。例如，在RTP协议(实时传输协议)的情形中，发送器周期性地发送表示时间戳和公共时钟提供的时间之间的相等性的被称作发送报告RTCP的消息。如果音频和视频流由不同的源提供，那么这两个源必须共享相同的公共时钟。NTP协议(网络时间协议)通常被用来将两个源同步到同一个时钟。然而，当两个源未通过足够可靠的网络在传输时间方面联系在一起时，那么另外的同步机制就是必须的了。音频和/或视频流之间的同步问题也在两个流的呈现由不同的呈现设备执行时存在，例如当视频流由电视机呈现，音频流由个人终端呈现(例如，移动电话)时。事实上，即使传输协议提供了时间戳以执行音频流和视频流的呈现，也只有视频流呈现设备精确地知道视频帧何时显示在屏幕上，这个时刻尤其取决于设备中的存储时间和解码时间。对用户端的音频呈现来说也是一样的情形。当两个流不是由同一个源或通过相同的传输协议提供时，该同步问题还可能存在于显示在单个呈现设备上的两个视频流之间，其中使用画中画将一个视频内容显示在另一个中。
技术实现思路
本专利技术的目的就是提出一种旨在克服上述缺陷使得同步由不同的源提供或通过不同的传输协议发送给单个接收设备和/或旨在用不同的呈现设备呈现的两个音频和/或视频流成为可能的解决方案。为了达到此目的，本专利技术涉及一种用于在接收设备中处理多媒体数据流的方法，包括以下步骤:-接收包括音频或视频数据的第一多媒体流和包括音频或视频数据的第二多媒体流，所述第二流至少包含同步信息，-通过使用所述同步信息同步所述第一和第二多媒体流，-对所述第一和第二多媒体流执行呈现步骤，所述方法的显著特征在于，同步信息包括代表第一多媒体流的音频或视频数据的数据，称为参考数据，它与第二多媒体流的音频或视频数据相关联，还在于，在同步过程中，第一和第二多媒体流以使得与参考数据相关联的第二多媒体流的视频或音频数据的呈现与相当于所述参考数据的第一多媒体流的视频或音频数据的呈现同步的方式同步。因此，根据本专利技术，在第二多媒体流中提供了代表第一多媒体流的数据的参考数据，该参考数据与该第二多媒体流的数据相关联以同步这两个流。并且，两个多媒体流的数据被同步以使得它们通过显示设备和/或音频设备的呈现是同步的。根据一个特定的实施例中，第二多媒体流相对于第一多媒体流同步。同步的步骤包括比较第一多媒体流的音频或视频数据和第二多媒体流的参考数据然后将第二多媒体流的呈现与第一多媒体流的呈现锁定。该比较的步骤包括例如计算第一多媒体流的音频或视频数据中的每一个和参考数据之间的信噪比的步骤。根据一个特定的实施例，第一多媒体流是包含视频帧的视频流，引入第二多媒体流的参考数据是第一多媒体流的视频帧或从所述视频帧导出的数据，第二多媒体流是音频流。根据一个特定的实施例，所述第一和第二多媒体流来自不同的多媒体源和/或通过不同的传输网络提供。本专利技术还涉及一种能够生成包括参考数据的第二多媒体流的方法，更具体地说是一种用于在发送设备中处理多媒体数据流的方法，包括以下步骤:-接收包括音频或视频数据的第一多媒体流，-对所述第一多媒体流执行呈现步骤，-生成包括音频或视频数据的第二多媒体流，-生成至少一个数据，被称为参考数据，代表第一多媒体流的音频或视频数据，-在所述第二多媒体流中关联所述参考数据和在呈现对应于所述参考数据的第一多媒体流的音频或视频数据的时间生成的第二多媒体流的音频或视频数据。本专利技术还涉及能够实施本专利技术的方法的接收设备。在接收级，第一和第二多媒体流的呈现可以在单个设备(例如，电视机)或在两个不同的设备中执行。在第一种情况下，根据本专利技术，提出一种设备，包括:-用于接收包括音频或视频数据的第一多媒体流和包括音频或视频数据的第二多媒体流的部件，所述第二流至少包含同步信息，-用于使用所述同步信息同步所述第一和第二多媒体流的部件，-用于呈现所述第一和第二多媒体流的部件，其特征在于，同步信息包括代表第一多媒体流的音频或视频数据的数据，称为参考数据，它与第二多媒体流的音频或视频数据相关联，同步部件以使得与参考数据相关联的第二多媒体流的视频或音频数据的呈现与对应于所述参考数据的第一多媒体流的视频或音频数据的呈现同步的方式同步所述第一和第二多媒体流。在第二种情况下，根据本专利技术，提出一种用于接收多媒体流的设备，包括:-用于捕获包括音频或视频数据的第一多媒体流的呈现的部件，-用于接收包括音频或视频数据的第二多媒体流的部件，所述第二流至少包含同步信息，-用于使用所述同步信息同步第二多媒体流的部件，-用于呈现第二多媒体流的部件，其特征在于，同步信息包括代表第一多媒体流的音频或视频数据的数据，称为参考数据，它与第二多媒体流的音频或视频数据相关联，同步部件以使得与参考数据相关联的第二多媒体流的视频或音频数据的呈现与对应于所述参考数据的第一多媒体流的视频或音频数据的呈现同步的方式同步所述第一和第二多媒体流。附图说明通过下面详细的说明，将会更好地理解本专利技术，其它的目的、细节、特点和优点将显得更清楚，在附录中引用以下附图:-图1示出了在发送设备中实施本专利技术的方法的步骤的流程图，-图2示出了在接收设备中实施本专利技术的方法的步骤的流程图，-图3示出了表示当第一和第二多媒体流的呈现在同一设备中执行时实施本专利技术的部件的图，以及-图4示出了表示当第一和第二多媒体流的呈现在不同的设备中执行时实施本专利技术的部件的图。具体实施例方式根据本专利技术，将第一多媒体流的音频或视频数据用作定时参考是为第二多媒体流的音频或视频数据设计的，目的是同步呈现两个流。这两个流由不同的多媒体源提供，或通过不同的传输协议发送到单个接收设备，或计划用不同的呈现设备呈现。在本说明书中，考虑第一多媒体流是视频流，第二多媒体流是首频流。呈现视频流被本文档来自技高网...

【技术保护点】
一种用于在发送设备中处理多媒体数据流的方法，其特征在于，包括以下步骤：‑接收（E1）包括音频或视频数据的第一多媒体流，‑对所述第一多媒体流执行（E2）呈现步骤，‑在所述第一多媒体流的所述呈现过程中生成（E3）将要与所述第一多媒体流同步以用于其呈现并包括音频或视频数据的第二多媒体流，‑生成（E4）至少一个数据，被称为参考数据，代表第一多媒体流的音频或视频数据，‑在所述第二多媒体流中通过关联所述参考数据和在呈现被用来生成所述参考数据的第一多媒体流的音频或视频数据的时间生成的所述第二多媒体流的音频或视频数据，插入（E5）所述参考数据。

【技术特征摘要】
【国外来华专利技术】2010.09.22 FR 10576001.一种用于在发送设备中处理多媒体数据流的方法，其特征在于，包括以下步骤: -接收(El)包括音频或视频数据的第一多媒体流， -对所述第一多媒体流执行(E2)呈现步骤， -在所述第一多媒体流的所述呈现过程中生成(E3)将要与所述第一多媒体流同步以用于其呈现并包括音频或视频数据的第二多媒体流， -生成(E4)至少一个数据，被称为参考数据，代表第一多媒体流的音频或视频数据， -在所述第二多媒体流中通过关联所述参考数据和在呈现被用来生成所述参考数据的第一多媒体流的音频或视频数据的时间生成的所述第二多媒体流的音频或视频数据，插入(E5)所述参考数据。2.一种用于在接收设备中处理多媒体数据流的方法，包括以下步骤: -接收(E6)包括音频或视频数据的第一多媒体流和包括音频或视频数据的第二多媒体流，所述第二多媒体流在呈现所述第一多媒体流的过程中生成并至少包含同步信息， -通过使用所述同步信息同步(E7)所述第一和第二多媒体流， -对所述第一和第二多媒体流执行(ES)呈现步骤， 其特征在于，同步信息包括代表第一多媒体流的音频或视频数据的数据，称为参考数据，它与第二多媒体流的音频或视频数据相关联， 还在于，在同步过程中，第一和第二多媒体流以使得与参考数据相关联的第二多媒体流的视频或音频数据的呈现与对应于所述参考数据的第一多媒体流的视频或音频数据的呈现同步的方式同步。3.如权利要求2所述的方法，其中同步的步骤包括比较第一多媒体流的音频或视频数据和参考数据的步骤。4.如权利要求3所述的方法，其中比较步骤包括计算第一多媒体流的音频或视频数据中的每一个和参考数据之间的信噪比的步骤。5.如权利要求2-4中任何一项所述的方法，其中第一多媒体流是包含...

【专利技术属性】
技术研发人员：G比乔特，A劳伦特，Y莱格莱斯，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国;FR