异构网络环境中媒体渲染的同步制造技术

本发明专利技术公开了用于在多个联网终端之间同步媒体渲染的技术。第一终端可以从另一终端接收通信，该通信将网络时间相关到待在终端上渲染的媒体项的第一部分(258)。终端可以从网络时间到媒体的第一部分的相关性并从终端之间协商的回放速率来识别媒体项的待在其他网络时间渲染的其他部分。终端各自可以随着网络时间进行来渲染媒体项的适当部分。终端还可以交换其他数据以在公共渲染会话过程期间改变回放模式。

【技术实现步骤摘要】
【国外来华专利技术】异构网络环境中媒体渲染的同步
技术介绍
本公开涉及用于联网设备的媒体渲染应用，具体地讲，涉及用于同步媒体渲染以模拟广播传输操作的技术。现代通信网络支持大量不同类型的数据，包括视频数据的传输。在很多应用中，尤其是在单个显示设备处的观众消费视频的情况下，网络传输和视频渲染中的偏差不会不利地影响观看体验。考虑三个独立观众在三个独立位置观看公共媒体项的示例。即使在观众正在观看“实况”视频馈送的情况下，如果为观众1的视频渲染发生于为观众2渲染同一视频之前一秒钟且在为观众3渲染视频之前三秒钟，则观众的观看体验不会受到不利影响。然而，如果三个观众试图彼此一致地观看视频并且彼此通信(例如，通过音频会议)，那么此类偏差可能会影响到观看体验。例如，如果评论涉及尚未呈现给在其他位置的其他观众成员的视频，或者如果评论涉及很久以前渲染的视频而其他位置的观众成员难以记起其内容，那么一个观众成员做出的评论可能会难以理解。媒体传输协议常常需要渲染终端向媒体服务器请求将被渲染的媒体内容。可以将单个媒体项分割成多个传输单元(“区段”)，由终端逐个请求、下载和缓存以进行解码和渲染。在两个或更多终端渲染公共媒体项时，每个终端独立于其他终端做出任何请求而从媒体服务器请求区段。没有已知的技术在此类系统中充分地同步媒体渲染操作。附图说明图1是适合与本公开的各种实施方案一起使用的媒体分发系统的简化框图。图2示出了根据本公开的实施方案在终端之间同步媒体渲染的过程。图3是根据本公开的实施方案的终端300的功能框图。具体实施方式本公开的实施方案提供了用于在多个联网终端之间同步媒体渲染的技术。第一终端可以从另一终端接收通信，该通信将网络时间相关到媒体项的待在终端上渲染的第一部分。终端可以从网络时间到媒体的第一部分的相关性并从终端之间协商的回放速率来识别媒体项的待在其他网络时间渲染的其他部分。终端各自可以随着网络时间进行来渲染媒体项的适当部分。终端还可以交换其他数据以在公共渲染会话过程期间改变回放模式。图1是适合与本公开的各种实施方案一起使用的媒体分发系统100的简化框图。系统100可以包括由网络130进行的互相通信中提供的媒体源110和一个或多个客户端终端120.1-120.4(统称为120)。媒体源110可以存储可以由终端120下载并渲染的各种媒体项140。网络130表示通信结构，通过其可以从媒体源110向一个或多个终端120传输媒体项140。图1示出了根据本公开的实施方案的媒体项140的示例性部件。媒体项140可以包括清单文件142，该清单文件包含描述媒体项140的其他部件144-148的信息。表示音频/视频内容的单个媒体项140通常将包括编码视频的几个实例，其每个都表示媒体项的视觉内容但以不同数据率编码。例如，可以由5Mbps流144、2Mbps流145和500Kbps流146呈现单个媒体项140。媒体项还可以包括针对不同音轨的流147-148，不同音轨例如是英语音轨147、西班牙语音轨148和其他语言(例如，希伯来语、汉语等)音轨(未示出)。还允许包括用于其他目的的音轨，例如，用于隐藏式字幕等。这些流144-148通常被整理成单独包装的单元(称为“区段”)用于下载。清单文件142可以存储识别不同流、其属性并提供网络标识器的数据，其中可以检索针对每个音轨的区段。在操作期间，给定终端120.1可能将不会消费媒体项140可用的所有流144-148。相反，终端120.1将可能识别适于终端的渲染环境的音频和视频流(例如，流145和147)。工作于不同环境中的另一个终端120.2可以选择不同的流(例如，流144和148)进行下载和显示。不同的环境可能受到设备120.1-120.4之间的资源差异影响，例如，其相应显示器的分辨率和可用于流解码的处理资源之间的差异，并且也可能受到可以由网络130向每个终端120.1、120.2、120.3和120.4提供的带宽差异的影响。图1示出了媒体项140的简化架构。实际上，清单文件142可以由文件阵列表示，其每个文件提供关于媒体项的相应部分的信息。如图1所示，终端120被示为智能电话120.1,120.2，平板电脑120.3和显示器120.4，但本公开的原理并不限于此。本公开的实施方案可应用于个人计算机(台式计算机和膝上型计算机两者)、计算机服务器、机顶盒、媒体播放器和/或游戏平台。网络130表示在媒体源110和终端120之间传递已编码视频数据的任意数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络130可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。出于本论述的目的，除非下文作出解释，否则网络130的架构和拓扑结构对本公开的操作是无关紧要的。图2示出了根据本公开的实施方案在终端之间同步媒体渲染的过程200。图2示出了一对终端210,220、媒体源230和时钟基准240。同步渲染会话可以开始于初始化阶段250，该初始化阶段在终端210,220之间建立会话。初始化阶段250可以包括在终端210,220之间交换的第一通信流252，其中终端210,220指定要在会话期间使用的时钟基准240。作为初始化阶段250的一部分，终端之一210(指定的“基本”终端)可以向另一终端220(“辅助”终端)传输消息，识别待渲染的媒体项(消息254)，识别待在会话期间使用的回放速率(消息256)并识别对应于媒体时间的共享网络时间(消息258)。辅助终端220可以使用该媒体项标识器254来识别待同步渲染的媒体时间的网络位置。辅助终端220可以独立于基本终端210做出的任何请求从媒体源230请求媒体项。辅助终端220还可以从媒体项选择适合辅助终端220的流。终端的选择可以独立于基本终端210的选择做出。辅助终端220可以使用媒体时间和共享时间标识器(消息258)将媒体项中的点相关到网络时间。结合回放速率使用，这种相关性允许辅助终端220识别要在将来渲染媒体项的哪些元素。一旦初始化阶段250完成，终端210,220就可以进入会话的相应渲染阶段260,270。在渲染阶段260,270期间，每个终端的操作可以独立于另一个进行，但终端210,220仍然渲染同步的视频。每个终端210,220可以从媒体源下载媒体项的所选择的流(消息流262,272)。每个终端210,220可以将其渲染操作同步到时钟基准(消息流264,274)。每个终端210,220可以通过基于初始化阶段250中所识别的回放速率和相关性确定应当在每个终端(框266,276)处在当前“时间”渲染媒体项的哪个部分来在本地渲染媒体项的一部分。这些操作可以在整个视频会话期间递归地进行，直到达到预先确定的停止条件，诸如渲染会话到达媒体项的末尾或用户操作导致正常回放暂停。本公开的实施方案设想视频渲染会话可以与终端210,200之间的其他交互280并行发生。例如，终端210,220可以支持它们之间的音频或音频/视频会议，这允许每个终端处的观看者对正在渲染的媒体项作出评论。另选地，交互280可以采取其他形式，诸如即时消息会话、聊天应用、推特、社交网络馈送等。终端210,220可以支持联合文档创作应用，该应用允许每个终端处的观看者编写媒体项的备注或本文档来自技高网...

【技术保护点】
一种用于在终端之间同步媒体渲染的方法，包括，在第一终端处：响应于从同步的渲染会话的另一终端接收的通信，将网络时间相关到待渲染的媒体项的第一部分(258)，从网络位置检索所述媒体项的内容(262)，从网络时间到所述第一部分的所述相关性并从在来自其他终端的通信中接收的回放速率，识别待渲染的所述媒体项的第二部分以及将渲染所述第二部分的时间，以及在将渲染所述第二部分的所述时间渲染所述媒体项的所述第二部分(266)。

【技术特征摘要】
【国外来华专利技术】2015.09.30 US 14/871,8791.一种用于在终端之间同步媒体渲染的方法，包括，在第一终端处：响应于从同步的渲染会话的另一终端接收的通信，将网络时间相关到待渲染的媒体项的第一部分(258)，从网络位置检索所述媒体项的内容(262)，从网络时间到所述第一部分的所述相关性并从在来自其他终端的通信中接收的回放速率，识别待渲染的所述媒体项的第二部分以及将渲染所述第二部分的时间，以及在将渲染所述第二部分的所述时间渲染所述媒体项的所述第二部分(266)。2.根据权利要求1所述的方法，其中所述识别包括将所述网络时间相关到所述第一终端处的当前时间。3.根据权利要求1所述的方法，还包括从所述其他终端接收所述媒体项的识别(254)。4.根据权利要求1所述的方法，还包括与所述其他终端协商所述网络时间源的识别。5.根据权利要求1所述的方法，包括在所述当前时间在整个所述渲染会话进展时，重复所述识别和渲染，直到出现停止条件。6.根据权利要求5所述的方法，其中在渲染达到所述媒体项的结尾时出现所述停止条件。7.根据权利要求5所述的方法，其中所述停止条件是用于识别另选的渲染模式的新通信。8.根据权利要求7所述的方法，其中所述另选的渲染模式是暂停操作，所述方法之后包括在所述媒体项的在所述新通信中识别的位置处暂停渲染。9.根据权利要求7所述的方法，其中所述另选的渲染模式为扫描操作，所述方法之后包括以在所述新通信中识别的另选的回放速率，在所述媒体项中由所述新通信识别的位置处开始，渲染所述媒体项。10.根据权利要求7所述的方法，其中所述另选的渲染模式为查找操作，所述方法之后包括，在所述渲染达到所述媒体项中在所述新通信中识别的第一位置时，在所述媒体项中的第二位置处开始，使用所述网络时间和所述媒体项之间的新相关性，渲染所述媒体项。11.根据权利要求7所述的方法，其中所述第一终端向所述其他终端传输所述新通信。12.根据权利要求7所述的方法，其中所述第一终端从所述其他终端接收所述新通信。13.一种用于在终端之间同步媒体渲染的方法，包括，在第一终端处：向用于初始化同步渲染会话的另一终端传输通信，所述通信包含将网络时间相关到待渲染的媒体项的第一部分的指示符和回放速率(258)，从网络位置检索所述媒体项的内容(262)，从网络时间到所述第一部分的所述相关性和所述回放速率，识别待渲染的所述媒体项的第二部分以及将渲染所述第二部分的时间，以及在将渲染所述第二部分的所述时间渲染所述媒体项的所述第二部分(266)。14.根据权利要求13所述的方法，其中所述识别包括将所述网络时间相关到所述第一终端处的当前时间。15.根据权利要求13所述的方法，还包括从其他终端接收所述媒体项的识别。16.根据权利要求13所述的方法，还包括与所述其他终端协商所述网络时间源的识别。17.根据权利要求13所述的方法，还包括在所述当前时间在整个所述渲染会话进展时，重复所述识别...

【专利技术属性】
技术研发人员：D·L·彼德曼，S·E·C·戈尔德瑞，李振蘅，R·N·潘特斯，M·Z·维莎拉姆，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国,US