用于在特技播放回放期间提供音频内容的系统和方法技术方案

公开了根据本发明专利技术的实施例的用于在特技播放模式期间提供音频内容的回放的系统和方法。媒体内容可以包括音频内容和视频内容。音频内容被分成片段，并且视频内容包括帧。同步信息将音频内容的每个片段的呈现时间与与视频内容的图像相关联的一个或多个帧的呈现时间相关联。当请求特技播放模式时，确定来自被呈现的视频内容的下一帧。同步信息用于确定与下一帧相关联的音频内容的片段。当以特技播放模式显示帧时，呈现所确定的片段音频内容。

【技术实现步骤摘要】
【国外来华专利技术】用于在特技播放回放期间提供音频内容的系统和方法
本专利技术一般涉及自适应流传输，更具体地说，涉及可在回放的特技播放模式期间提供音频内容的流传输系统。
技术介绍
术语流传输媒体描述了在回放设备上的媒体回放，其中媒体存储在服务器上并且在回放期间通过网络连续地发送到回放设备。通常，回放设备在回放期间的任何给定时间将足够数量的媒体存储在缓冲器中，以防止由于回放设备在接收到下一部分媒体之前完成所有缓冲媒体的回放而导致的回放中断。自适应比特率流传输或自适应流传输涉及实时检测当前流传输条件(例如，用户的网络带宽和CPU容量)并相应地调整流传输的媒体的质量。通常，源媒体被以多个比特率编码，并且回放设备或客户端根据可用资源在流传输不同的编码之间切换。自适应流传输解决方案通常使用由因特网工程任务组和万维网联盟作为RFC2616发布的超文本传输协议(HTTP)，或由因特网工程任务组作为RFC2326发布的实时流协议(RTSP)，以在服务器和回放设备之间流传输媒体。HTTP是一种无状态协议，它使回放设备能够请求文件中的字节范围。HTTP被描述为无状态的，因为服务器不需要记录关于回放设备请求信息的状态或回放设备请求的字节范围的信息，以便响应从回放设备接收的请求。RTSP是用于控制流传输媒体服务器的网络控制协议。回放设备将控制命令(例如“播放”和“暂停”)发送到流传输媒体的服务器来控制媒体文件的回放。当使用RTSP时，媒体服务器记录每个客户端设备的状态，并基于从客户端设备接收的指令和客户端的状态确定要流传输的媒体。在自适应流传输系统中，源媒体通常作为顶级索引文件存储在媒体服务器上，该顶级索引文件指向包含实际视频和音频数据的多个备用流。每个流通常被存储在一个或多个容器文件中。不同的自适应流传输解决方案通常使用不同的索引和媒体容器。由万维网联盟开发的同步多媒体集成语言(SMIL)用于在若干自适应流传输解决方案中创建索引，该自适应流传输解决方案包括由华盛顿州雷蒙德市的微软公司开发的IIS平滑流传输和由加州圣何塞的奥多比系统公司开发的Flash动态流传输。由加州库比蒂诺的苹果计算机公司开发的HTTP自适应比特率流传输使用扩展的M3U播放列表文件(.M3U8)实现索引文件，该文件是包含通常标识媒体容器文件的URI列表的文本文件。最常用的媒体容器格式是在MPEG-4的第14部分(即，ISO/IEC14496-14)中规定的MP4容器格式和在MPEG-2的第1部分(即，ISO/IEC标准13818-1)中规定的MPEG传输流(TS)容器。在IIS平滑流传输和Flash动态流传输中使用MP4容器格式。TS容器用于HTTP自适应比特率流。Matroska容器是由法国Aussonne的Matroska非营利组织作为开放标准项目开发的媒体容器。Matroska容器基于可扩展二进制元语言(EBML)，其为可扩展标记语言(XML)的二进制衍生物。由许多消费电子(CE)设备支持Matroska容器的解码。由加州圣地亚哥的DivX，LLC开发的DivXPlus文件格式使用Matroska容器格式的扩展(即，基于Matroska容器格式，但包括未在Matroska格式中指定的元素)。为了提供通过因特网传送媒体内容的一致方法，国际标准化组织(ISO)和国际电工委员会(IEC)提出了基于HTTP的动态自适应流传输(DASH)标准。DASH标准规定了媒体内容的格式和使用HTTP传送MPEG内容的内容的描述。根据DASH，用于呈现媒体内容的每个分量存储在一个或多个流中。每个流被分成多个片段。媒体呈现描述(MPD)是一种数据结构，其包括关于每个流中的片段的信息以及在回放期间呈现媒体内容所需的其他信息。回放设备使用MPD来使用自适应比特率流传输来获得媒体内容的分量以进行回放。由于内容可以自适应地流传输的延迟得到改善，诸如体育赛事和音乐会之类的直播事件的流传输已经变得流行。在这种类型的内容中，内容的音频部分可以给出用户可能感兴趣的呈现部分的指示。这样，用户可能想要在搜索媒体内容时使用音频提示来查找感兴趣的内容的部分。然而，大多数传统的回放系统在使用诸如倒带、快进和寻找感兴趣内容的特技播放特征期间不提供音频内容的回放。根据本专利技术的一些实施例的用于在特技播放模式中的回放期间提供音频内容的回放的系统和方法被公开了。
技术实现思路
根据本专利技术的一些实施例，回放设备被配置为以下列方式执行用于提供具有音频内容的特技播放回放的处理，回放设备在回放设备中的缓冲区中存储媒体内容的音频内容部分的片段和视频内容部分的帧。同步信息存储在回放设备的存储器中。同步信息将音频内容部分的一个或多个片段中的每个片段的呈现时间与视频内容的一个或多个帧的呈现时间相关联。回放设备以特技播放模式接收用于回放媒体内容的命令。呈现的下一帧由回放设备基于特技播放模式确定。根据存储在存储器中的同步信息确定与下一帧相关联的每个音频内容的片段。回放设备在特技播放模式的回放期间呈现与下一帧相关联的音频内容的每个片段。根据一些实施例，所确定的下一帧被呈现在回放设备的显示器上。根据这些实施例中的一些实施例，与下一帧相关联的音频内容的每个片段与下一帧的呈现同时呈现。根据这些实施例中的一些其他，回放设备响应于确定音频内容的相关片段将与下一帧相关联的音频内容的每个片段添加到队列，并且与下一个帧相关联的音频内容的每个片段被基于队列呈现的并且与回放设备的显示器上的视频内容的下一帧的呈现无关。根据一些实施例，回放设备生成用于视频内容的搓擦条的显示，其指示来自视频内容的下一帧的呈现时间，并且在显示器上的图像的呈现上覆盖用于视频内容的搓擦条。根据许多实施例，回放设备生成用于音频内容的搓擦条的显示，其指示与下一帧相关联的音频内容的每个片段的呈现时间并且在显示器上的图像的呈现上覆盖用于音频内容的搓擦条的显示。根据多个实施例，用于音频内容的搓擦条与用于显示器中的视频内容的搓擦条分离。根据许多实施例，使用自适应比特率流传输在网络上从内容提供商系统在回放设备中接收音频内容部分的片段、视频内容的多个帧的数据和同步信息的数据。根据多个这些实施例，以下面的方式执行数据的接收。回放设备通过网络从内容提供商系统接收顶级索引文件。顶级索引文件识别视频内容的备选流，其中多个备选流的至少一部分以不同的最大比特率和至少一个音频内容的流编码。回放设备基于回放设备和内容提供商系统之间的网络带宽，使用备选流从内容提供商请求视频内容的部分，并且响应于请求在回放设备中接收视频内容的所请求部分。回放设备从接收的视频内容的部分生成视频内容的帧，将多个帧存储在缓冲器中。回放设备还从来自内容提供商系统的至少一个音频内容的流请求音频内容的部分，接收所请求的音频内容的部分，从接收的音频内容的部分生成音频内容的片段并将音频内容的片段存储在缓冲区中。回放设备基于顶级索引文件中的信息从内容提供商系统获得同步信息，并将同步信息存储在回放设备的存储器中。根据这些实施例中的一些实施例，通过从顶级索引文件读取指向包括同步信息的文件的指针，使用该回放设备从内容提供者系统请求该文件并且在回放设备中接收所请求的文件来获得同步信息。附图说明图1示出了根据本专利技术的实施例的自适应比特率流传输系统的网络图。图2示出了诸本文档来自技高网...

【技术保护点】
1.一种用于在媒体内容的回放期间以特技播放模式提供音频内容的回放的方法，该方法包括：将媒体内容的音频内容部分的多个片段存储在回放设备中的缓冲器中；将媒体内容的视频内容部分的多个帧存储在回放设备中的缓冲器中；将同步信息存储在回放设备的存储器中，其中同步信息将音频内容部分的所述多个片段中的一个或多个片段中的每个片段的呈现时间与视频内容的所述多个帧中的一个或多个帧的呈现时间相关联；在回放设备中接收以特技播放模式回放媒体内容的命令；使用回放设备基于特技播放模式从所述多个帧确定待呈现的下一帧；根据存储在存储器中的同步信息，从音频内容的所述多个片段中确定与下一帧相关联的每个片段；和使用回放设备在回放期间以特技播放模式呈现音频内容的所述多个片段中的与下一帧相关联的每个片段。

【技术特征摘要】
【国外来华专利技术】2016.05.24 US 15/163,3701.一种用于在媒体内容的回放期间以特技播放模式提供音频内容的回放的方法，该方法包括：将媒体内容的音频内容部分的多个片段存储在回放设备中的缓冲器中；将媒体内容的视频内容部分的多个帧存储在回放设备中的缓冲器中；将同步信息存储在回放设备的存储器中，其中同步信息将音频内容部分的所述多个片段中的一个或多个片段中的每个片段的呈现时间与视频内容的所述多个帧中的一个或多个帧的呈现时间相关联；在回放设备中接收以特技播放模式回放媒体内容的命令；使用回放设备基于特技播放模式从所述多个帧确定待呈现的下一帧；根据存储在存储器中的同步信息，从音频内容的所述多个片段中确定与下一帧相关联的每个片段；和使用回放设备在回放期间以特技播放模式呈现音频内容的所述多个片段中的与下一帧相关联的每个片段。2.如权利要求1所述的方法，还包括：在回放设备的显示器上呈现下一帧。3.如权利要求2所述的方法，其中，音频内容的所述多个片段中的与下一帧相关联的每个片段的呈现与下一帧的呈现同时执行。4.如权利要求2所述的方法，还包括：响应于确定音频内容的所述多个片段中的与下一帧相关联的每个片段，使用回放设备将音频内容的所述多个片段中的与该帧相关联的每个片段添加到队列；和其中，所述多个片段中的与下一帧相关联的每个片段是被基于队列呈现的，并且独立于在回放设备的显示器上的来自视频内容的下一帧的呈现。5.如权利要求2所述的方法，还包括：使用回放设备生成用于视频内容的搓擦条的显示，指示来自视频内容的下一帧的呈现时间；和在显示器上将用于视频内容的搓擦条的显示覆盖在图像的呈现上。6.如权利要求2所述的方法，还包括：使用回放设备生成用于音频内容的搓擦条的显示，指示音频内容的与下一帧相关联的每个片段的呈现时间；和在显示器上将用于音频内容的搓擦条的显示覆盖在图像的呈现上。7.如权利要求6所述的方法，其中，用于音频内容的搓擦条与用于视频内容的搓擦条在显示器中分开。8.如权利要求1所述的方法，还包括：在回放设备中使用自适应比特率流传输在网络上从内容提供商系统接收音频内容部分的所述多个片段的数据、视频内容的所述多个帧的数据以及同步信息。9.如权利要求8所述的方法，其中，在回放设备中使用自适应比特率流传输在网络上从内容提供商系统接收音频内容部分的所述多个片段的数据、视频内容的所述多个帧的数据以及同步信息包括：在回放设备中通过网络从内容提供商系统接收顶级索引文件，其中顶级索引文件识别视频内容的多个备选流以及至少一个音频内容流，其中所述多个备选流的至少一部分被以不同的最大比特率编码；和基于回放设备和内容提供商系统之间的网络带宽，使用回放设备从内容提供商系统请求来自所述多个备选流的视频内容的部分；在回放设备中响应于请求接收所请求的视频内容的部分；在回放设备中从由回放设备接收的视频内容的部分生成视频内容的所述多个帧；将所述多个帧存储在回放设备的缓冲器中；使用回放设备从内容提供商系统请求来自所述至少一个音频内容流的音频内容的部分；在回放设备中接收所请求的音频内容的部分；使用回放设备从所接收的音频内容的部分生成音频内容的所述多个片段；将音频内容的所述多个片段存储在回放设备的缓冲器中；基于顶级索引文件中的信息，使用回放设备从内容提供商系统获取同步信息；和将同步信息存储在回放设备中的存储器中。10.如权利要求9所述的方法，其中，获得同步信息包括：使用回放设备从顶级索引文件中读取指向包括同步信息的文件的指针；使用回放设备从内容提供商系统请求该文件；和在回放设备中接收所请求的文件。11.一种回放设备，包括：存储器；网络接口；和处理器，读取存储在存储器中的指令，所述指令指示处理器：将媒体内容的音频内容部分的多个片段存储在回放设备中的...

【专利技术属性】
技术研发人员：W·弗朗茨，E·W·格拉布，
申请(专利权)人：帝威视有限公司，
类型：发明
国别省市：美国,US