用于多媒体应用的比特流随机访问与同步的方法及装置制造方法及图纸

本发明专利技术公开了一种用于切换表示的方法和设备。在服务器侧，将与开放式图像组中的前导图像相关的前导图像信息发信在媒体展现描述中。每个前导图像以输出顺序对应于位于段中的随机访问图像之前的一个图像，且该图像的编码基于随机访问图像。在客户端侧，接收原始表示和目标表示，并自所接收的媒体展现描述确定用于目标表示的前导图像信息。呈现已切换呈现，其中在流访问点处通过从原始表示中的图像切换呈现到目标表示中的图像，给出一个从原始表示切换到目标表示的呈现，该访问点对应于根据前导图像信息为确定的目标表示的一个段中的随机访问图像。

Method and device for random access and synchronization of bitstreams for multimedia applications

The invention discloses a method and device for switching representations. On the server side, the leading image information related to the leading image in the open image group is sent to the media presentation description. Each leading image corresponds to an image before the randomly accessed image in the output sequence, and the encoding of the image is based on random access to the image. On the client side, the original representation and target representation are received, and the leading image information for target representation is determined from the received media presentation description. Presents a switched presentation, where an image from the image switch from the original representation to the target representation is presented at a stream access point, and a presentation from the original representation to the target representation is given, which corresponds to a random access image in a segment represented by a target based on the preamble image information.

【技术实现步骤摘要】
【国外来华专利技术】用于多媒体应用的比特流随机访问与同步的方法及装置优先权声明本申请要求在2015年08月07日提出申请号为62/202,588的美国临时专利申请、在2015年08月14日提出申请号为62/205,153的美国临时专利申请以及2016年05月13日提出申请号为62/335,871的美国临时专利申请的优先权。上述美国临时专利申请整体以引用方式并入本文中。
本专利技术涉及互联网上的媒体流(mediastreaming)。具体地，本专利技术涉及一种使用开放式图像组(GroupofPictures，GOP)结构渲染包含多个段的两个流之间的无缝切换的方法及设备。
技术介绍
超文本传输协议(HyperTextTransferProtocol，HTTP)为一标准集，其允许万维网(WorldWideWeb)的用户交换网页(webpage)上找到的信息。目前已经解决了互联网访问的标准。来自于各开发者的浏览器均支持HTTP作为通信协议，以将客户端连接到互联网上的Web服务器。通过HTTP，用户与服务器之间的连接可以被建立，使得超文本标记语言(HyperTextMarkupLanguage，HTML)页面可以被发送至用户的浏览器。这个协议也可以用于从服务器下载文件到浏览器或者使用HTTP的任何其他请求应用。近年来，互联网上的视频流已成为一个重要应用。目前，视频流有助于互联网流量最大化。各种多媒体流协议已被广泛地使用，且这些协议中的一些基于HTTP。HTTP上的动态适应流(DynamicAdaptiveStreamingoverHTTP，DASH)，也称为MPEG-DASH，是一种适应比特率流技术，其使得基于传统的HTTPWeb服务器在互联网上进行媒体内容传输。在DASH标准中，媒体流切换(即表示切换(Representationswitching))和搜索被支持。基本上，DASH客户端需要访问特定切换时间或者搜索位置处的表示中的流访问点(StreamAccessPoint，SAP)。表示(Representation)对应于以传输格式且与描述性元数据相关的一个或多个媒体流的集合和封装。这些操作的条件可以涉及属性设置，例如@segmentAlignment,@startWithSAP,@mediaStreamStructureId等。通常，如2014年05月的ISO/IEC23009-1,“DynamicadaptivestreamingoverHTTP(DASH)–Part1:Mediapresentationdescriptionandsegmentformats”中所述，这些操作依赖于具有第1类型、第2类型或者第3类型的流访问点。现在的流服务通常使用第1类型或者第2类型的流访问点(即封闭式图像组结构)并期待试用第3类型的流访问点(即,开放式图像组结构)，以用于平衡服务与带宽效率。DASH核心实验-流访问点-独立段发信(SAP-IndependentSegmentSignaling，SISSI)，如m36597所报告的(T.Stockhammer,ISO/IECJTC1/SC29/WG11,“CE-SISSIReport”,m36597,Warsaw,Poland,June2015)，考虑了使大部分特性描述(profile)能有所松动，其中每个段从第1类型或者第2类型的流访问点开始。除了发信之外，核心实验中的基本且基础特征之一是有效且准确地支持表示之间的切换。在m36167(M.M.Hannuksela,ISO/IECJTC1/SC29/WG11,“CE-SISSI:SupplementalpropertydescriptorforseamlessswitchingwithopenGOPs”,m36167,Warsaw,Poland,June2015)中，提出了一种基于附加属性描述符(SupplementalPropertyDescriptor)以用于使用开放式图像组的无缝切换的方法。如DASH中所公开，描述符元素被以相同的方式构造，以包括提供URI来识别方案的@schemeIdUri属性，以及可选属性@value和可选属性@id。元素的语义特定于所使用的方案。识别方案的统一资源标识符(UniformResourceIdentifier，URI)可以是统一资源名称(UniformResourceNames，URN)或者统一资源定位符(UniformResourceLocator，URL)。对于元素SupplementalProperty，媒体呈现授权者表示，这个描述符包含了附加信息，其可以由DASH客户端使用以用于优化处理。对于具有开放式图像组的表示中的媒体段/电影片段，一些访问单元可能需要使用来自于之前媒体段/电影片段的参考信息，其可以在切换发生时不可用。另外，如果特定切换跨过具有不同空间分辨率的表示，则参考图像的重新采样被推荐，以提高随机访问点的前导图像(leadingpicture)的图像质量。这样的重新采样处理支持被留给应用或者相应解码处理来决策。对于基于自适应图像组结构(例如，不同图像组结构或者不同图像组尺寸)的媒体段，其通常提高编码效率，但是切换变得复杂，甚至不可能。前导图像被定义成在输出顺序中位于相关的帧内随机访问点(IntraRandomAccessPoint，IRAP)图像之前的图像。每个图像组中的帧内图像为帧内随机访问点图像。前导图像基于帧内随机访问点图像而被编码。此外，对于开放式图像组，前导图像也可以基于之前图像而被编码。在DASH中，@startWithSAP为自适应集(AdaptationSet)、表示(Representation)、子表示(Sub-Representation)中的通用属性之一，其指定了相关表示中的每个媒体段从流访问点开始，其不大于在存在且大于1的情况中的属性值。如DASH中所指定，自适应集对应于一个或几个媒体内容分量的可互换编码版本集。SAP表示流访问点，其对应于表示中所选择的位置以仅适用包含在表示数据中的信息来开始回放媒体流。回放将使用表示中从所选择的位置开始的信息，若存在的话，其可以包括位于初始化若存在的初始化段中的数据之前的信息。根据可扩展标记语言(EXtensibleMarkupLanguage，XML)约定，属性由小写首字母识别，并且前面是‘@’符号。这个约定在本专利技术中被使用。在DASH中，在切换表示中，@segmentAligment,@sub-segmentAlignment和@startWithSAP被联合使用。DAHS-部分1和3GP-DASH中的DASH说明的附录A.6中提供这些属性的使用示例。在DASH中，@mediaStreamStructureId是表示中的属性之一，其表示媒体流结构的标识符值的列表。根据DASH说明中的属性的描述，如@mediaStreamStructureId的描述中所指定，共享相同的媒体流结构标识符具有有关于流访问点的特定指示。这个属性用于提供比特流结构标识符值列表，其用于不同流之间的切换的目的。用这个比特流结构标识符值列表，两个比特流是否具有相同比特流结构可以被确定。比特流切换可以发生在某个随机访问点(RandomAc本文档来自技高网...

【技术保护点】
一种媒体通信的方法，其特征在于，用于服务器和客户端设备，该方法包括：将视频比特流分割成多个段，其中每个段属于包括开放式图像组类型的段类型组，其中用0个或者多个前导图像，具有该开放式图像组类型的每个段中的多个图像被编码，并且其中每个前导图像以输出顺序对应于位于该段的随机访问图像之前的一个图像，且该图像的编码基于该段的该随机访问图像和先前段中可能的一个其他图像；以及将前导图像信息发信在表示、自适应集、媒体展现描述或者包括有关于视频流内容的信息的相似描述文件中，其中该前导图像信息与具有该开放式图像组类型的每个段中的该0个或者多个前导图像的数量相关。

【技术特征摘要】
【国外来华专利技术】2015.08.07 US 62/202,588;2015.08.14 US 62/205,153;1.一种媒体通信的方法，其特征在于，用于服务器和客户端设备，该方法包括：将视频比特流分割成多个段，其中每个段属于包括开放式图像组类型的段类型组，其中用0个或者多个前导图像，具有该开放式图像组类型的每个段中的多个图像被编码，并且其中每个前导图像以输出顺序对应于位于该段的随机访问图像之前的一个图像，且该图像的编码基于该段的该随机访问图像和先前段中可能的一个其他图像；以及将前导图像信息发信在表示、自适应集、媒体展现描述或者包括有关于视频流内容的信息的相似描述文件中，其中该前导图像信息与具有该开放式图像组类型的每个段中的该0个或者多个前导图像的数量相关。2.如权利要求1中所述的媒体通信的方法，其特征在于，该随机访问图像对应于帧内图像。3.如权利要求1中所述的媒体通信的方法，其特征在于，该随机访问图像对应于依存随机访问图像，其中每个依存随机访问图像对应于P图像或者B图像。4.如权利要求1中所述的媒体通信的方法，其特征在于，使用该表示或者该自适应集中的属性，该前导图像信息被发信。5.如权利要求4中所述的媒体通信的方法，其特征在于，使用该表示或者该自适应集中的附加属性描述符，该前导图像信息被发信。6.如权利要求5中所述的媒体通信的方法，其特征在于，该附加属性描述符还包括第一指示和第二指示，并且其中该第一指示向解码器指示是否继续解码并呈现原始表示中的该0个或多个前导图像，该第二指示向该解码器指示是否一直呈现来自于位于流访问点处待切换的两个流的两个图像中质量排名或者分辨率更高的图像。7.一种服务器设备，其特征在于，用于到客户端的媒体流，该服务器设备包括：接口，用于建立与该客户端的通信连接；以及一个或多个电子电路或处理器，被配置为：将视频比特流分割成多个段，其中每个段属于包括开放式图像组类型的段类型组，其中用0个或者多个前导图像，具有该开放式图像组类型的每个段中的多个图像被编码，并且其中每个前导图像以输出顺序对应于位于该段的帧内图像之前的一个图像，且该图像的编码基于该段的该帧内图像和先前段中可能的一个其他图像；以及将前导图像信息发信在表示、自适应集、媒体展现描述或者包括有关于视频流内容的信息的相似描述文件中，其中该前导图像信息与具有该开放式图像组类型的每个段中的该0个或者多个前导图像的数量相关。8.一种切换表示的方法，其特征在于，用于客户端设备，该方法包括：接收视频流内容的媒体展现描述，其中该媒体展现描述对应于包括原始表示和目标表示的多个自适应集和多个表示；接收该原始表示，其中该原始表示包括具有第一图像组结构的多个第一段；接收该目标表示，其中该目标表示包括具有第二图像组结构的多个第二段；自该媒体展现描述确定前导图像信息，其中该前导图像信息与每个第二段中的0个或多个前导图像相关，并且每个前导图像以输出顺序对应于位于每个第二段的随机访问点图像之前的一个图像，且该图像的编码基于每个第二段的该随机访问点图像和先前第二段中可能的一个其他图像；以及在流访问点处通过从该原始表示中图像到该目标表示中图像的切换呈现，给出一个从该原始表示切换到该目标表示的呈现，该流访问点对应于根据该前导图像信息为确定的每一个第二段的该随机访问点图像。9.如权利要求8中所述的切换表示的方法，其特...

【专利技术属性】
技术研发人员：陈鲁林，刘杉，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71