自适应视频流的技术制造技术

在视频编码系统(200)中，多次编码公共视频序列以产生编码视频数据的相应实例。可根据从相应服务层的目标比特率导出的一组编码参数对每个实例进行编码。可根据将最大层编码率限制到小于另一预先确定的服务层的目标比特率的约束条件对每个层进行编码。根据约束条件进行编码有助于通过请求客户端设备处理资源在层间动态切换或者通信带宽变化。在不同编码流之间切换的改进编码系统可提高流式传输的视频质量同时减小此类内容的传输和存储大小。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求于2015年5月4日提交的美国专利申请14/703,366以及2014年9月8日提交的美国临时申请62/047,415的优先权，其内容全文并入本文。
技术介绍
在自适应流式传输的场景中，公共视频序列通常被编码成不同比特率的多个流。每个流通常被分割成传输单元序列(称为“块”)用于递送。通常创建标识用于视频序列的比特率的清单文件。例如，在流式传输服务中，视频流和伴随的播放列表文件托管在服务器中。客户端设备中的播放器通过访问播放列表文件获得流信息，允许播放器根据对可用带宽的估计在不同流之间切换。然而，当前编码系统不能足以适应在代表公共视频内容项的不同编码流之间的切换。专利技术人察觉到在编码视频序列的瞬时数据率超过编码视频序列被编码的目标比特率的时刻切换问题有可能变得常见。例如，考虑针对目标比特率为1Mbps编码的视频序列。视频编码器将导出一组用于编码的编码参数，基于对视频序列的复杂度和内容的估计，所述编码参数预计产生目标比特率例如0.9Mbps或附近的编码视频数据。然而，视频序列的内容，大概在短期情况下可能与视频编码器的估计存在偏差，将导致编码数据率明显超过目标比特率。例如，如果编码数据率可以跳到1.5Mbps，则会超过客户端设备的会话的资源限制。客户端设备可能将尝试切换到针对较低目标比特率开发的编码视频数据的另一副本，但其他副本也可能超过客户端设备的资源限制，至少针对在引起瞬时数据率增大的短期事件。客户端设备可能必须迭代地识别和请求编码视频的不同副本，直到定在数据率满足其资源限制的副本上为止。在客户端设备如此操作时，其可能经历呈现的视频的中断，会减小感知到的解码会话的质量。因此，本专利技术人认识到对用于提供公共视频序列的不同编码流之间有效切换的视频流式传输
中的需要。附图说明图1为适合与本公开一起使用的视频分发系统的简化框图。图2是根据本公开的实施方案的具有集成编码服务器和分发服务器的系统的简化框图。图3示出了根据本公开的实施方案的方法300。图4示出根据本公开的实施方案的层编码的比特率曲线图。图5示出了根据本公开的另一实施方案的编码方法。图6示出了根据本公开的实施方案的示例性编码视频流。图7示出了根据本公开的实施方案的层在编码视频流中的应用。具体实施方式本公开的实施方案提供用于编码视频数据的技术，其中对公共视频序列进行多次编码以产生编码视频数据的相应实例。可根据从相应服务层的目标比特率导出的一组编码参数对每个实例进行编码。可根据将最大层编码率限制到小于另一预先确定的服务层的目标比特率的约束条件对每个层进行编码。根据约束条件进行编码有助于通过请求客户端设备处理资源在层间动态切换或者通信带宽变化。在不同编码流之间切换的改进编码系统可提高流式传输的视频质量同时减小此类内容的传输和存储大小。图1为适合与本公开一起使用的视频分发系统100的简化框图。系统100可包括经由通信网络130连接的分发服务器系统110和客户端设备120。分发系统100可响应于客户请求向客户端120提供编码视频数据。客户端120可解码编码的视频数据并且将其呈现在显示器上。分发服务器110可包括存储系统140，多个视频内容项150(例如，电影、电视节目和其他运动画面内容)存储在存储系统140上用于由客户端设备120下载。在图1的实施例中示出了单个视频内容项150。分发服务器110可存储视频内容项150的若干编码表示152-156，示为“层”，该编码表示已由不同编码参数编码。层152-156可根据平均比特率变化，可由编码中的差异导出，例如，编码复杂度、帧速率、帧大小等。每个视频流层152,154,156可被解析成的多个“块”CH1.1-CH1.N、CH2.1-CH2.N和CH3.1-CH3.N，代表不同时间的视频内容的视频内容项150的编码区段。不同块可从存储装置获得并且通过在网络130中定义的信道输送到客户端120。传输块的聚合表示图1中的信道流160。图1的实施例示出三个编码视频层，第一层、第二层和第三层，每个都以不同平均比特率编码成N个块(1到N)。在图1的实施例中，层152,154，156分别以4Mb/s、2Mb/s和500Kb/s编码。在该实施例中，每个层的块在时间上对准从而块边界定义视频内容的对应持续时间(t1,t2,t3,…,tN)。然而，其他实施方案可能未在时间上对准块边界，并且可提供比图1所示更多或更少的层数。分发服务器110还可存储索引文件158，在本文中称为“清单文件”，描述可用于每个层的视频内容项150和不同层152-156。清单文件158可将编码视频流与视频内容项150相关联并且将每个编码视频流的块与其他视频流的对应块相关联。例如，清单文件158可提供描述每个服务层的元数据，客户端120可参考该清单文件确定请求哪个服务层。清单文件158还可标识每个块在存储系统140中的存储位置用于由客户端设备120获取。当分发服务器110接收对视频内容项150的请求时，服务器110可将来自清单文件158的数据提供给客户端设备120。装备有表示编码视频流的不同数据率的信息，客户端设备120可标识视频流中的一个(例如，层152)或者用于递送视频的平均比特率中的一个。递送带宽的设备标识可基于对网络130中可用的带宽的估计和/或客户端设备120处解码接收数据的可用的处理资源的估计。作为应答，分发服务器110可从存储装置140以指定数据率获得数据块，可从获得的块构建信道流160并且可将信道流160传输到客户端设备120。在分发服务器110随时间将其块递送到客户端设备120时，客户端设备120可请求以不同数据率递送视频内容项150。例如，客户端设备120可修改其对网络带宽和/或本地处理资源的估计。作为应答，分发服务器110可获得对应于不同数据率(例如，层154)的块并且将其构建成信道流160。客户端设备120可在递送会话期间重复地请求不同数据率，并且因此，递送到客户端设备120的信道流160可包括从多个视频编码流得到的块。对于实况流式传输情况，客户端设备120可从分发服务器110请求“实况内容”，例如，作为源产生并且尽可能快编码和分发的内容。在此情况下，编码器可在实况流式传输会话期间改变视频流设置，并且清单文件158中的初始信息可在实况流式传输期间由分发服务器110更新。清单文件158可包括代表客户端120可在解码会话期间参考的编码媒体项的各种参数的句法元素。例如，它可针对每个层包括其是否包含具有不同分辨率的块的指示。客户端设备120可决定它是否将在块开始时更新视频分辨率信息。在另一实施方案中，清单文件158可针对每个层包括所有块的第一帧是否为同步帧的指示。客户端设备120可决定在层之间切换时将切换到哪个帧或块。在另一实施方案中，清单文件158可针对每个层包括其视觉质量的指示。客户端设备可在层之间切换来实现最佳视觉体验，例如，最大化平均视觉质量和/或最小化视觉质量跳跃。在另一实施方案中，清单文件158可针对每个块包括其平均比特率的指示。客户端设备可根据块平均比特率确定其缓冲和切换行为。在另一实施方案中，清单文件158可针对每个块包括其分辨率的指示。客户端设备可决定它是否将更新视频分辨率。在另一本文档来自技高网...

【技术保护点】
一种方法，包括：多次编码公共视频序列以产生编码视频数据的相应实例，每个实例具有根据从相应服务层的目标比特率导出的一组编码参数被编码的视频数据，其中对于给定层，编码被约束为将该层的最大编码率限制为小于另一预先确定的服务层的目标比特率。

【技术特征摘要】
【国外来华专利技术】2014.09.08 US 62/047,415;2015.05.04 US 14/703,3661.一种方法，包括：多次编码公共视频序列以产生编码视频数据的相应实例，每个实例具有根据从相应服务层的目标比特率导出的一组编码参数被编码的视频数据，其中对于给定层，编码被约束为将该层的最大编码率限制为小于另一预先确定的服务层的目标比特率。2.根据权利要求1所述的方法，其中编码视频的实例各自包括多个块的编码视频数据。3.根据权利要求1所述的方法，其中编码视频的实例各自包括多个块的编码视频数据，所述多个块的编码视频数据具有与来自其他实例的块的边界在时间上对准的块边界。4.根据权利要求3所述的方法，其中至少一个块的第一帧为无需参考编码次序中任何先前帧而可解码的帧，并且在编码次序中所述第一帧之后的相应块的所有其他编码帧具有不早于所述第一帧的预测参考。5.根据权利要求1所述的方法，还包括将编码视频的实例与包含描述层的数据的清单文件相关联地存储在分发服务器处。6.根据权利要求1所述的方法，还包括：针对至少一个编码实例，标识相应实例的编码率超过该实例的目标比特率的部分，将视频序列的对应于所标识部分的部分编码为多个子层，每个子层具有针对所标识部分得出相应编码率的编码参数，以及将所编码实例和所编码子层存储在分发服务器处的存储装置中。7.根据权利要求1所述的方法，其中每个编码的层具有不同分辨率但具有彼此大致相似的纵横比。8.根据权利要求1所述的方法，其中至少一个编码的层具有从显示纵横比和存储纵横比导出的像素纵横比。9.根据权利要求1所述的方法，其中所述编码包括：针对第一层，估计视频序列的特征，基于所估计的特征和所述第一层的目标比特率来选择编码参数以及根据所选择的第一层的编码参数来编码视频序列，以及针对至少一个其他层，基于所估计的特征以及所述其他层的目标比特率来选择编码参数，以及根据所选择的所述其他层的编码参数来编码视频序列。10.根据权利要求1所述的方法，其中所述编码包括：针对至少一层估计视频序列的特征，基于所估计的特征和相应层的目标比特率来选择编码参数，根据所选择的编码参数来编码视频序列，估计从所述编码获得的编码质量，以及以及如果所估计的编码质量低于预先确定的阈值，则修改所述编码参数，以及使用所修改的编码参数重复所述编码。11.一种分发服务器，包括：计算机可读存储设备，所述计算机可读存储设备在其上存储有表示媒体项的文件，所述文件包括：所述媒体项的多个编码实例，每个实例具有编码视频数据，所述编码视频数据表示根据从相应服务层的目标比特率导出的一组编码参数已被编码的媒体项，其中对于给定层，编码被约束为将该层的最大编码率限制为小于另一预先确定的服务层的目标比特率，以及，包含描述该层的数据的清单文件。12.根据权利要求11所述的服务器，还包括用于在请求时提供相应层的数据的通信系统。13.根据权利要求11所述的服务器，其中每一编码实例包括多个块的编码视频数据。14.根据权利要求11所述的服务器，其中每一编码实例包括多个块的编码视频数据，所述多个块的编码视频数据具有与来自其他实例的块的边界在时间上对准的块边界。15.根据权利要求11所述的服务器，其中至少一个块的第...

【专利技术属性】
技术研发人员：苏野平，吴锡荣，张珂，郑裕仓，周小松，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US