使用播放统计信息对多表示编码的比特率优化制造技术

各实施方式公开了使用播放统计信息对多表示编码的比特率优化。一种方法包括生成源视频的片段的多个版本，所述版本包括针对所述片段的每个分辨率以不同编码比特率对所述片段的编码；测量所述片段的每个版本的质量度量；基于与所述分辨率对应的测量的质量度量而生成用于所述片段的每个分辨率的速率‑质量模型；生成概率模型，以预测请求了所述片段的表示的请求概率，所述概率模型基于网络速度和视口大小的联合概率分布，所述联合概率分布是根据与其它视频的先前播放相关联的客户端侧反馈统计信息生成的；基于所述速率‑质量模型和所述概率模型而确定用于所述片段的所述表示中的每个表示的编码比特率；以及将所确定的编码比特率指派给所述片段的对应表示。

Bit Rate Optimization of Multiple Representation Coding Using Play Statistics

【技术实现步骤摘要】
【国外来华专利技术】使用播放统计信息对多表示编码的比特率优化
本公开涉及视频流传输领域，且确切地，涉及用于使用播放统计信息对多表示编码的比特率优化。
技术介绍
通过网络将多媒体(例如，视频)流传输到客户端装置可以基于自适应比特率流传输。例如，可以实时检测客户端装置的带宽和处理能力。响应于检测到的带宽和视口大小的改变，可以相应地调整客户端装置访问的视频流。举例来说，可以以不同的比特率对视频进行编码。响应于客户端装置的改变的资源或能力，客户端装置可以从视频的第一表示切换到视频的第二表示。
技术实现思路
以下是本公开的简化概述，以便提供对本公开的一些方面的基本理解。该概述不是本公开的广泛概述。意图不在于识别本公开的主要或关键要素，也不在于描绘本公开的特定实施方式的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现本公开的一些概念，作为稍后呈现的更详细描述的序言。在本公开的一个方面中，一种方法包括：生成源媒体项目(诸如，例如，源视频)的片段的多个版本，所述版本包括针对所述片段的每个分辨率以不同编码比特率对片段的编码；测量所述片段的每个版本的质量度量；基于对应于分辨率的测量的质量度量而生成用于片段的每个分辨率的速率-质量模型；生成概率模型，以预测请求了片段的表示的请求概率，所述概率模型基于网络速度和视口大小的联合概率分布，所述联合概率分布是根据与其它媒体项目(视频)的先前播放相关联的客户端侧反馈统计信息生成的；基于速率-质量模型和概率模型而确定用于片段的表示中的每个的编码比特率；以及将所确定的编码比特率指派给片段的对应表示。在一个实施方式中，所述片段可以包括整个源媒体项目(视频)。另外，用于表示中的一个的请求概率还基于表示的编码比特率和该编码比特率与联合概率分布中的网络速度的关系，以及表示的分辨率和该分辨率与联合概率分布中的视口大小的关系。在一些实施方式中，客户端侧反馈统计信息包括从客户端装置处的媒体播放器传输的播放痕迹，所述播放痕迹包括网络速度测量结果和视口大小，其中所述联合概率分布是根据从播放痕迹确定的网络速度的累积测量结果和根据从播放痕迹确定的视口大小的累积测量结果生成的。此外，播放痕迹可以从位于第一限定地理区域的客户端装置处的媒体播放器收集，并且联合概率分布可以特定于第一限定地理区域。(在另一实施方式中，播放痕迹可以从位于第二限定地理区域的客户端装置处的媒体播放器收集，并且此处可能有特定于第二限定地理区域的另一联合概率分布，)另外或可选地，播放痕迹可以针对源媒体项目(视频)的类型而被收集，并且联合概率分布可以特定源媒体项目(视频)的类型。在一个实施方式中，确定用于表示中的每个的编码比特率还包括使片段的平均出口流量最小化，以使得(如由任何合适的质量度量所确定的)片段的平均质量维持在限定的质量水平或高于限定的质量水平，并且其中平均出口流量是不同编码比特率和请求概率的函数，并且其中，平均质量是质量度量和请求概率的函数。在一些实施方式中，确定用于表示中的每个的编码比特率还包括使片段的平均质量最大化，以使得片段的平均出口流量被维持在限定的媒体项目(视频)出口流量水平处或低于限定的媒体项目(视频)出口流量水平，其中平均质量是质量度量和请求概率的函数，并且其中平均出口流量是多个比特率和请求概率的函数。此外，将所确定的编码比特率指派给对应表示还可以包括将所选择的编码比特率提供给用于以对应比特率对片段的表示中的每个进行编码的至少一个代码转换器。另外，表示可以包括片段的比特率/分辨率组合，并且其中所述片段可以包括用于片段的分辨率中的每个的一个或多个表示。在一些实施方式中，质量度量可以包括峰值信噪比(PSNR)测量结果或结构相似度(SSIM)测量结果。在本公开的另一方面中，一种方法包括基于从客户端系统接收的反馈统计信息而确定用于网络速度和视口大小的联合概率分布；基于针对媒体项目的片段测量的质量度量而生成用于片段的分辨率的速率-质量模型；基于所生成的速率-质量模型并且基于请求了片段的表示的请求概率而估计用于片段的表示的递送质量和出口，其中所述请求概率基于联合概率分布；以及确定与片段的表示中的每个表示相对应的比特率的比特率集合，所述比特率集合被确定以在将递送质量维持在质量阈值处或高于质量阈值的同时使出口最小化。在本公开的另一方面中，一种方法包括基于从客户端系统接收的反馈统计信息而确定用于网络速度和视口大小的联合概率分布；基于针对媒体项目的片段测量的质量度量而生成用于片段的分辨率的速率-质量模型；通过处理装置基于所生成的速率-质量模型并且基于请求了片段的表示的请求概率而估计用于片段的表示的递送质量和出口，其中所述请求概率基于联合概率分布；以及通过处理装置确定包括与片段的表示中的每个相对应的比特率的比特率集合，所述比特率集合被确定以在将出口保持在出口阈值处或低于出口阈值的同时使递送质量最大化。在本公开的其它方面中，一种系统包括处理装置，所述处理装置被配置成执行根据本公开的任何方面或实施方式的方法。所述系统还可以包括存储器，并且处理装置可以耦接到存储器。在本公开的其它方面中，一种机器可读存储介质(可以是非暂时性机器可读存储介质，虽然本专利技术并不限于此)存储指令，当所述指令被执行时使得处理装置来执行包括根据本公开的任何方面或实施方式的方法的操作。公开了用于执行上述方法的操作和本文所描述的各种实施方式的计算装置。还公开了存储用于执行与上述方法相关联的操作和本文所描述的各种实施方式的指令的计算机可读介质。附图说明在附图中的各图中，通过举例而非限制的方式示出了本公开。图1是示出其中可以实现本公开的实施方式的示例性网络架构的框图。图2是根据本公开的实施方式的编码比特率优化部件的框图。图3是示出根据实施方式的用于使用播放统计信息的多表示编码的比特率优化的方法的流程图。图4是示出根据实施方式的基于播放统计信息而进行多表示编码比特率优化以使出口最小化的方法的流程图。图5是示出根据实施方式的用于基于播放统计信息而进行多表示编码比特率优化以使质量最大化的方法的流程图。图6是示出根据实施方式的计算机系统的一个实施方式的框图。具体实施方式针对使用播放统计信息的多表示编码的比特率优化，描述了本公开的各方面和实施方式。自适应比特率流传输可以用于通过网络将多媒体(例如，视频)从服务器(例如，自适应视频流传输系统)流传输到客户端系统(例如，客户端装置上的媒体播放器)。自适应视频流传输系统将源视频编码成不同编码比特率和/或分辨率的若干表示。也就是说，媒体项目的片段可以被转换(例如，代码转换)成多个分辨率(例如，多个空间分辨率)。然后，可以以多个不同的比特率对片段的多个分辨率中的每个进行编码，以产生媒体项目的片段的多个“表示(representation)”。表示可以表示使用一个比特率以一个分辨率对视频和/或视频片段进行编码的结果。该编码的表示集合允许客户端系统在视频流传输期间根据网络带宽和视口大小自适应地选择适当的编码表示。例如，客户端装置的媒体播放器可以响应于与客户端装置相关联的改变的条件(例如，CPU、网络带宽、视口大小等)而从视频的第一表示或编码切换到不同质量的视频的第二表示或编码。为了支持视频的质量水平或格式之间的切换，可能会导致可以通过自适应视频流传输系统将视频(本文档来自技高网...

【技术保护点】
1.一种方法，所述方法包括：生成源媒体项目的片段的多个版本，所述版本包括针对所述片段的每个分辨率以不同编码比特率对所述片段的编码；测量所述片段的每个版本的质量度量；基于与所述分辨率对应的测量的质量度量而生成用于所述片段的每个分辨率的速率‑质量模型；通过处理装置生成概率模型，以预测请求了所述片段的表示的请求概率，所述概率模型基于网络速度和视口大小的联合概率分布，所述联合概率分布是根据与其它媒体项目的先前播放相关联的客户端侧反馈统计信息生成的；通过所述处理装置基于所述速率‑质量模型和所述概率模型而确定用于所述片段的所述表示中的每个表示的编码比特率；以及将所确定的编码比特率指派给所述片段的对应表示。

【技术特征摘要】
【国外来华专利技术】2016.10.28 US 15/337,8061.一种方法，所述方法包括：生成源媒体项目的片段的多个版本，所述版本包括针对所述片段的每个分辨率以不同编码比特率对所述片段的编码；测量所述片段的每个版本的质量度量；基于与所述分辨率对应的测量的质量度量而生成用于所述片段的每个分辨率的速率-质量模型；通过处理装置生成概率模型，以预测请求了所述片段的表示的请求概率，所述概率模型基于网络速度和视口大小的联合概率分布，所述联合概率分布是根据与其它媒体项目的先前播放相关联的客户端侧反馈统计信息生成的；通过所述处理装置基于所述速率-质量模型和所述概率模型而确定用于所述片段的所述表示中的每个表示的编码比特率；以及将所确定的编码比特率指派给所述片段的对应表示。2.根据权利要求1所述的方法，其中，所述片段包括完整源媒体项目。3.根据权利要求1或2所述的方法，其中，用于所述表示中的一个表示的所述请求概率还基于：所述表示的所述编码比特率和该编码比特率与所述联合概率分布中的网络速度的关系；以及所述表示的所述分辨率和该分辨率与所述联合概率分布中的视口大小的关系。4.根据权利要求1、2或3所述的方法，其中，所述客户端侧反馈统计信息包括从客户端装置处的媒体播放器传输的播放痕迹，所述播放痕迹包括网络速度测量结果和视口大小，并且其中所述联合概率分布是根据从所述播放痕迹确定的所述网络速度的累积测量结果和根据从所述播放痕迹确定的所述视口大小的累积测量结果生成的。5.根据权利要求4所述的方法，其中，所述播放痕迹是从所述源媒体项目的地理区域收集的，并且其中所述联合概率分布特定于所述源媒体项目的所述地理区域。6.根据权利要求4或5所述的方法，其中，所述播放痕迹针对所述源媒体项目的类型而被收集，并且其中所述联合概率分布特定于所述源媒体项目的类型。7.根据前述权利要求中的任意一项所述的方法，其中，确定用于所述表示中的每个表示的所述编码比特率还包括使用于所述片段的平均出口流量最小化，以使得所述片段的平均质量被维持在限定的质量水平处或高于限定的质量水平，其中所述平均出口流量是所述不同编码比特率和所述请求概率的函数，并且其中所述平均质量是所述质量度量和所述请求概率的函数。8.根据权利要求1到6中的任意一项所述的方法，其中，确定用于所述表示中的每个表示的所述编码比特率还包括使用于所述片段的平均质量最大化，以使得所述片段的平均出口流量被维持在限定的媒体项目出口流量水平处或低于限定的媒体项目出口流量水平，其中所述平均质量是所述质量度量和所述请求概率的函数，并且其中所述平均出口流量是所述多个比特率和所述请求概率的函数。9.根据前述权利要求中的任意一项所述的方法，其中，将所确定的编码比特率指派给所述对应表示还包括将所选择的编码比特率提供给用于以所述对应比特率对所述片段的所述表示中的每个表示进行编码的至少一个代码转换器。10.根据前述权利要求中的任意一项所述的方法，其中，所述表示包括所述片段的比特率/分辨率组合，并且其中所述片段包括用于所述片段的所述分辨率中的每个分辨率的一个或多个表示。11.根据前述权利要求1中的任意一项所述的方法，其中，所述质量度量包括峰值信噪比(PSNR)测量结果或结构相似度(SSIM)测量结果中的至少一个。12.一种系统，所述系统包括：存储器；以及耦接到所述存储器的处理装置，其中，所述处理装置用来：基于从客户端系统接收的反馈统计信息而确定用于网络速度和视口大小的联合概率分布；基于针对媒体项目的片段测量的质量度量而生成用于所述片段的分辨率的速率-质量模型；基于所生成的速率-质量模型并且基于请求了所述片段的表示的请求概率而估计用于所述片段的表示的递送质量和出口，其中所述请求概率基于所述联合概...

【专利技术属性】
技术研发人员：陈超，林耀中，阿纳尔·科卡拉姆，史蒂文·本汀，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US