观看者重视度自适应比特率传送制造技术

描述了从服务器向客户端设备传送诸如视频序列的媒体的方法，其考虑了视频序列的不同部分的相对重视度。该序列被分成时间片段，每个片段以多个比特率进行编码，并因此具有多种质量。给每个片段分配指示该片段的相对重视度的观看者重视度参数，其信息被存储于清单文件或类似文件中。客户端在清单文件中接收此片段和观看者重视度数据。选择下载的每个片段的比特率取决于该片段和未来片段的相对重视度。然后，从服务器将所选片段传送到客户端设备。因此，相比于具有较低观看者重视度的片段，具有较高观看者重视度的片段将以更高的编码比特率被传送。

Viewer Attention Adaptive Bit Rate Transmission

This paper describes a method of transmitting media such as video sequence from server to client device, which takes into account the relative importance of different parts of video sequence. The sequence is divided into time segments, each of which is encoded at multiple bit rates and thus has a variety of qualities. Each fragment is assigned a viewer's attention parameter indicating the relative importance of the fragment, and its information is stored in a list file or similar file. The client receives this clip and viewer attention data in the manifest file. The bitrate of each clip selected for download depends on the relative importance of the clip and future clips. Then, the selected fragment is transferred from the server to the client device. Therefore, compared with the segment with lower viewer attention, the segment with higher viewer attention will be transmitted at a higher coding bit rate.

【技术实现步骤摘要】
【国外来华专利技术】观看者重视度自适应比特率传送
本专利技术涉及通过网络传送媒体的领域，尤其涉及考虑观看者重视度而将媒体传送到客户端设备的方法。
技术介绍
针对视频内容的单播传送，自适应比特率传送变得越来越普遍，该视频内容的单播传送使用包括AppleHTTPLiveStreaming(HLS)和MicrosoftSmoothStreaming在内的专有技术，并使用标准化的MPEGDASH(HTTP上的动态自适应流传输)协议。自适应比特率流基于将内容划分为短片段的概念，通常，该短片段的时长为4至10秒，每个片段以多个不同的比特率进行编码(因此具有不同质量)，以便客户端设备使用HTTPGET请求来取得内容。所请求的片段的比特率(质量)是基于最近网络上实现的吞吐量以及已经传送并在客户端设备处缓冲而等待显示的数据量而确定的。自适应比特率传送的当前实现方式对所有的片段进行同样的处理。因此，某些片段可能以观看者可接受的质量(比特率)传送，但是其它片段可能以观看者不可接受的质量(比特率)传送。
技术实现思路
本专利技术的实施方式的目的是提供一种向客户端设备传送媒体文件的改进方法。根据本专利技术的一个方面，提供了一种从服务器向客户端设备传送视频内容的方法，所述视频内容包括片段的序列，并且其中以多个比特率编码每个片段，所述方法包括：a)在所述客户端设备处接收关于每个片段的信息，其中所述信息包括比特率和与每个片段相关联的观看者重视度参数；b)估计所述服务器和所述客户端设备之间的网络比特率；c)确定在所述客户端设备处缓冲的视频内容的时长；d)根据与第一片段相关联的所述观看者重视度参数，对所述客户端设备处缓冲的视频内容的时长进行调整；e)根据所估计的所述网络比特率以及在所述客户端设备处调整的缓冲内容的时长确定最大片段比特率；f)识别用于所述第一片段的比特率，所述比特率不大于所述最大片段比特率；g)将所识别的第一片段传送到所述客户端设备。当第一片段的观看者重视度参数低时，所述调整大。所述调整可能还取决于与另一个片段相关联的观看者重视度参数。并且当与第一片段相关联的观看者重视度参数低于与另一个片段相关联的观看者重视度参数时，对第一片段的调整可以更大。可以在清单文件中接收关于每个片段的信息。重要的是认识到本专利技术的示例涉及片段的优先化，以试图确保以更高的质量传送观看者最感兴趣的片段。片段具有指示该片段的相对重视度的相关联的观看者重视度参数，并且片段的传送是根据其相对的观看者重视度而被有效地按优先顺序处理。本专利技术的示例并不是关于通用数据流量的优先化(其中一个流优先于另一个流)，这或是由于流在整体上更有价值或更具时效性，或是由于特定流接近耗尽而引起播放拖延。它也并不是要确保要求较高的流(例如体育节目)比要求较低的流(例如戏剧节目)具有更高的网络吞吐量。一个示例是一些体育赛事，其中最感兴趣的短时间段被不太感兴趣的长时间段分开。例如，在棒球和板球中，观看者会非常感兴趣从投手/投球手放开球之前开始的短时间段，但这仅持续几秒，而在下一次这样的比赛之前会有一段相当不感兴趣的时间。显然，该示例不限于体育内容，其还包括但不限于，游戏节目、真人秀节目、戏剧和新闻。附图说明为了更好地理解本专利技术，现仅通过示例的方式参考附图，其中：图1是示出了本专利技术一个示例中的系统的网络图；图2是本专利技术一个示例中的内容生成器的框图；图3是本专利技术另一个示例中的内容生成器的框图；图4是本专利技术另一个示例中的内容生成器的框图；图5是本专利技术一个示例中的内容服务器的框图；图6是本专利技术一个示例中的内容客户端的框图；图7示出了使用速率比例因子的示例方法；以及图8示出了使用缓冲器调整的示例方法。具体实施方式这里参考特定示例描述了本专利技术。然而，本专利技术不限于这些示例。本专利技术的示例提供了一种考虑视频序列的不同部分的相对重视度而从服务器向客户端设备传送媒体(诸如视频序列)的方法。序列被分成时间片段，每个片段以多个比特率进行编码(并因此具有多种质量)。给每个片段分配指示该片段的相对重视度的观看者重视度参数，其信息被存储于清单文件或类似文件中。客户端接收清单文件中的片段和观看者重视度数据。选择下载的每个片段的比特率取决于该片段和未来片段的相对重视度。然后，从服务器将所选片段传送到客户端设备。因此，相比于具有较低观看者重视度的片段，以更高的编码比特率传送具有较高观看者重视度的片段。图1是示出了系统100的简化网络图，该系统100包括与内容服务器104通信的内容生成器102。内容生成器102负责接收未压缩的视频内容(例如电视直播)以及编码和封装该视频内容，以传给内容服务器104。内容服务器104负责存储接收的视频内容，并且根据请求将该内容传送到通过网络106连接的适当配置的客户端。该示例中示出了三个客户端设备108、110和112。例如，客户端可以是标准HTTP自适应比特率流客户端、适于支持MPEGDASH或Apple的HLS。客户端用于发现视频内容、请求并处理清单文件、请求视频片段并处理这些片段以供观看。虽然视频内容可以通过网络106直接传送到这些客户端，但是也可以通过每个客户端本地的代理来进行传送。内容生成器102包括用于将元数据插入其生成的清单文件中的机制，该元数据包括：针对编码内容的每个片段，将观看者重视度参数以信号形式报知给最终用户的数据，观看者重视度参数指示内容的重要性且由片段中编码的视频和音频数据表示。应注意，术语“重视度”和“兴趣”在说明书中可互换使用。因此，对观看者重视度参数的引用等同于对观看者兴趣参数的引用。在图2更详细地示出了内容生成器102。内容生成器102包括视频编码器206、音频编码器208、分段模块210、封装模块212和输出接口214。内容生成器102接收包括未压缩视频流202和未压缩音频流204的未压缩视频内容。具体地，视频编码器206获取未压缩视频流202，并对该视频进行编码以生成编码视频流。在本例中，所使用的视频编码方法符合ITU-TH.264标准，但是本专利技术并不限于此标准，而是可以使用其它编码方法。类似地，音频编码器208获取未压缩音频流204，并对该音频进行编码以生成编码音频流。在本例中，音频编码方法是MPEG-4HEAACv2，但是本专利技术并不限于此标准，而是可以替代地使用其它编码方法。以多个比特率对未压缩视频流进行编码(通常仅以一个比特率对相关联的未压缩音频流进行编码，但也可以以多个比特率进行编码)，从而对于每个比特率生成编码流。不同的比特率在效果上导致不同的视频质量，较高的比特率编码导致较高的视频质量，较低的比特率导致较低的视频质量。编码视频流包括多个帧或画面，这些帧或画面又可以聚类成画面组或GOP。编码视频流和编码音频流(或者在以多个比特率对内容进行编码情况下的每个编码视频流和编码音频流)被分段模块210分段为离散的(视频和音频)时间片段。可以设想，每个时间片段为未压缩视频/音频的时长中的2至15秒之间，但也可以使用更长或更短的时长。虽然图中显示分段模块210是在编码器206和208之后操作，但是可以在编码之前对未压缩的视频流和音频流进行分段。因此，可以首先对未压缩视频和音频进行分段，然后可以对得到的未压缩片段进行编码，以生成编码视频和音频片段。分段模块210可以在考虑服务要求的情本文档来自技高网...

【技术保护点】
1.一种从服务器向客户端设备传送视频内容的方法，所述视频内容包括片段的序列，并且其中以多个比特率对每个片段进行了编码，所述方法包括：a)在所述客户端设备处接收关于每个片段的信息，其中所述信息包括比特率和与每个片段相关联的观看者重视度参数；b)估计所述服务器和所述客户端设备之间的网络比特率；c)确定在所述客户端设备处缓冲的视频内容的时长；d)根据与第一片段相关联的观看者重视度参数，对所述客户端设备处缓冲的视频内容的时长进行调整；e)根据所估计的所述网络比特率以及所述客户端设备处的缓冲内容的调整后的时长，确定最大片段比特率；f)识别所述第一片段的不大于所述最大片段比特率的比特率；g)将所识别的第一片段传送到所述客户端设备。

【技术特征摘要】
【国外来华专利技术】2016.09.30 EP 16250016.9;2016.09.30 EP 16250017.71.一种从服务器向客户端设备传送视频内容的方法，所述视频内容包括片段的序列，并且其中以多个比特率对每个片段进行了编码，所述方法包括：a)在所述客户端设备处接收关于每个片段的信息，其中所述信息包括比特率和与每个片段相关联的观看者重视度参数；b)估计所述服务器和所述客户端设备之间的网络比特率；c)确定在所述客户端设备处缓冲的视频内容的时长；d)根据与第一片段相关联的观看者重视度参数，对所述客户端设备处缓冲的视频内容的时长...

【专利技术属性】
技术研发人员：M·尼尔森，
申请(专利权)人：英国电讯有限公司，
类型：发明
国别省市：英国,GB