感知体验质量估计驱动的智能适应视频流传输方法和系统技术方案

本发明专利技术是一种系统或方法，其通过利用在视频准备阶段，在视频托管处或在缓存服务器端侧，或在视频传输网络内部执行并发送给客户端的感知视频体验预测，促进在客户端侧为在视频传输网络上的适应性视频流传输进行智能决策。与现有技术的适应性比特率视频流传输技术相比，本发明专利技术可以产生以下一个或多个优点：1)节省用于传输视频内容的总体带宽，而不牺牲客户端用户的体验质量；2)创造更好的客户端用户的总体视觉体验质量；3)创建更加流畅的客户端用户的视觉体验质量；以及4)降低在客户端用户侧发生重新缓冲或停顿事件的概率。

Intelligent adaptation video stream transmission method and system driven by perceived quality of experience

The present invention is a system or method, which uses in the run-up to the video in the video hosting or on the server side to the client side, or the perception of video in video transmission network and send the internal implementation experience in client side prediction, promote the adaptability for video in video transmission on the network transmission of intelligent decision. Adaptive bit and the rate of video streaming technology, the invention can be one or more of the following advantages: 1) to save the overall bandwidth for the transmission of video content, the client without sacrificing the quality of the user experience; 2) the quality of overall vision of creating better client user experience; 3) the quality of visual experience create a more fluid user; and 4) to reduce the probability of buffer or pause occurred in the client side.

【技术实现步骤摘要】
【国外来华专利技术】感知体验质量估计驱动的智能适应视频流传输方法和系统
本专利技术一般性地涉及将视频流从视频托管服务器通过视频传输网络传输到客户端，以便优化客户端用户的体验质量。更具体地说，将服务器侧的视频流分成多个片段，每个片段都具有不同比特率和分辨率的多个流。本专利技术涉及一种方法或系统，其在客户侧做出从服务器侧的多个流中挑选出下一个片段的最佳决策，以便实现以下一个或多个优点：1)节省用于传输视频内容的总体带宽，而不牺牲客户端用户的体验质量；2)创造更好的客户端用户的总体视觉体验质量；3)创建更加流畅的客户端用户的视觉体验质量；以及4)降低在客户端用户侧发生重新缓冲或停顿事件的概率。本专利技术可以使用在采用通用适应性流传输方式的很多应用中。
技术介绍
在过去几年中，通过网络传输的视频数据量呈指数级增长。视频点播(VoD)应用的越来越流行的方式是采用适应性视频流传输技术。在适应性视频流传输中，在视频流准备阶段，每个源视频内容被编码/转码成不同比特率和分辨率的多个变体(或流)。视频流被分为多个时间片段，并且所有流都存储在视频托管服务器中。当客户端观看视频内容时，它可以基于网络带宽、缓冲区大小、回放速度等为每个时间片段适应性地挑选多个流中的一个。由于重复性的编码/转码需求和存储相同内容的多个流的增加的存储空间会导致CPU功率的提高，适应性视频流传输框架将负担加在服务器侧。然而，它允许为与网络连接的用户提供各种变体而不改变基础设施，并有可能为每个用户在每一时刻基础上提供最好的可能服务。然而，适应性流传输技术的当前实施和部署的一个主要问题是不能适当地考虑观看者的体验质量(QoE)。近年来视频质量评估一直是一个活跃的研究课题。当我们使用视频质量这一术语时，意思是指视频流的感知质量，而不考虑视频正在进行网络传送、在具有不同的分辨率的不同设备上显示以及观看条件不同等情况下的感知质量差异。相比之下，用QoE，意思是指考虑尽可能多的这种差异。例如，在视频传输服务的服务器侧，只能评估视频质量，并且无法直接测量视频QoE，但可以估计可以帮助预测视频QoE的某些参数。在客户端侧，因为所有相关信息变得可用，所以可以估计视频QoE。由于视频传输服务的最终目标是为客户端提供在其可视视频QoE方面最佳的可能视频，适当地评估视觉QoE并使用这样的评估作为视频传输系统的设计和优化的关键因素是非常有利的。遗憾的是，这正是当前适应性视频流传输实现方式中所缺少的。现实系统通常使用比特率作为关键因素，将其等同于视觉质量指标，但使用相同的比特率对不同的视频内容进行编码可能导致显著不同的视觉质量，其范围可能在标准五类(优秀、良好、一般、较差、极差)人类主观评价的两个极端之间。更糟糕的是，实际的用户QoE取决于用于显示视频的设备而不同，这是通过比特率驱动的流传输策略无法考虑另一因素。本专利技术涉及如何使视频QoE估计可用于客户端以及如何在客户端站点处在适应性视频流传输的决策步骤中使用QoE估计。回到驱动者的位置，重新设计视频传输系统。
技术实现思路
使用视觉QoE作为在视频传输网络上提供智能适应性视频流传输或智能流传输的关键因素的方法或系统。一个实施例涉及通过视频传输网络的适应性视频流传输，其从相同的视频源内容创建不同比特率和分辨率的多个视频流，并将其划分为多个时间片段。生成QoE预测参数，并且将QoE预测参数在发送视频流之前或与视频流一起发送到接收者客户端站点。在客户端站点处，估计视觉QoE并用作请求视频流的下一个视频片段的关键决策因素。另一实施例涉及通过将QoE预测参数与即时网络和接收器条件组合来在客户端站点处提供QoE估计，所述条件包括错误的发送和/或解码、初始缓冲和重新缓冲、观看设备的像素分辨率、观看设备的物理尺寸、设备上的视频帧像素分辨率、视频时间分辨率、设备上的视频回放速度、观看环境条件、用户偏好、用户视觉条件或用户期望。另一实施例涉及使用全参考、简化参考和/或无参考客观视频质量评估的模型、使用能够比较不同空间和/或时间分辨率的视频质量的模型、以及使用根据观看设备的类型和设置、观看设备上的回放窗口的分辨率和/或观看条件预测感知QoE的模型产生QoE预测参数。另一个实施例涉及将所述体验质量预测参数作为元数据在发送所述视频流之前或与视频流一起发送，或者通过将参数作为水印或隐藏消息嵌入到视频流中来发送所述体验质量预测参数。另一个实施例涉及在客户站点处为每个视频流的每个片段创建观看者QoE的矩阵，并且通过将QoE估计与其他可用信息组合来决定视频的下一个片段，所述其他可用信息包括视频流的比特率、视频流的分辨率、网络的可用带宽以及解码速度、显示速度、缓冲区大小和接收设备的功率中的一个或多个。另一个实施例涉及进行在所述客户端站点处选择视频的下一个片段的智能适应性流传输决策，通过使用QoE作为在不切换、切换到更低比特率以及切换到更高比特率之间决策的关键因素，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。另一个实施例涉及进行在客户端站点处选择视频的接着多个片段的智能适应性流传输决策，通过使用动态规划方法找到最大化视觉QoE的平均质量和/或平滑度的最佳路径，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。应当理解，本专利技术的应用不限于以及在说明书或其中提供的或在附图中示出的实例中阐述的结构细节和部件的布置。本专利技术能够具有其他实施例并且能够以各种方式实践和实施。应当理解，这里使用的措辞和术语是为了描述的目的，不应被视为限制。本应用中描述的特征和优点并不是穷尽的。对于本领域普通技术人员而言，在附图、权利要求和说明书的基础上，附加的特征和优点将是显而易见的。选择本应用程序中使用的语言以获得更好的可读性和指导目的，并且并非用于限制或限定所公开的主题。附图说明图1示出基于感知QoE估计的适应性视频流传输过程的系统图。图2示出有关视频QoE预测的视频流准备阶段中的流程图。图3示出本专利技术的一个实施例中视频托管服务器、视频传输网络和客户端之间的流程图。图4示出使用接收到的QoE预测参数作为与其他即时侧信息组合的关键因素进行动态观看者QoE估计的流程图。图5绘出为将每个视频流中的每个视频片段的接收到的视频QoE预测参数阵列转换成每个视频流中的每个视频片段的观看者QoE估计矩阵的流程图。图6绘出选择下一个片段的智能适应性流传输决策的流程图。观看者QoE估计矩阵具有中心作用，附加信息包括视频流的比特率、视频流的分辨率、网络的可用带宽、以及解码速度、显示速度、缓冲区大小和接收设备的功率中的一个或多个。图7绘出应用“流过滤器”的流程图，“流过滤器”将下一个片段的所有可用流的数量减少到至可承受的流的子集。通过对视频比特率、网络带宽、解码速度、显示速度、缓冲区大小和设备功率中的一个或多个的约束来实现“流过滤”过程。图8绘出本专利技术的一个实施例中为下一个视频片段选择流的决策的流程图。现有技术方法不具有可用的QoE估计信息，但假设更高的比特率导致更高的QoE。本专利技术通过选择具有最大QoE的流来允许不同的决策。图9绘出本专利技术的一个实施例中为下一个视频片段选择流的决策的流程图。当不进行切换，QoE维持在预定目标阈值水平或以上时，即使这样的切换是可承受的，本专利技术也本文档来自技高网...

【技术保护点】
一种用于通过视频传输网络进行适应性视频流传输的方法，包括：(a)从相同的视频源内容创建不同比特率和分辨率的多个视频流，并且将它们划分为多个时间片段；(b)在视频准备阶段，在视频托管站点处和/或在所述视频传输网络内执行所述视频流的体验质量预测；(c)将体验质量预测参数在发送所述视频流之前或与所述视频流一起发送到接收者客户端站点；(d)使用所述接收到的体验质量预测参数和客户端侧网络、设备和观看环境信息来估计实际的用户体验质量并且请求视频流的下一个片段。

【技术特征摘要】
【国外来华专利技术】2015.02.07 US 62/113,4011.一种用于通过视频传输网络进行适应性视频流传输的方法，包括：(a)从相同的视频源内容创建不同比特率和分辨率的多个视频流，并且将它们划分为多个时间片段；(b)在视频准备阶段，在视频托管站点处和/或在所述视频传输网络内执行所述视频流的体验质量预测；(c)将体验质量预测参数在发送所述视频流之前或与所述视频流一起发送到接收者客户端站点；(d)使用所述接收到的体验质量预测参数和客户端侧网络、设备和观看环境信息来估计实际的用户体验质量并且请求视频流的下一个片段。2.一种体验质量估计的方法，通过使用从网络接收的体验质量预测参数在客户端站点处静态地进行体验质量估计，或通过将从网络接收的体验质量预测参数与一个或多个即时网络和接收器条件进行组合来在客户端站点处动态地进行体验质量估计，其中所述条件包括错误的发送和/或解码、初始缓冲和重新缓冲、观看设备的像素分辨率、观看设备的物理尺寸、设备上的视频帧像素分辨率、视频时间分辨率、设备上的视频回放速度、观看环境条件、用户偏好、用户视觉条件或用户期望。3.根据权利要求1所述的方法，还包括在视频准备阶段，在视频托管站点处或在视频传输网络内执行人主观体验质量测量，并且使用所述主观评级作为体验质量预测因素。4.根据权利要求1所述的方法，还包括使用诸如PSNR、SSIM、MS-SSIM、VQM、MOVIE和SSIMplus的全参考、简化参考和/或无参考客观视频质量计算评估模型作为感知体验质量预测因素。5.根据权利要求1所述的方法，还包括使用产生能够比较跨不同空间和/或时间分辨率的视频质量的参数的全参考和/或简化参考客观感知模型作为所述体验质量预测因素。6.根据权利要求1所述的方法，还包括使用根据所述观看设备的类型和设置、所述观看设备上的回放窗口的分辨率和/或所述客户端站点处所述视频的观看条件来产生预测感知体验质量的参数的客观感知视频质量模型。7.根据权利要求1所述的方法，还包括将所述体验质量预测参数作为元数据在发送所述视频流之前发送或与发送所述视频流一起发送。8.根据权利要求1所述的方法，还包括通过将所述体验质量预测参数作为水印或隐藏消息嵌入到所述视频流中来发送所述体验质量预测参数。9.根据权利要求1所述的方法，还包括基于如权利要求2所述的观看者的体验质量方法，在所述客户端站点处为每个视频流的每个片段创建观看者体验质量估计的矩阵，然后将所述矩阵用于选择视频的下一个片段的流传输决策步骤中。10.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，所述流传输决策步骤将体验质量估计与其他可用信息组合，所述其他可用信息包括视频流的比特率、所述视频流的分辨率、网络的可用带宽以及解码速度、显示速度、缓冲区大小和接收设备的功率中的一个或多个。11.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，所述流传输决策步骤在视频比特率、网络带宽、解码速度、显示速度、缓冲区大小和设备功率的约束下，挑选最大体验质量视频流。12.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，当不进行切换，体验质量维持在预定目标阈值水平或以上时，通过拒绝切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。13.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，当进行切换导致体验质量提高低于阈值时，通过拒绝切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。14.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，无论有或没有看到网络带宽或缓冲区大小的下降，当进行切换导致体验质量下降低于阈值时和/或当进行切换，体验质量维持在预定目标阈值体验质量水平或以上时，通过切换到更低比特率和/或更低分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。15.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，无论有或没有看到网络带宽或缓冲区大小的下降，当预见到未来视频片段需要高于当前比特率以维持相同水平的体验质量时，通过切换到更低比特率和/或更低分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。16.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，无论是否看到网络带宽或缓冲区大小的增加，当不进行切换，体验质量下降超过阈值并且当在下一个片段处更高比特率的流与当前流之间的体验质量的差的绝对值低于另一阈值时，通过切换到更高比特率的流和/或更高分辨率的流来维持体验质量的当前水平和平滑度。17.根据权利要求1所述的方法，还包括在客户端站点处对视频的接着多个片段的序列的联合选择...

【专利技术属性】
技术研发人员：王舟，曾凯，阿卜杜勒·雷曼，
申请(专利权)人：王舟，
类型：发明
国别省市：加拿大,CA