视频传输的用户体验质量测试制造技术

在此描述了一种用于计算接收装置上播放的视频流的用户体验质量(QoE)的分数的技术。在计算QoE分数前，装置接收在接收装置播放视频流时捕捉的接收装置的显示屏幕的视频。装置还从参与视频流到接收装置的传输的至少一个装置接收传输指标。然后装置至少部分基于参考视频、所述传输指标和一个或多个QoE模型计算所述QoE分数。另外，在接收视频或传输指标前，装置可以通过至少一个网络模拟器将参考视频作为视频流从发送装置自动传输到接收装置，包括提供网络损伤设置到所述网络模拟器。

【技术实现步骤摘要】
【国外来华专利技术】视频传输的用户体验质量测试
本申请要求2011年10月14日提交的、题为“Multimedia QoE Video Lab”的、申请号为61/547，652的美国临时专利申请的优先权。申请号为61/547，652的申请作为参考被全部合并于此。本申请要求2012年10 月 11 日提交的、题为“Quality of User Experience Testingfor Video Transmiss1ns”的、申请号为13/649,818的美国技术专利申请的优先权。申请号为13/649,818的申请作为参考被全部合并于此。
技术介绍
随着网络技术、手持装置和数据传输技术的发展，使用手持装置来享受消耗高宽带的媒体(诸如视频流)越来越多。现在用户在视频聊天、视频会议和在线游戏中，会对来自远程视频流服务器的视频进行回放。为了量化用户消费视频的用户体验质量(QoE)，国际电信联盟(ITU-T)在J.341标准中定义了用于确定平均意见分数(MOS)中“感性分析”建议。MOS表示用户对质量的感受，可以由一组用户主观确定或基于模型客观确定。模型可以反过来基于关于多个视频的多个主观评价。【附图说明】参考附图做了详细的描述。在附图中，附图标记的最左边的数字辨别该附图标记第一次出现的图。不同的图中使用相同的附图标记指示相似或相同的项或特征。图1a示出了视频QoE测试系统，包括测试控制器装置、发送装置、至少一个网络模拟器、接收装置和相机，所述系统计算观看显示在所述接收装置上的传输的视频流的用户体验的QoE分数；图1b示出了视频QoE测试系统，包括测试控制器装置、视频流服务器、至少一个网络模拟器、接收装置和相机，所述系统计算观看显示在接收装置上的传输的视频流的用户体验的QoE分数；图2示出了能够用作测试控制器装置、发送装置、接收装置、相机、电信网络模拟器、互联网协议(IP)网络模拟器、视频中继服务器或视频流服务器的计算装置的组件级视图；以及图3示出了用于对多个视频流传输以及在改变传输条件的情况下计算在用户的接收装置上进行视频流回放的用户体验的QoE分数的示例性过程。【具体实施方式】本说明书部分描述了计算接收装置上播放的视频流的用户体验质量(QoE)分数的技术。在计算QoE分数之前，诸如视频测试系统的测试控制器装置的装置，接收在接收装置播放视频流的同时捕捉的接收装置的显示屏幕的视频。装置还从至少一个参与向接收装置传输视频流的装置接收传输指标。然后装置至少部分基于参考视频、传输指标和一个或多个QoE模型来计算所述接收的视频的QoE。另外，在接收视频或传输指标之前，装置可以随着通过至少一个网络模拟器从发送装置到接收装置的视频流自动传输参考视频。所述自动可以包括向网络模拟器提供网络损伤设置。然后装置用给定的一组网络损伤设置多次重复其操作，以及在其他时间用其他损伤设置多次重复其操作。通过在变化的情况下执行多次测试，视频测试系统将达到准确反应用户体验的QoE分数。示例性测试系统图1示出了视频QoE测试系统，该系统包括测试控制器装置、发送装置、至少一个网络模拟器、接收装置和相机，所述系统计算观看显示在所述接收装置上的传输的视频流的用户体验的QoE分数。如图所示，测试控制器装置102可以通过至少一个网络模拟器106从发送装置104自动传输视频流到接收装置108。在接收装置108播放视频流的同时，相机110捕捉接收装置108的显示屏幕的视频，并提供所述视频到测试控制器装置102。在一些实施方式中，测试控制器装置102可以指示发送装置104通过IP网络模拟器112在网络(诸如互联网)116上将视频流传输到视频中继服务器114上。为了自动化传输视频流和计算相机110捕捉的视频的QoE分数，测试控制器装置102可以配置有多个模块，诸如测试管理器模块118、损伤设置模块120、自动化模块122、传输指标模块124、QoE计算模块126和QoE报告模块128。在各种实施方式中，测试控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112和视频中继服务器114中的每一个可以是或者可以包括服务器或服务器群、多个分布式服务器群、主机、工作站、个人电脑(PC)、笔记本电脑、平板电脑、个人数字助理、移动电话、媒体中心、嵌入式系统或任何其他种类的装置。在一些实施方式中，一个或多个测试控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112和视频中继服务器114可以为在一个或多个计算装置上实现的一个或多个虚拟机。图2中示出了并在下面参考图2描述了示例性的能够用作控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112或视频中继服务器114的计算装置。在一些实施方式中，发送装置104可以被配置为与电信网络模拟器106通过一个或多个射频进行无线通信。发送装置104例如还经由通用串行总线(USB)连接器、以太网连接器或一些其他类型的连接器与测试控制器装置102物理耦合。而且，发送装置104可以从测试控制器装置102接收参考视频和/或自动指令。基于所述指令，发送装置104可以创建视频聊天、视频会议或其他到接收装置108的连接，以及可以将参考视频作为视频流通过电信网络模拟器106传输到接收装置108。在一些实施方式中，可以以点对点(P2P)的方式传输视频流；在其他实施方式中，发送装置104可以将视频流导向视频中继服务器114以用于随后传输到接收装置108。在其他实施方式中，可以由用户启动传输，而不是响应于自动化指令。不论何种情况，在传输视频流时，发送装置104可以记录传输指标，诸如帧率、比特率、往返时间、呼叫建立时间或编码率，以及可以自动或者根据请求向测试控制器装置102提供传输指标。在各种实施方式，电信网络模拟器106可以模拟任何种类的电信网络，诸如全球移动通信系统(GSM)网络、通用移动通信系统(UMTS)网络、演进的高速分组接入技术(HSPA+)网络或长期演进(LTE)网络。电信网络模拟器106可以包括一个或多个能够在一个或多个射频上进行传输和接收的基站模拟器组件。例如，电信网络模拟器106可以包括用于与发送装置104通信的第一基站模拟器组件，和用于与接收装置108通信的第二基站模拟器组件。另外，电信网络模拟器106可以有线或无线地连接到IP网络模拟器112或网络116。而且，电信网络模拟器106可以例如经由USB连接器、以太网连接器或一些其他类型的连接器物理耦合到测试控制器装置102。在一些实施方式中，电信网络模拟器106可以配置为从测试控制器装置102接收网络损伤设置，以及根据所述配置执行视频流的传输。例如，网络损伤设置可以指定射频(RF)损伤，以及电信网络模拟器106可以在所述RF损伤的情况下传输视频流。而且，电信网络模拟器106可以检查传输视频流的分组，以确定传输是P2P还是客户端-服务器式。如果是P2P，电信网络模拟器106可以在接下来将视频流传输到接收装置108。如果是客户端-服务器式，电信网络模拟器106可以通过IP网络模拟器112将视频流传输到视频中继服务器114，可以从视频中继服务器本文档来自技高网...

【技术保护点】
一种系统，该系统包括：发送装置，被配置为将参考视频作为视频流传输；接收装置，被配置为接收和播放所述视频流；至少一个网络模拟器组件，被通信地耦合到所述发送装置和所述接收装置，以及被配置为将所述视频流从所述发送装置传输到所述接收装置；相机，被配置为在所述接收装置播放所述视频流时捕捉所述接收装置的显示屏幕的视频；以及测试控制器装置，被配置为：将所述视频流从所述发送装置自动传输到所述接收装置，包括提供网络损伤设置到所述至少一个网络模拟器，从所述发送装置、所述接收装置和所述至少一个网络模拟器中的至少一者接收传输指标，；从所述相机接收所述视频；以及至少部分基于所述参考视频、所述传输指标和一个或多个QoE模型，计算所述视频的用户体验质量(QoE)分数。

【技术特征摘要】
【国外来华专利技术】2011.10.14 US 61/547,652;2012.10.11 US 13/649,8181.一种系统，该系统包括: 发送装置，被配置为将参考视频作为视频流传输； 接收装置，被配置为接收和播放所述视频流； 至少一个网络模拟器组件，被通信地耦合到所述发送装置和所述接收装置，以及被配置为将所述视频流从所述发送装置传输到所述接收装置； 相机，被配置为在所述接收装置播放所述视频流时捕捉所述接收装置的显示屏幕的视频；以及 测试控制器装置，被配置为: 将所述视频流从所述发送装置自动传输到所述接收装置，包括提供网络损伤设置到所述至少一个网络模拟器， 从所述发送装置、所述接收装置和所述至少一个网络模拟器中的至少一者接收传输指标，； 从所述相机接收 所述视频；以及 至少部分基于所述参考视频、所述传输指标和一个或多个QoE模型，计算所述视频的用户体验质量(QoE)分数。2.根据权利要求1所述的系统，其中所述至少一个网络模拟器为电信网络模拟器或互联网协议(IP)网络模拟器中的一者。3.根据权利要求1所述的系统，其中所述发送装置、所述接收装置、所述至少一个网络模拟器和所述相机每者被物理耦合到所述测试控制器装置。4.根据权利要求1所述的系统，该系统还包括视频中继服务器，该视频中继服务器经由IP网络连接到所述至少一个网络模拟器，以及被配置成从所述至少一个网络模拟器接收所述视频流和将所述视频流传输回所述至少一个网络模拟器。5.根据权利要求4所述的系统，其中所述视频中继服务器被配置为基于损伤设置执行所述传输或接收。6.一种方法，该方法包括: 由计算装置接收在接收装置播放视频流时捕捉的所述接收装置的显示屏幕的视频；由所述计算装置从参与向所述接收装置的所述视频流的传输的至少一个装置接收传输指标；以及 由所述计算装置至少部分基于参考视频、所述传输指标和一个或多个QoE模型计算所述视频的用户体验质量(QoE)分数。7.根据权利要求6所述的方法，其中接收所述视频包括从相机接收所述视频或从所述接收装置接收所述视频中的至少一者。8.根据权利要求6所述的方法，该方法还包括通过至少一个网络模拟器将所述参考视频作为所述视频流从发送装置自动传输到所述接收装置，包括提供网络损伤设置到所述至少一个网络模拟器。9.根据权利要求6所述的方法，其中所述接收装置从远程视频服务器接收所述视频流。10.根据权利要求6所述的方法，其中所述传输指标包括帧率、比特率、往返时间、呼叫建立时间或编码率中的至少一者。11.根据权利要求6所述的方法，其...

【专利技术属性】
技术研发人员：惠捷，M·F·伊兹丁，M·塞缪尔，
申请(专利权)人：T移动美国公司，
类型：发明
国别省市：美国;US