MMT资产和具有包含多个QOE操作点的改进的MMT QOS描述符的ISOBMFF的增强的失真信令制造技术

一种在计算机网络中提供媒体内容的方法，包含：存储媒体内容，其中所述媒体内容包括具有帧组的段。该方法还包括：确定到客户端设备的业务的传输速率。所述方法进一步包括：基于下列来选择要从帧组中放弃的帧的子集：(i)传输速率和(ii)所述帧的子集中的每一帧的帧差失真(FDIFF)度量。该方法还包括：通过从所述帧组中放弃所选择的帧的子集来定型所述段，其中，所定型的段具有比所述段低的比特率。此外，该方法包括向客户端设备发送所定型的段。

【技术实现步骤摘要】
【国外来华专利技术】
本公开一般涉及视频内容递送系统。更具体地，本公开涉及运动图像专家组(MPEG)媒体传输(MMT)资产和具有包含多个(QOE)操作点的改进的MMT服务质量(QoS)描述符的国际标准化组织(ISO)基础媒体文件格式(ISOBMFF)的增强的失真信令。
技术介绍
用户希望在因特网上接收高清晰(HD)或超高清(UHD)视频内容。因特网的当前状态支持HD或UHD质量的视频的流传输，但是通信链路的拥塞是有限带宽引起的许多问题之一。因特网网络常常通过降低流传输到最终用户的客户端设备的视频内容的传输速率来加速视频内容的递送。运动图像专家组(MPEG)媒体传输(MMT)是支持高级特性(诸如内容感知的流传输，内容感知的联网和层感知的前向纠错(FEC))的多媒体传输。当网络拥塞时，MMT的高级特性使得发送装置能够通过放弃某些分组来降低传输速率，以及通过使用度量以选择要放弃的不太重要的分组来控制质量劣化。峰值信噪比(PSNR)和结构相似性(SSIM)是表征量化引起的失真的度量。但是，PSNR和SSIM度量不表征由与量化引起的失真不同的帧放弃引起的失真。在MMT中，资产递送特性(ADC)实体包括：服务质量(QoS)参数，其消除瓶颈并促进内容感知业务定型中的更好的网络路由器操作。因特网的当前状态发送在资产级别的ADC(包括QoS信息)，但是路由器可以在不同级别的粒度(即，比所述资产级别细的段级别)操作。此外，目前的ADC实体不包括指定在体验质量(QoE)中的流传输时间分组放弃决策和结果的信息。
技术实现思路
技术方案在第一个实施例，一种用于在计算机网络中提供媒体内容的设备包括：存储器，被配置成存储媒体内容，其中所述媒体内容包含具有帧组的段。所述设备还包括至少一个处理设备，被配置成确定在所述设备和客户端设备之间的业务的传输速率。所述至少一个处理设备还被配置成基于下列来选择要从帧组中放弃的帧的子集：(i)传输速率和(ii)所述帧的子集中的每一帧的帧差失真(FDIFF)度量。所述至少一个处理设备进一步被配置成通过从所述帧组中放弃所选择的帧的子集来定型所述段，其中，所定型的段具有比所述段低的比特率。而且，所述至少一个处理设备被配置成发起向客户端设备发送所定型的段。在第二实施例，一种用于在计算机网络中提供媒体内容的系统包括：存储器，被配置成存储媒体内容，其中所述媒体内容包括具有帧组的段。所述系统还包括：至少一个处理设备，被配置成通过执行对每一操作点的梯度搜索来生成多个比特率降低的操作点。所述至少一个处理设备还被配置成生成每一操作点的体验质量(QoE)参数集。所述至少一个处理设备被进一步配置成发起资产递送特性(ADC)的发送，其中所述ADC包括操作点和与每一操作点对应的QoE参数集。在第三实施例中，一种在计算机网络中提供媒体内容的方法包括存储媒体内容，其中所述媒体内容包括具有帧组的段。所述方法还包括确定到客户端设备的业务的传输速率。所述方法进一步包括基于下列来选择要从帧组中放弃的帧的子集：(i)传输速率和(ii)所述帧的子集中的每一帧的帧差失真(FDIFF)度量。所述方法还包括通过从所述帧组中放弃所选择的帧的子集来定型所述段，其中，所定型的段具有比所述段低的比特率。而且，所述方法包括向客户端设备发送所定型的段。从下面附图、描述和权利要求，其它技术特征可以容易地被本领域技术人员理解。在进行下面的详细描述之前，阐述贯穿本专利文档使用的特定词语和短语的定义可能是有利的。术语“耦合”及其派生词是指两个或更多元件之间的任何直接或间接通信，无论这些元件是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词包括直接和间接通信。术语“包括”和“包含”及其派生词是指没有限制的包括。术语“或”是包含的，意味着和/或。“与…关联”及其派生词是指包括，被包括在内，互连，包含，被包含在内，连接到或与…连接，耦合到或与…耦合，可与…通信，与…合作，交织，并列，接近，被绑定到或与…绑定，具有，具有…的属性，有与…的关系或与…有关系或类似。术语“控制器”是指控制至少一个操作的任何装置、系统或其部分。这样的控制器可以以硬件或硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是集中式或分布式的，无论是本地还是远程。短语“至少一个”当与项目的列表一起使用时意思是可以使用所列项的一个或多个的不同组合，并且可能仅需要在列表中的一个项目。例如，“A，B和C中的至少一个”包括下列任何组合：A，B，C，A和B，A和C，B和C，以及A和B和C。此外，以下描述的各种功能可以被由一个或多个计算机程序实现或支持，其中每一个由计算机可读程序代码形成并包含在计算机可读介质中。术语“应用”和“程序”指一个或多个计算机程序，软件组件，指令集，过程，函数，对象，类，实例，相关数据或其部分，适合于以合适的计算机可读程序代码来实施。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码，目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(ROM)，随机存取存储器(RAM)，硬盘驱动器，致密盘(CD)，数字视频盘(DVD)，或者任何其它类型的存储器。“非临时性”计算机可读介质不包括有线，无线，光学，或运输短暂电力或其它信号的其它通信链路。非临时性计算机可读介质包括其中数据可被永久地存储的媒体，其中数据可以被永久地存储并且以后可被覆盖的媒体，诸如可重写光盘或可擦除存储装置。贯穿本专利文档提供了其它特定词语和短语的定义。本领域普通技术人员应当理解，即使不是在大部分情况下，也是在许多情况下，这样的定义适用于这样定义的词和短语的现有以及将来使用。附图说明为了更完整地理解本公开，现在参考下面结合附图进行的描述，在其中：图1图解了根据本公开的示例计算系统；图2和3图解了根据本公开的在计算系统中的示例装置；图4图解了根据本公开的示例帧组的每帧的帧放弃引起的失真的图表；图5图解了根据本公开的另一示例帧组的每帧的帧放弃引起的失真的图像元素的数量的图表；图6a-6d图解了根据本公开的来自示例视频序列的帧；图7a-7d图解了来自图6a-6d的视频序列的每帧的帧重要性的图表，并且图7e图解了根据本公开的来自图6b-6c的示例视频段的开头240个帧的帧重要性的图表；图8a-8c中图解了根据本公开的与示例视频序列对应的每帧的B帧引起的时间失真的图表；图9图解了根据本公开的用于计算帧损失时间失真(FLTD)度量的连续损失帧的帧重要性(FSIG)值的示例矢量图；图10图解了根据本公开的示例帧组；图11图解了根据本公开的示例分层B帧结构；图12图解了根据本公开的图7b的视频序列的时间失真的示例图表。图13a-13c图解了与根据本公开的与放弃在图6a-6c中的视频序列的B帧相关联的示例帧速率降低的图表。图14a-14c图解了根据本公开的作为与放弃在图6a-6c中的视频序列的B帧相关联的帧速率降低的函数的示例失真的图表；图15图解了根据本公开的用于在计算机网络中提供媒体内容的示例过程；和图16图解了根据本公开的用于从帧组中选择要放弃的帧的子集的示例过程。具体实施方式在本专利文件中的下面讨论的图1到16和用于描述本专利技术的原理的各种实施例仅仅是通过举例说明，并且本文档来自技高网...

【技术保护点】
一种用于在计算机网络中提供媒体内容的设备，所述设备包括：存储器，被配置成存储媒体内容，所述媒体内容包含包括帧组的段；和至少一个处理设备，被配置成：确定在所述设备和客户端设备之间的业务的传输速率；基于下列来选择要从帧组中放弃的帧的子集：(i)传输速率和(ii)所述帧的子集中的每一帧的帧差失真(FDIFF)度量；通过从所述帧组中放弃所选择的帧的子集来定型所述段，其中，所定型的段具有比所述段低的比特率；并且发起向客户端设备发送所定型的段。

【技术特征摘要】
【国外来华专利技术】2014.03.25 US 61/970,190;2014.03.25 US 61/970,196;1.一种用于在计算机网络中提供媒体内容的设备，所述设备包括：存储器，被配置成存储媒体内容，所述媒体内容包含包括帧组的段；和至少一个处理设备，被配置成：确定在所述设备和客户端设备之间的业务的传输速率；基于下列来选择要从帧组中放弃的帧的子集：(i)传输速率和(ii)所述帧的子集中的每一帧的帧差失真(FDIFF)度量；通过从所述帧组中放弃所选择的帧的子集来定型所述段，其中，所定型的段具有比所述段低的比特率；并且发起向客户端设备发送所定型的段。2.如权利要求1所述的设备，其中，所述至少一个处理设备被配置成计算指示在一个序列中的帧组中的帧的相对重要性的帧重要性(FSIG)值。3.如权利要求2所述的设备，其中，所述至少一个处理设备被配置成从所述帧组中选择其FSIG值小于阈值重要性水平的帧。4.如权利要求2所述的设备，其中，所述FSIG值根据下列数学式定义：vk＝d(fk，fk-1)＝(S·fk-S·fk-1)TATA(S·fk-S·fk-1)，其中，vk是FSIG值的矢量表示，fk表示第k帧，fk-1表示前一帧，S表示bi-cubicle滤波和下采样函数，A表示度量。5.如权利要求1所述的设备，其中，所述至少一个处理设备被进一步配置成根据下列数学式计算FDIFF度量：d(fj，fk)＝(S·fj-S·fk)TATA(S·fj-S·fk)，其中，fj表示实际上正被显示的帧，fk表示计划要显示的帧，S表示bi-cubicle滤波和下采样函数，A表示度量。6.如权利要求1所述的设备，其中，所述至少一个处理设备被配置成从所述帧组中选择其FDIFF度量小于阈值失真水平的帧。7.如权利要求1所述的设备，其中，所述至少一个处理设备被进一步配置成使用在所述帧组中的帧的微分重要性来确定在段中的序列活动水平。8.如权利要求1所述的设备，其中：帧损失时间失真(FLTD)度量是基于帧重要性(FSIG)值的FSIG加权的FLTD度量；和所述至少一个处理设备被配置成根据下列数学式计算FSIG加权的FLTD度量： d ( f k , f k - p ) = Σ j = 1 p e - a ( j - 1 ) v k ]]>fk-p表示所述帧组中的在第k帧前p个帧的帧，j表示在第k帧前的多个帧的索引，e是欧拉数，和a表示指数衰减率。9.如权利要求8所述的设备，其中，所述至少一个处理设备被进一步配置成基于具有与编码帧的解码依赖性的依赖帧的数量计算FSIG加权的FLTD度量以便对于每个依赖帧增加FSIG加权的FLTD度量。10.如权利要求1所述的设备，其中，所述至少一个处理设备被进一步配置成：接收被聚合为资产递送特性(ADC)的服务质量(QoS)描述和体验质量(QoE)描述，其包括多个比特率降低的操作点和与每个操作点关联的QoE参数集，每一QoE参数集包括：帧放弃索引集，其指示要从帧组中放弃以产生对应于所关联的操作点的比特率降低的帧的列表；从通过放弃由帧放弃索引集指示的帧而获得的比特率降低得到的总比特率；所述段的空间失真度量；和基于帧重要性(FSIG)值的段的帧重要性加权的帧损失时间失真度量；和选择其总比特率最接近传输速率的操作点；其中，至少一个处理设备被配置成选择由所选择操作点的帧放弃索引集指示的帧列表作为帧子集。11.一种用于在计算机网络中提供媒体内容的系统，所述系统包括：存储器，被配置成存储媒体内容、所述媒体内容包括包含帧组的段；和至少一个处理设备，被配置成：通过执行对每一操作点的梯度搜索来生成多个比特率降低的操作点；生成每一操作点的体验质量(QoE)...

【专利技术属性】
技术研发人员：Z李，I布瓦齐齐，朴勍模，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR