空间不均等流媒体化制造技术

描述针对媒体内容流媒体化的各种概念。一些概念允许以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小。其他概念允许以增大对其他应用情境的适用性的方式流媒体化空间场景内容。方式流媒体化空间场景内容。方式流媒体化空间场景内容。

【技术实现步骤摘要】
空间不均等流媒体化
[0001]本申请是申请人为弗朗霍夫应用科学研究促进协会、申请日为2017年10月11日、申请号为201780076761.7、专利技术名称为“空间不均等流媒体化”的分案申请。


[0002]本申请关于诸如在虚拟现实(VR)流媒体化中发生的空间不均等流媒体化。

技术介绍

[0003]VR流媒体化通常涉及极高分辨率视频的传输。人类中央凹的解析能力为每度约60个像素。若考虑360
°×
180
°
的完整球的传输，则传输可通过发送约22k
×
11k个像素的分辨率而结束。由于发送此高分辨率将产生极高的带宽需求，因此另一解决方案为仅发送头戴式显示器(HMD)处所展示的视口，其具有90
°×
90
°
的视场，从而产生约6k
×
6k个像素的视频。以最高分辨率发送完整视频与仅发送视口之间的折衷为以高分辨率发送视口且以较低分辨率或较低质量发送一些相邻数据(或球体视频的其余部分)。
[0004]在DASH情境中，全向视频(亦称为球体视频)可以以之前所描述的混合分辨率或混合质量视频由DASH客户端控制的方式提供。DASH客户端仅需要知道描述内容如何提供的信息。
[0005]一个示例可以为提供具有不同投影的不同表示，其具有不对称特性，诸如针对视频的不同部分的不同质量及失真。每个表示将对应于给定视口且将使所述视口以比内容的其余部分高的质量/分辨率进行编码。知道定向信息(内容已经以较高质量/分辨率编码的视口的方向)，DASH客户端可动态地选择一个或另一表示以在任何时间匹配用户的观察方向。
[0006]DASH客户端为全向视频选择此不对称特性的更灵活选项可为当将视频分裂成若干空间区时，其中每一区可以不同分辨率或质量获得。一个选项可为基于栅格而将视频分裂成矩形区(亦称为图块)，但可预见其他选项。在此情况下，DASH客户端将需要关于以其提供不同区的不同质量的一些信令，且DASH客户端可以不同质量下载不同区，使得向用户展示的视口的质量优于其他未展示内容。
[0007]在先前情况中的任一个中，当用户交互发生且视口已改变时，DASH客户端需要一些时间对用户移动做出反应且以匹配新视口的方式下载内容。在用户移动与DASH客户端调适其请求以匹配新视口之间的时间期间，用户将在视口中同时看见高质量及低质量的一些区。虽然可接受质量/分辨率差异为内容相依的，但用户看见的质量在任何状况下都降低。
[0008]因此，即将具有缓解或更有效地显现或甚至增大关于通过自适应流媒体化而流媒体化的空间场景内容的部分呈现的用户的可见质量的概念可为有利的。

技术实现思路

[0009]因此，本专利技术的目的为提供用于以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小的概念，或
提供用于以增大对其他应用情境的适用性的方式流媒体化空间场景内容的概念。
[0010]此目标通过申请中的独立权利要求的主题来达成。
[0011]本申请的第一方面基于如下发现：如果选择及提取的媒体片段和/或从服务器获得的信号作用为提取装置提供关于将时间变化的空间场景的不同部分编码至所选择和提取的媒体片段中所用的质量遵守的预定关系的提示，以空间不均等方式流媒体化关于时间变化的空间场景的媒体内容(诸如视频)可在可比较带宽消耗下的可见质量和/或流媒体化接收位点处的计算复杂度方面得到改进。否则，提取设备可能不会预先知道以不同质量编码至所选择及所提取的媒体片段中的部分的并列对用户所体验的总体可见质量有何负面影响。包含于媒体片段中的信息和/或从服务器获得的信号作用(诸如，清单文件(媒体呈现描述)或从服务器至客户端的额外流媒体化相关控制消息(诸如SAND消息)内)使得提取装置能够于在服务器处提供的媒体片段当中进行适当选择。以此方式，视频内容的虚拟现实流媒体化或部分流媒体化可变得相对于质量降级更稳固，质量降级是因为至向用户呈现的时间变化的空间场景的此空间区段上的可用带宽的分布不足的缘故而发生。
[0012]本专利技术的另一方面基于如下发现：通过取决于包含于媒体片段中的信息和/或从服务器获得的信号作用而确定第一部分的大小和/或位置，以空间不均等方式(诸如在第一部分使用第一质量及在第二部分使用较低的第二质量或保留第二部分不流媒体化)流媒体化关于时间变化的空间场景的媒体内容(诸如视频)可在可见质量上得到改进，和/或关于流媒体化提取侧处的带宽消耗和/或计算复杂度变得较不复杂。举例而言，对于基于图块的流媒体化，设想时间变化的空间场景可以基于图块的方式在服务器处提供，亦即媒体片段可表示时间变化的空间场景的光谱时间部分，所述部分中的每一个可为在空间场景经细分成的图块的分布的对应图块内的空间场景的时间片段。在此情况下，由提取装置(客户端)关于如何在空间场景中(即，以图块粒度)分布可用带宽和/或计算能力作出决定。提取装置可执行对媒体片段的选择，以至空间场景的第一部分(其分别地跟随追踪空间场景的时间变化的观察区段)以预定质量编码至所选择及所提取的媒体片段中，所述预定质量可(例如)为在当前带宽和/或计算能力条件下可实行的最高质量。举例而言，空间上邻近的空间场景的第二部分可不编码至所选择及所提取的媒体片段中，或可以相对于所述预定质量降低的另一质量编码至所述媒体片段中。在此情形中，计算邻近图块的数目/计数在计算上复杂或甚至不可实行，所述图块的聚集完全覆盖时间变化的观察区段，与观察区段的定向无关。取决于被选择以便将空间场景映射至个别图块上的投影，每个图块的角形场景覆盖范围可在此场景中变化，且个别图块可相互重迭的事实甚至使得对就空间而言(与观察区段的定向无关)足以覆盖观察区段的邻近图块的计数的计算更困难。因此，在此情形中，前述信息可将第一部分的大小分别地指示为图块的计数N或图块的数目。通过此措施，装置将能够通过选择具有以预定质量经编码的N个图块的共置聚集的那些媒体片段来追踪时间变化的观察区段。这些N个图块的聚集充分地覆盖观察区段的事实可通过指示N的信息来保证。另一示例可为包含于媒体片段中的信息和/或从服务器获得的信号作用，其指示相对于观察区段自身的大小的第一部分的大小。举例而言，此信息可在某种程度上设置实际观察区段周围的“安全区带”或预取区带，以便考虑时间变化的观察区段的移动。时间变化的观察区段移跨空间场景移动时的速度越大，安全区带应越大。因此，前述信息可以相对于时间变化的观察区段的大小的方式(诸如以增量或缩放方式)来指示第一部分的大小。根据此信息
设置第一部分的大小的提取装置将能够避免质量降级，质量降级可因空间场景的未提取或低质量部分在观察区段中可见的缘故而另外发生。此处，此场景以基于图块的方式提供或以一些其他方式提供是不相关的。
[0013]与本申请的刚才提及方面相关，可使得编码有视频的视频比特流可以增加的质量解码，条件为视频比特流具备关于所述视频内的聚焦区域的大小的信号作用，用于解码视频的解码能力应集中至所述聚焦区域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于流媒体化关于时间变化的空间场景(30)的媒体内容的装置，被配置为：从服务器(20)上可用的多个(46)媒体片段(58)中选择(56)媒体片段，所选择的媒体片段来自所述服务器(20)，其中所述装置被配置为：执行所述选择，使得所选择的媒体片段至少具有编码至其中的所述时间变化的空间场景(30)的空间区段(62)，编码方式为：所述空间区段的第一部分(64)被以预定质量编码至所选择的媒体片段中，且在空间上邻近所述第一部分(64)的所述时间变化的空间场景的第二部分(66)被以另一质量编码至所选择的媒体片段中，所述另一质量相对于所述预定质量满足预定关系，以及从包含于所选择的媒体片段中的信息(68)和/或从所述服务器(20)获得的信号作用而得出所述预定关系。2.一种用于流媒体化关于时间变化的空间场景(30)的媒体内容的装置，被配置为：从服务器(20)(20)上可用的多个(46)媒体片段(58)中选择媒体片段，其中所述装置被配置为：执行所述选择，使得所选择的媒体片段至少具有编码至其中的所述时间变化的空间场景(30)的空间区段(62)，编码方式为：所述空间区段(62)的第一部分(64)以预定质量编码至所选择的媒体片段中，且在空间上邻近所述第一部分(64)的所述时间变化的空间场景的第二部分(66；72)不被编码至所选择的媒体片段中或以相对于所述预定质量降低的另一质量被编码至所选择的媒体片段中，以及使得所述第一部分(64)跟随所述时间变化的空间场景(30)的时间变化的观察区段(28)，以及取决于包含于所选择的媒体片段中的信息(74)和/或从所述服务器获得的信号作用而设置所述第一部分(64)的大小和/或位置。3.一种用于流媒体化关于时间变化的空间场景(30)的媒体内容的方法，包括：从服务器(20)上可用的多个(46)媒体片段(58)中选择(56)媒体片段，从所述服务器(20)提取(60)所选择的媒体片段，执行所述选择，以使得所选择的媒体片段至少具有编码至其中的所述时间变化的空间场景(30)的空间区段(62)，编码方式为：所述空间区段的第一部分(64)被以预定质量编码至所选择的媒体片段中，且在空间上邻近所述第一部分(64)的所述时间变化的空间场景的第二部分(66)被以另一质量编码至所选择的媒体片段中，所述另一质量相对于所述预定质量满足预定关系，以及所述方法进一步包括从包含于所选择的媒体片段中的信息(68)和/或从所述服务器(20)获得的信号作用而得出所述预定关系。4.一种用于流媒体化关于时间变化的空间场景的媒体内容的方法，包括：使多个媒体片段可用以用于被装置提取，从而使所述装置能够选择用于提取的媒体片段，所选择的媒体片段至少具有编码至其中的所述时间变化的空间场景的空间区段，编码方式为：所述空间区段的第一部分被以预定质量编码至所选择的媒体片段中，且在空间上邻近所述第一部分的所述时间变化的空间场景的第二部分被以另一质量编码至所选择的媒体片段中，以及在所述媒体片段中和/或通过至所述装置的信号作用而用信号通知关于预定关系的信
息，所述另一质量关于所述预定质量满足所述预定关系。5.一种用于流媒体化关于时间变化的空间场景(30)的媒体内容的方法，包括：从服务器(20)上可用的多个(46)媒体片段(58)中选择媒体片段，从所述服务器(20)提取所选择的媒体片段，其中执行所述选择，使得所选择的媒体片段至少具有编码至其中的所述时间变化的空间场景(30)的空间区段(62)，编码方式为：所述空间区段(62)的第一部分(64)被以预定质量编码至所选择的媒体片段中，且在空间上邻近所述第一部分(64)的所述时间变化的空间场景的第二部分(66；72)不被编码至所选择的媒体片段中或以相对于所述预定质量降低的另一质量被编码至所选择的媒体片段中，以及使得所述第一部分(64)跟随所述时间变化的空间场景(30)的时间变化的观察区段(28)，以及所述方法进一步包括取...

【专利技术属性】
技术研发人员：罗伯特，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：