【技术实现步骤摘要】
本申请关于诸如在虚拟现实(vr)流媒体化中发生的空间不均等流媒体化。
技术介绍
1、vr流媒体化通常涉及极高分辨率视频的传输。人类中央凹的解析能力为每度约60个像素。若考虑360°×180°的完整球的传输，则传输可通过发送约22k×11k个像素的分辨率而结束。由于发送此高分辨率将产生极高的带宽需求，因此另一解决方案为仅发送头戴式显示器(hmd)处所展示的视口，其具有90°×90°的视场，从而产生约6k×6k个像素的视频。以最高分辨率发送完整视频与仅发送视口之间的折衷为以高分辨率发送视口且以较低分辨率或较低质量发送一些相邻数据(或球体视频的其余部分)。
2、在dash情境中，全向视频(亦称为球体视频)可以以之前所描述的混合分辨率或混合质量视频由dash客户端控制的方式提供。dash客户端仅需要知道描述内容如何提供的信息。
3、一个示例可以为提供具有不同投影的不同表示，其具有不对称特性，诸如针对视频的不同部分的不同质量及失真。每个表示将对应于给定视口且将使所述视口以比内容的其余部分高的质量/分辨率进行编码。知道定向信息(内容已经以较高质量/分辨率编码的视口的方向)，dash客户端可动态地选择一个或另一表示以在任何时间匹配用户的观察方向。
4、dash客户端为全向视频选择此不对称特性的更灵活选项可为当将视频分裂成若干空间区时，其中每一区可以不同分辨率或质量获得。一个选项可为基于栅格而将视频分裂成矩形区(亦称为图块)，但可预见其他选项。在此情况下，dash客户端将需要关于以其提供不同区的不同质量的一些
5、在先前情况中的任一个中，当用户交互发生且视口已改变时，dash客户端需要一些时间对用户移动做出反应且以匹配新视口的方式下载内容。在用户移动与dash客户端调适其请求以匹配新视口之间的时间期间，用户将在视口中同时看见高质量及低质量的一些区。虽然可接受质量/分辨率差异为内容相依的，但用户看见的质量在任何状况下都降低。
6、因此，即将具有缓解或更有效地显现或甚至增大关于通过自适应流媒体化而流媒体化的空间场景内容的部分呈现的用户的可见质量的概念可为有利的。
技术实现思路
1、因此，本专利技术的目的为提供用于以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小的概念，或提供用于以增大对其他应用情境的适用性的方式流媒体化空间场景内容的概念。
2、此目标通过申请中的独立权利要求的主题来达成。
3、本申请的第一方面基于如下发现：如果选择及提取的媒体片段和/或从服务器获得的信号作用为提取装置提供关于将时间变化的空间场景的不同部分编码至所选择和提取的媒体片段中所用的质量遵守的预定关系的提示，以空间不均等方式流媒体化关于时间变化的空间场景的媒体内容(诸如视频)可在可比较带宽消耗下的可见质量和/或流媒体化接收位点处的计算复杂度方面得到改进。否则，提取设备可能不会预先知道以不同质量编码至所选择及所提取的媒体片段中的部分的并列对用户所体验的总体可见质量有何负面影响。包含于媒体片段中的信息和/或从服务器获得的信号作用(诸如，清单文件(媒体呈现描述)或从服务器至客户端的额外流媒体化相关控制消息(诸如sand消息)内)使得提取装置能够于在服务器处提供的媒体片段当中进行适当选择。以此方式，视频内容的虚拟现实流媒体化或部分流媒体化可变得相对于质量降级更稳固，质量降级是因为至向用户呈现的时间变化的空间场景的此空间区段上的可用带宽的分布不足的缘故而发生。
4、本专利技术的另一方面基于如下发现：通过取决于包含于媒体片段中的信息和/或从服务器获得的信号作用而确定第一部分的大小和/或位置，以空间不均等方式(诸如在第一部分使用第一质量及在第二部分使用较低的第二质量或保留第二部分不流媒体化)流媒体化关于时间变化的空间场景的媒体内容(诸如视频)可在可见质量上得到改进，和/或关于流媒体化提取侧处的带宽消耗和/或计算复杂度变得较不复杂。举例而言，对于基于图块的流媒体化，设想时间变化的空间场景可以基于图块的方式在服务器处提供，亦即媒体片段可表示时间变化的空间场景的光谱时间部分，所述部分中的每一个可为在空间场景经细分成的图块的分布的对应图块内的空间场景的时间片段。在此情况下，由提取装置(客户端)关于如何在空间场景中(即，以图块粒度)分布可用带宽和/或计算能力作出决定。提取装置可执行对媒体片段的选择，以至空间场景的第一部分(其分别地跟随追踪空间场景的时间变化的观察区段)以预定质量编码至所选择及所提取的媒体片段中，所述预定质量可(例如)为在当前带宽和/或计算能力条件下可实行的最高质量。举例而言，空间上邻近的空间场景的第二部分可不编码至所选择及所提取的媒体片段中，或可以相对于所述预定质量降低的另一质量编码至所述媒体片段中。在此情形中，计算邻近图块的数目/计数在计算上复杂或甚至不可实行，所述图块的聚集完全覆盖时间变化的观察区段，与观察区段的定向无关。取决于被选择以便将空间场景映射至个别图块上的投影，每个图块的角形场景覆盖范围可在此场景中变化，且个别图块可相互重迭的事实甚至使得对就空间而言(与观察区段的定向无关)足以覆盖观察区段的邻近图块的计数的计算更困难。因此，在此情形中，前述信息可将第一部分的大小分别地指示为图块的计数n或图块的数目。通过此措施，装置将能够通过选择具有以预定质量经编码的n个图块的共置聚集的那些媒体片段来追踪时间变化的观察区段。这些n个图块的聚集充分地覆盖观察区段的事实可通过指示n的信息来保证。另一示例可为包含于媒体片段中的信息和/或从服务器获得的信号作用，其指示相对于观察区段自身的大小的第一部分的大小。举例而言，此信息可在某种程度上设置实际观察区段周围的“安全区带”或预取区带，以便考虑时间变化的观察区段的移动。时间变化的观察区段移跨空间场景移动时的速度越大，安全区带应越大。因此，前述信息可以相对于时间变化的观察区段的大小的方式(诸如以增量或缩放方式)来指示第一部分的大小。根据此信息设置第一部分的大小的提取装置将能够避免质量降级，质量降级可因空间场景的未提取或低质量部分在观察区段中可见的缘故而另外发生。此处，此场景以基于图块的方式提供或以一些其他方式提供是不相关的。
5、与本申请的刚才提及方面相关，可使得编码有视频的视频比特流可以增加的质量解码，条件为视频比特流具备关于所述视频内的聚焦区域的大小的信号作用，用于解码视频的解码能力应集中至所述聚焦区域。通过此措施，解码来自比特流的视频的解码器可将其解码视频的解码能力集中至或甚至限于具有在所述视频比特流中用信号通知的聚焦区域的大小的部分上，从此知道(例如)如此解码的部分是通过可用解码能力可解码的，且在空间上覆盖视频的所要区段。举例而言，如此信号通知的聚焦区域的大小可被选择为足够大，以便覆盖观察区段的大小及此观察区段的移动，从而考虑解码视频时的解码延时。或者，换言之，包含于视频比本文档来自技高网...
【技术保护点】
1.一种非暂时性数字存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机程序用于执行用于将视频编码到视频比特流的方法，其中所述视频以一方式编码到所述视频比特流中，根据所述方式，空间场景以空间完整方式以空间变化的取样分辨率被编码到所述视频的图片中，其中所述空间场景使用立方体投影被映射到所述视频的图片中；所述方法包括：
【技术特征摘要】
1.一种非暂时性数字存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机程序用于执行用于将视频编码到视频比特流的方法，其中所述视频以一方式编码到所...
【专利技术属性】
技术研发人员：罗伯特·斯库皮，哥尼流·赫勒格，托马斯·斯基尔勒，雅格·桑切斯·德·拉·富恩特，迪米特里·普德保斯基，托马斯·威甘德，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。