【技术实现步骤摘要】
【国外来华专利技术】空间不均等流媒体化
本申请关于诸如在虚拟现实(VR)流媒体化中发生的空间不均等流媒体化。
技术介绍
VR流媒体化通常涉及极高分辨率视频的传输。人类中央凹的解析能力为每度约60个像素。若考虑360°×180°的完整球的传输,则传输可通过发送约22k×11k个像素的分辨率而结束。由于发送此高分辨率将产生极高的带宽需求,因此另一解决方案为仅发送头戴式显示器(HMD)处所展示的视口,其具有90°×90°的视场,从而产生约6k×6k个像素的视频。以最高分辨率发送完整视频与仅发送视口之间的折衷为以高分辨率发送视口且以较低分辨率或较低质量发送一些相邻数据(或球体视频的其余部分)。在DASH情境中,全向视频(亦称为球体视频)可以以之前所描述的混合分辨率或混合质量视频由DASH客户端控制的方式提供。DASH客户端仅需要知道描述内容如何提供的信息。一个示例可以为提供具有不同投影的不同表示,其具有不对称特性,诸如针对视频的不同部分的不同质量及失真。每个表示将对应于给定视口且将使所述视口以比内容的其余部分高的质量/分辨率进行编码。知道定向信息(内容已经以较高质量/分辨率编码的视口的方向),DASH客户端可动态地选择一个或另一表示以在任何时间匹配用户的观察方向。DASH客户端为全向视频选择此不对称特性的更灵活选项可为当将视频分裂成若干空间区时,其中每一区可以不同分辨率或质量获得。一个选项可为基于栅格而将视频分裂成矩形区(亦称为图块),但可预见其他选项。在此情况下,DASH客户端将需要关于以其提供不同区的不同质量的一些信令,且DASH客户端可以不同质量下载不同区,使得向用户展示的视口 ...
【技术保护点】
1.一种用于流媒体化关于时间变化的空间场景(30)的媒体内容的装置,被配置为:从服务器(20)上可用的多个(46)媒体片段(58)中选择(56)媒体片段,所选择的媒体片段来自所述服务器(20),其中所述装置被配置为:执行所述选择,使得所选择的媒体片段至少具有编码至其中的所述时间变化的空间场景(30)的空间区段(62),编码方式为:所述空间区段的第一部分(64)被以预定质量编码至所选择的媒体片段中,且在空间上邻近所述第一部分(64)的所述时间变化的空间场景的第二部分(66)被以另一质量编码至所选择的媒体片段中,所述另一质量相对于所述预定质量满足预定关系,以及从包含于所选择的媒体片段中的信息(68)和/或从所述服务器(20)获得的信号作用而得出所述预定关系。
【技术特征摘要】
【国外来华专利技术】2016.10.12 EP EP16193601;2017.07.08 EP EP171804031.一种用于流媒体化关于时间变化的空间场景(30)的媒体内容的装置,被配置为:从服务器(20)上可用的多个(46)媒体片段(58)中选择(56)媒体片段,所选择的媒体片段来自所述服务器(20),其中所述装置被配置为:执行所述选择,使得所选择的媒体片段至少具有编码至其中的所述时间变化的空间场景(30)的空间区段(62),编码方式为:所述空间区段的第一部分(64)被以预定质量编码至所选择的媒体片段中,且在空间上邻近所述第一部分(64)的所述时间变化的空间场景的第二部分(66)被以另一质量编码至所选择的媒体片段中,所述另一质量相对于所述预定质量满足预定关系,以及从包含于所选择的媒体片段中的信息(68)和/或从所述服务器(20)获得的信号作用而得出所述预定关系。2.如权利要求1所述的装置,其中所述多个(46)媒体片段中的每一媒体片段具有编码至其中的处于一组质量水平中的相关联质量水平下的所述时间变化的空间场景(30)的相关联时空部分。3.如权利要求2所述的装置,其中编码至所述多个(46)媒体片段中的所述时间变化的空间场景(30)的时空部分中的每一个是处于所述时间变化的空间场景(30)在空间上细分成的图块(50)中的相应一个处的所述时间变化的空间场景(30)的时间片段(54)。4.如权利要求1至3中任一项所述的装置,其中所述信息(64)指示用于所述另一质量与所述预定质量之间的差异的度量的可忍受值。5.如权利要求4所述的装置,其中以取决于与观察区段(28)的距离的方式,所述信息(68)指示用于所述另一质量与所述预定质量之间的差异的度量的所述可忍受值。6.如权利要求4或5所述的装置,其中通过与所述观察区段(28)的相应距离及用于超出所述相应距离的所述差异的度量的对应可忍受值的对的列表,所述信息以取决于与所述观察区段(28)的距离的方式指示用于所述另一质量与所述预定质量之间的差异的度量的所述可忍受值。7.如权利要求4至6中任一项所述的装置,其中所述信息(64)指示用于所述另一质量与所述预定质量之间的差异的度量的所述可忍受值,使得所述可忍受值随着与所述观察区段的距离增加而增加。8.如权利要求4至7中任一项所述的装置,其中所述信息(64)指示用于所述另一质量与所述预定质量之间的差异的度量的所述可忍受值,以及所述第二部分能够与所述第一部分一起在所述观察区段内的最大允许时间间隔的指示。9.如权利要求8所述的装置,其中所述信息(64)指示用于所述另一质量与所述预定质量之间的差异的度量的另一可忍受值,以及所述第二部分能够与所述第一部分一起在所述观察区段内的另一最大允许时间间隔的指示。10.如权利要求4至9中任一项所述的装置,其中所述信息(64)为时变和/或空间变化的。11.如权利要求1至10中任一项所述的装置,其中所述信息(64)指示用于所述另一质量及所述预定质量的允许的并发设置对。12.如权利要求1至11中任一项所述的装置,其中所述装置被配置为执行所述选择,使得所述第一部分(64)跟随所述时间变化的空间场景(30)的时间变化的观察区段(28)。13.如权利要求12所述的装置,其中所述装置被配置为使得所述时间变化的观察区段(28)的空间位置根据用户输入而改变。14.如权利要求1至13中任一项所述的装置,其中所述装置被配置为确定所述第一部分(64)以便与感兴趣区对应。15.如权利要求14所述的装置,其中所述装置被配置为从所述服务器提取关于所述感兴趣区的信息。16.一种用于关于时间变化的空间场景的媒体内容的流媒体服务器,被配置为:使多个媒体片段可用以用于被装置提取,从而使所述装置能够选择用于提取的媒体片段,所述媒体片段至少具有编码至其中的所述时间变化的空间场景的空间区段,编码方式为:所述空间区段的第一部分被以预定质量编码至所选择的媒体片段中,且在空间上邻近所述第一部分的所述时间变化的空间场景的第二部分被以另一质量编码至所选择的媒体片段中,以及在所述媒体片段中和/或通过至所述装置的信号作用而用信号通知关于预定关系的信息,所述另一质量关于所述预定质量满足所述预定关系。17.如权利要求16所述的流媒体服务器,其中所述多个(46)媒体片段中的每个媒体片段具有编码至其中的处于一组质量水平中的相关联质量水平下的所述时间变化的空间场景(30)的相关联时空部分。18.如权利要求17所述的流媒体服务器,其中编码至所述多个(46)媒体片段中的所述时间变化的空间场景(30)的所述时空部分中的每个是处于所述时间变化的空间场景(30)在空间上细分成的图块(50)中的相应一个处的所述时间变化的空间场景(30)的时间片段(54)。19.如权利要求16至18中任一项所述的流媒体服务器,其中所述信息(64)指示用于所述另一质量与所述预定质量之间的差异的度量的可忍受值。20.如权利要求19所述的流媒体服务器,其中以取决于与观察区段(28)的距离的方式,所述信息(68)指示用于所述另一质量与所述预定质量之间的差异的度量的所述可忍受值。21.如权利要求19或20所述的流媒体服务器,其中通过与所述观察区段(28)的相应距离及用于超出所述相应距离的差异的度量的对应可忍受值的对的列表,所述信息以取决于与所述观察区段(28)的距离的方式指示用于所述另一质量与所述预定质量之间的差异的所述度量的所述可忍受值。22.如权利要求19至21中任一项所述的流媒体服务器,其中所述信息(64)指示用于所述另一质量与所述预定质量之间的差异的度量的所述可忍受值,使得所述可忍受值随着与所述观察区段的距离增加而增加。23.如权利要求19至22中任一项所述的流媒体服务器,其中所述信息(64)指示用于所述另一质量与所述预定质量之间的差异的度量的所述可忍受值,以及所述第二部分能够与所述第一部分一起在所述观察区段内的最大允许时间间隔的指示。24.如权利要求23所述的流媒体服务器,其中所述信息(64)指示用于所述另一质量与所述预定质量之间的差异的度量的另一可忍受值,以及所述第二部分能够与所述第一部分一起在所述观察区段内的另一最大允许时间间隔的指示。25.如权利要求19至24中任一项所述的流媒体服务器,其中所述信息(64)为时变和/或空间变化的。26.如权利要求19至25中任一项所述的流媒体服务器,其中所述信息(64)指示用于所述另一质量及所述预定质量的允许的并发设置对。27.如权利要求19至6中任一项所述的流媒体服务器,其中所述服务器被配置为将关于感兴趣区的信息发送至所述装置。28.一种媒体呈现描述,包括:关于计算多个媒体片段的地址的信息,使得装置使用所述信息能够从所述多个媒体片段中选择及提取媒体片段,所述媒体片段至少具有编码至其中的所述时间变化的空间场景的空间区段,编码方式为:所述空间区段的第一部分被以预定质量编码至所选择的媒体片段中,且在空间上邻近所述第一部分的所述时间变化的空间场景的第二部分被以另一质量编码至所选择的媒体片段中,以及关于预定关系的信息(64),所述另一质量关于所述预定质量满足所述预定关系。29.如权利要求28所述的媒体呈现描述,其中所述多个(46)媒体片段中的每个媒体片段具有编码至其中的处于一组质量水平中的相关联质量水平下的所述时间变化的空间场景(30)的相关联时空部分。30.如权利要求29所述的媒体呈现描述,其中编码至所述多个(46)媒体片段中的所述时间变化的空间场景(30)的所述时空部分中的每个是处于所述时间变化的空间场景(30)在空间上细分成的图块(50)中的相应一个处的所述时间变化的空间场景(30)的时间片段(54)。31.如权利要求28至30中任一项所述的媒体呈现描述,其中所述信息(64)指示用于所述另一质量与所述预定质量之间的差异的度量的可忍受值。32.如权利要求31所述的媒体呈现描述,其中以取决于与观察区段(28)的距离的方式,所述信息(68)指示用于所述另一质量与所述预定质量之间的差异的度量的所述可忍受值。33.如权利要求31或32所述的媒体呈现描述,其中通过与所述观察区段(28)的相应距离及用于超出所述相应距离的差异的度量的对应可忍受值的对的列表,所述信息以取决于与所述观察区段(28)的距离的方式指示用于所述另一质量与所述预定质量之间的差异的度量的所述可忍受值。34.如权利要求31至33中任一项所述的媒体呈现描述,其中所述信息(64)指示用于所述另一质量与所述预定质量之间的差异的度量的所述可忍受值,使得所述可忍受值随着与所述观察区段的距离增加而增加。35.如权利要求31至34中任一项所述的媒体呈现描述,其中所述信息(64)指示用于所述另一质量与所述预定质量之间的差异的度量的所述可忍受值,以及所述第二部分能够与所述第一部分一起在所述观察区段内的最大允许时间间隔的指示。36.如权利要求35所述的媒体呈现描述,其中所述信息(64)指示用于所述另一质量与所述预定质量之间的差异的度量的另一可忍受值,以及所述第二部分能够与所述第一部分一起在所述观察区段内的另一最大允许时间间隔的指示。37.如权利要求31至36中任一项所述的媒体呈现描述,其中所述信息(64)是时变和/或空间变化的。38.如权利要求31至37中任一项所述的媒体呈现描述,其中所述信息(64)指示用于所述另一质量及所述预定质量的允许的并发设置对。39.如权利要求31至38中任一项所述的媒体呈现描述,其中所述媒体呈现描述包括关于感兴趣区的信息。40.一种用于流媒体化关于时间变化的空间场景(30)的媒体内容的装置,被配置为:从服务器(20)(20)上可用的多个(46)媒体片段(58)中选择媒体片段,其中所述装置被配置为:执行所述选择,使得所选择的媒体片段至少具有编码至其中的所述时间变化的空间场景(30)的空间区段(62),编码方式为:所述空间区段(62)的第一部分(64)以预定质量编码至所选择的媒体片段中,且在空间上邻近所述第一部分(64)的所述时间变化的空间场景的第二部分(66;72)不被编码至所选择的媒体片段中或以相对于所述预定质量降低的另一质量被编码至所选择的媒体片段中,以及使得所述第一部分(64)跟随所述时间变化的空间场景(30)的时间变化的观察区段(28),以及取决于包含于所选择的媒体片段中的信息(74)和/或从所述服务器获得的信号作用而设置所述第一部分(64)的大小和/或位置。41.如权利要求40所述的装置,其中所述信息(74)以相对于所述时间变化的观察区段的大小的增量或所述时间变化的观察区段的大小的缩放的形式指示所述大小。42.如权利要求40或41所述的装置,其中所述信息(74)指示用于所述观察区段的空间速度的度量的预定值。43.如权利要求42所述的装置,其中所述信息(74)指示针对以下的用于所述观察区段的空间速度的度量的所述预定值:度量的空间速度不超过所述预定值的用户的默认百分比,和/或指示度量的空间速度不超过所述预定值的用户的百分比的百分比值,和/或指示所述观察区段处于预定区域中的用户的百分比的百分比值,和/或指示所述预定值可适用的控制所述观察区段的移动的用户输入的一个或多个类型的提示。44.如权利要求42或43所述的装置,所述装置被配置为执行所述设置,使得其中用于所述观察区段的空间速度的度量的所述预定值d越高,所述大小越大。45.如权利要求40或44中任一项所述的装置,其中所述信息(74)指示用于所述观察区段的移动方向的概率的度量的预定值。46.如权利要求45所述的装置,所述装置被配置为执行所述设置,使得相应移动方向的所述概率越高,所述第一部分延伸至所述相应方向中越多。47.如权利要求40或46中任一项所述的装置,其中所述信息(74)以时变和/或空间变化和/或方向变化的方式指示所述预定空间速度。48.如权利要求40或47中任一项所述的装置,被配置为使得所述第一部分(64)与所述空间区段(62)一致。49.如权利要求40或48中任一项所述的装置,其中编码至所述多个媒体片段中的所述时间变化的空间场景(30)的所述时空部分中的每一个是处于所述时间变化的空间场景(30)在空间上细分成的图块(50)中的相应一个处的所述时间变化的空间场景(30)的时间片段(54)。50.如权利要求49所述的装置,其中所述多个媒体片段中的每个媒体片段具有编码至其中的处于一组质量水平中的相关联质量水平下的所述时间变化的空间场景的相关联时空部分。51.如权利要求40所述的装置,其中所述装置被配置为取决于所述信息(74)而以独立于所述时间变化的观察区段的大小的方式来设置所述大小。52.如权利要求40所述的装置,其中所述信息包括用于所述时变观察区段的不同大小选项的关于所述大小的不同值,所述装置使用由所述信息包含的所述值用于适合所述时变观察区段的实际大小的大小选项。53.如权利要求51或52所述的装置,其中所述信息以图块的数目指示所述大小。54.一种用于关于时间变化的空间场景的媒体内容的流媒体服务器,被配置为:使多个媒体片段可用以用于被装置提取,从而使所述装置能够选择用于提取的媒体片段,所述媒体片段至少具有编码至其中的所述时间变化的空间场景的空间区段,编码方式为:所述空间区段的第一部分被以预定质量编码至所选择的媒体片段中,且在空间上邻近所述第一部分的所述时间变化的空间场景的第二部分不被编码至所选择的媒体片段中或以相对于所述预定质量降低的另一质量被编码至所选择的媒体片段中,且使得所述第一部分跟随所述时间变化的空间场景的时间变化的观察区段,以及在所述媒体片段中和/或通过至所述装置的信号作用而用信号通知关于如何设置所述第一部分的大小和/或位置的信息。55.一种定义媒体呈现描述的信号,包括:关于计算多个媒体片段的地址的信息,使得装置使用所述信息能够从所述多个媒体片段中选择及提取媒体片段,所述媒体片段至少具有编码至其中的所述时间变化的空间场景的空间区段,编码方式为:所述空间区段的第一部分被以预定质量编码至所选择的媒体片段中,且在空间上邻近所述第一部分的所述时间变化的空间场景的第二部分不被编码至所选择的媒体片段中或以相对于所述预定质量降低的另一质量被编码至所选择的媒体片段中,且使得所述第一部分跟随所述时间变化的空间场景的时间变化的观察区段,以及所述媒体片段中和/或通过至所述装置的信号作用的关于如何设置所述第一部分的大小和/或的信息。56.如权利要求55所述的信号,其中所述信息(74)以相对于所述时间变化的观察区段的大小的增量或所述时间变化的观察区段的大小的缩放的形式指示所述大小。57.如权利要求55或56所述的信号,其中所述信息(74)指示用于所述观察区段的空间速度的度量的预定值。58.如权利要求57所述的信号,其中所述信息(74)指示针对以下的用于所述观察区段的空间速度的度量的所述预定值:度量的空间速度不超过所述预定值的用户的默认百分比,和/或指示度量的空间速度不超过所述预定值的用户的百分比的百分比值,和/或指示所述观察区段处于预定区域中的用户的百分比的百分比值,和/或指示所述预定值可适用的控制所述观察区段的移动的用户输入的一个或多个类型的提示。59.如权利要求57或58所述的信号,所述信号被配置为执行所述设置,使得其中用于所述观察区段的空间速度的度量的所述预定值d越高,所述大小越大。60.如权利要求55或59中任一项所述的信号,其中所述信息(74)指示用于所述观察区段的移动方向的概率的度量的预定值。61.如权利要求60所述的信号,所述信号被配置为执行所述设置,使得相应移动方向的所述概率越高,所述第一部分延伸至所述相应方向中越多。62.如权利要求55或61中任一项所述的信号,其中所述信息(74)以时变和/或空间变化和/或方向变化的方式指示所述预定空间速度。63.如权利要求55或62中任一项所述的信号,被配置为使得所述第一部分(64)与所述空间区段(62)一致。64.如权利要求55或63中任一项所述的信号,其中编码至所述多个媒体片段中的所述时间变化的空间场景(30)的所述时空部分中的每一个是处于所述时间变化的空间场景(30)在空间上细分成的图块(50)中的相应一个处的所述时间变化的空间场景(30)的时间片段(54)。65.如权利要求64所述的信号,其中所述多个媒体片段中的每个媒体片段具有编码至其中的处于一组质量水平中的相关联质量水平下的所述时间变化的空间场景的相关联时空部分。66.如权利要求55所述的信号,其中所述装置被配置为取决于所述信息(74)而以独立于所述时间变化的观察区段的大小的方式来设置所述大小。67.如权利要求55所述的信号,其中所述信息包括用于所述时变观察区段的不同大小选项的关于所述大小的不同值,所述装置使用所述信息包含的所述值用于适合所述时变观察区段的实际大小的大小选项。68.如权利要求65或66所述的信号,其中所述信息以图块的数目指示所述大小。69.一种视频比特流,具有编码至其中的视频,所述视频比特流包括用于解码所述视频的解码能力应集中至所述视频内的聚焦区域的大小及所述视频的推荐优选观察区段区域中的一个或多个的信号作用。70.一种用于解码来自视频比特流的视频的解码器,被配置为:从所述视频比特流得出所述视频内的聚焦区域的大小的信号作用(74),以及将用于解码所述视频的解码能力集中至所述聚焦区域(116)。71.如权利要求70所述的解码器,所述解码器被配置为专门解码所述聚焦区域。72.如权利要求70所述的解码器,所述解码器被配置为解码开始解码所述聚焦区域处的所述视频的每个图像。73.如权利要求70所述的解码器,所述解码器被配置为在解码所述聚焦区域后停止解码所述视频的每个图像。74.如权利要求70至73中任一项所述的解码器,其中所述信号作用绝对地指示所述大小,或所述解码器被配置为以包含于所述信号作用中的参数来缩放聚焦区域的大小。75.一种用于流媒体化关于时间变化的空间...
【专利技术属性】
技术研发人员:罗伯特·斯库皮,哥尼流·赫勒格,托马斯·斯基尔勒,雅格·桑切斯·德·拉·富恩特,迪米特里·普德保斯基,托马斯·威甘德,
申请(专利权)人:弗劳恩霍夫应用研究促进协会,
类型:发明
国别省市:德国,DE
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。