System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于全向视频的视点元数据制造技术_技高网
当前位置: 首页 > 专利查询>VID拓展公司专利>正文

用于全向视频的视点元数据制造技术

技术编号:40295647 阅读:9 留言:0更新日期:2024-02-07 20:44
本文描述了用于在多视点全向媒体演示中用信号通知关于不同视点的信息的方法。在一些实施例中,生成包含若干轨道的容器文件(其可以使用ISO基媒体文件格式)。使用轨道组标识符对轨道进行分组,其中每个轨道组标识符与不同的视点相关联。在一些实施例中,生成清单(例如MPEG‑DASH MPD),其中该清单包括标识与每个流相关联的视点标识符。在一些实施例中,包括在容器文件和/或清单中的元数据提供关于每个视点的位置、每个视点可用的间隔、视点之间的转换效果和/或对应于视场范围的推荐投影格式的信息。

【技术实现步骤摘要】


技术介绍

1、全向视频或360°视频是媒体行业中出现的快速增长的新格式。它通过vr设备的日益增长的可用性而实现,并且能够向观看者提供强烈的存在感。与传统的直线视频(2d或3d)相比,360°视频对视频处理和递送提出了一组新的且困难的工程挑战。实现舒适和沉浸式用户体验要求高视频质量和非常低的延迟,而大视频大小(size)可能是以高质量递送360°视频的障碍。

2、iso基媒体文件格式

3、在iso/iec 14496mpeg-4标准中,存在定义用于存储基于时间的媒体的文件格式的若干部分。这些都基于并源自iso基媒体文件格式(iso bmff),其在iso/iec 14496-12中有描述,即“视听对象的译码,第12部分:iso基媒体文件格式”(2015年)。iso bmff是结构上的且媒体无关的定义。iso bmff包含结构和媒体数据信息,主要用于媒体数据(如音频、视频等)的定时表示。还支持诸如文件结构内不同级别的元数据之类的非定时数据。文件的逻辑结构是电影(movie),该电影又包含时间平行的轨道的集合。文件的时间结构是该轨道包含时间上的样本序列,并且那些序列被映射到整个电影的时间线中。iso bmff基于框结构文件的概念。框结构文件由一系列具有大小和类型的框(有时称为基原(atom))组成。类型是32位值,并且通常被选择为四个可打印字符,也称为四字符码(4cc)。非定时数据可以在文件级别被包含在元数据框中,或者被附加到电影框或电影内的被称为轨道的定时数据流之一。

4、基于http的动态流(dynamic streaming over http,dash)

5、基于http的mpeg动态自适应流(mpeg-dash)是一种动态地适应于变化的网络条件的递送格式。mpeg-dash在iso/iec 23009-1中有描述,即“基于http的动态自适应流(dash),第1部分:媒体演示描述和片段格式”(2014年5月),动态http流传输要求用于在服务器处可用的多媒体内容的各种比特率替换。另外,多媒体内容可以包括若干媒体组件(例如音频、视频、文本),其中的每一个可以具有不同的特性。在mpeg-dash中,这些特性由媒体演示描述(mpd)描述。

6、图2示出了mpd分层数据模型。mpd描述了时段(period)的序列,其中媒体内容组件的编码版本的一致集合在时段期间不改变。每个时段具有开始时间和持续时间,并且由一个或多个自适应集合(adaptationset)组成。

7、自适应集合表示一个或多个媒体内容组件的编码版本集合,其具有共同的性质,诸如语言、媒体类型、图片纵横比、角色、可访问性和评级性质。例如,自适应集合可以包含相同多媒体内容的视频组件的不同比特率。其他自适应集合可以包含相同多媒体内容的音频组件(例如,较低质量的立体声和较高质量的环绕声)的不同比特率。每个自适应集合通常包括多种表示(representation)。

8、表示描述了一个或多个媒体组件的可递送的编码版本,其在比特率、分辨率、信道数量或其他特性方面不同于其他表示。每个表示由一个或多个片段组成。表示元素的属性,例如@id(编号)、@bandwidth(带宽)、@qualityranking(质量排序)和@dependencyid(从属id),被用于指定关联表示的性质。表示还可以包括子表示,其是表示的一部分,用以描述并从表示中提取部分信息。子表示可提供访问其中包含它们的表示的较低质量版本的能力。

9、片段是可以用单个http请求检索的最大数据单元。每个片段具有url,服务器上的可寻址位置,其可以使用http get或具有字节范围的http get来下载。

10、为了使用该数据模型,dash客户端解析mpd xml文档,基于在每个adaptationset元素中提供的信息选择适合于其环境的自适应集合。在每个自适应集合内,客户端通常基于带宽属性(@bandwidth)的值,但也考虑客户端解码和渲染能力来选择一个表示。客户端下载所选择的表示的初始化片段,然后通过请求片段的全部片段或字节范围来访问内容。一旦开始了演示(presentation),客户端就通过连续请求媒体片段或媒体片段的一部分以及根据媒体演示时间线播放内容来继续消费媒体内容。客户端可以考虑来自其环境的更新信息来切换表示。客户端应当跨时段连续播放该内容。一旦客户端正在消费包含在片段中的媒体,接近表示中通告的媒体的结束,,则终止媒体演示、开始新时段或者重新获取mpd。

11、dash中的描述符

12、mpeg-dash使用描述符以提供关于媒体内容的应用特定信息。描述符元素都以相同的方式构造,即它们包含提供uri以标识方案的@方案号uri(@schemeiduri)属性和可选属性@值(@value)和可选属性@id。元素的语法特定于所采用的方案。标识方案的uri可以是urn或url。mpd没有提供关于如何使用这些元素的任何特定信息。这取决于采用dash格式来例示具有适当方案信息的描述元素的应用。使用这些元素之一的dash应用首先以uri的形式定义方案标识符,然后当使用标识符时定义元素的值空间。如果使用结构化数据,则可在单独的名字空间中定义任何扩展元素或属性。描述符可以出现在mpd内的多个级别上。在mpd级别的元素的存在意味着该元素是mpd元素的子元素。自适应集合级别的元素的存在指示该元素是adaptationset元素的子元素。在表示级别的元素的存在指示该元素是表示元素的子元素。

13、全向媒体格式

14、全向媒体格式(omaf)是由mpeg开发的系统标准,作为mpeg-i的部分2,是用于沉浸式媒体的编码、表示、存储和递送的标准集合。omaf定义了一媒体格式,其使得能够进行全向媒体应用,并且主要关注360°视频、图像、音频和相关联的定时元数据。omaf的国际标准(fdis)的最终草案在2018年早期发布,并在iso/iec jtc1/sc29/wg11n17399“fdis23090-2全向媒体格式”(2018年2月)中描述。

15、作为mpeg-i的阶段1b的一部分,为2019计划了支持包括3dof加上运动视差的多个新特征和支持多个视点的omaf的扩展。对阶段1b的要求在2018年2月发布,并且在iso/iecjtc1/sc29/wg11n17331“mpeg-i阶段1b要求”(2018年2月)。omaf和mpeg-i阶段1b要求描述以下概念:

16、·视场(fov)是捕获/记录的内容中或物理显示设备中的可观看世界的范围。·视点是用户从其观看场景的点;它通常对应于相机位置。轻微的头部运动不是必然意味着不同的视点。

17、·样本是与单次时间相关联的所有数据。

18、·轨道(track)是iso基媒体文件中的相关样本的定时序列。对于媒体数据,轨道对应于图像序列或采样音频。

19、·框(box)是基于iso的媒体文件中由唯一类型标识符和长度本文档来自技高网...

【技术保护点】

1.一种方法,包括:

2.根据权利要求1所述的方法,其中从属于所述第一组的各个视点捕获的所述一个或多个全向视频覆盖第一事件,并且从属于所述第二组的各个视点捕获的所述一个或多个全向视频覆盖第二事件。

3.根据权利要求2所述的方法,其中所述第一事件和所述第二事件同时发生。

4.根据权利要求2所述的方法,其中所述第一事件和所述第二事件在不同的地点发生。

5.根据权利要求1所述的方法,其中,针对视点组,所接收的标识所述视点组的信息包括:

6.根据权利要求1所述的方法,其中,针对视点组,所接收的标识所述视点组的信息包括:

7.根据权利要求6所述的方法,其中,所述位置值包括所述事件的地理位置的经度值和纬度值。

8.根据权利要求1所述的方法,其中,针对视点组,所接收的标识所述视点组的信息包括:

9.根据权利要求1所述的方法,其中,针对视点组,所接收的标识所述视点组的信息包括:

10.根据权利要求1所述的方法,其中,针对视点组,所接收的标识所述视点组的信息包括:

11.一种系统,包括:

12.根据权利要求11所述的系统,其中从属于所述第一组的各个视点捕获的所述一个或多个全向视频覆盖第一事件,并且从属于所述第二组的各个视点捕获的所述一个或多个全向视频覆盖第二事件。

13.根据权利要求12所述的系统,其中所述第一事件和所述第二事件同时发生、在不同地点发生或在不同地点同时发生。

14.根据权利要求11所述的系统,其中,针对视点组,所接收的标识所述视点组的信息包括:

15.根据权利要求11所述的系统,其中,针对视点组,所接收的标识所述视点组的信息包括:

16.根据权利要求15所述的系统,其中,所述位置值包括所述事件的地理位置的经度值和纬度值。

17.根据权利要求11所述的系统,其中,针对视点组,所接收的标识所述视点组的信息包括:

18.根据权利要求11所述的系统,其中,针对视点组,所接收的标识所述视点组的信息包括:

19.根据权利要求11所述的系统,其中,针对视点组,所接收的标识所述视点组的信息包括:

20.一种非暂时性计算机可读介质,包括可由至少一个处理器实行以执行方法的指令,所述方法包括:

...

【技术特征摘要】

1.一种方法,包括:

2.根据权利要求1所述的方法,其中从属于所述第一组的各个视点捕获的所述一个或多个全向视频覆盖第一事件,并且从属于所述第二组的各个视点捕获的所述一个或多个全向视频覆盖第二事件。

3.根据权利要求2所述的方法,其中所述第一事件和所述第二事件同时发生。

4.根据权利要求2所述的方法,其中所述第一事件和所述第二事件在不同的地点发生。

5.根据权利要求1所述的方法,其中,针对视点组,所接收的标识所述视点组的信息包括:

6.根据权利要求1所述的方法,其中,针对视点组,所接收的标识所述视点组的信息包括:

7.根据权利要求6所述的方法,其中,所述位置值包括所述事件的地理位置的经度值和纬度值。

8.根据权利要求1所述的方法,其中,针对视点组,所接收的标识所述视点组的信息包括:

9.根据权利要求1所述的方法,其中,针对视点组,所接收的标识所述视点组的信息包括:

10.根据权利要求1所述的方法,其中,针对视点组,所接收的标识所述视点组的信息包括:

11.一种系统,包括:

【专利技术属性】
技术研发人员:贺勇叶艳阿赫麦德·哈姆扎
申请(专利权)人:VID拓展公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1