沉浸媒体的处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种沉浸媒体的处理方法、装置、设备及存储介质，其中方法包括：获取沉浸媒体的视频位流，将视频位流封装到M个视频轨道中，得到沉浸媒体的媒体文件；其中，在M个视频轨道中，存在至少一个视频轨道中的视频媒体头数据盒包括元数据信息，元数据信息用于指示相应视频轨道是否同时包含视频图像信息和相应的视频辅助信息。可见，通过在至少一个视频轨道中的视频媒体头数据盒封装元数据信息，以对相应视频轨道内的信息情况进行统一指示，这样可以实现以更优化的方式组织沉浸媒体的媒体内容，避免媒体消费设备在解封装过程中重复解析其他数据盒中用于指示视频轨道内的信息情况的相关字段，从而节省处理资源，提升解码效率。率。率。

【技术实现步骤摘要】
沉浸媒体的处理方法、装置、设备及存储介质


[0001]本申请涉及媒体处理
，尤其涉及一种沉浸媒体的处理方法、装置、设备及存储介质。

技术介绍

[0002]虽然现有的封装技术实现了在将沉浸媒体封装到一个或多个视频轨道后，可对每个视频轨道是否包含视频图像信息和视频辅助信息；但是经实践发现，现有的封装技术对视频轨道内的信息情况存在重复指示的问题。以沉浸媒体为自由视角视频为例，现有的封装技术规定了在视频轨道的自由视角信息数据盒、荷载信息数据盒以及自由视角轨道数据盒中，均需存在相应的字段来指示视频轨道中是否包含纹理信息(即视频图像信息)和深度信息(即视频辅助信息)。这样会导致媒体消费设备在解封装过程中重复解析各个数据盒中的相应字段，浪费媒体消费设备的处理资源，还会导致解封装效率较低，从而导致解码效率较低。

技术实现思路

[0003]本申请实施例提供了一种沉浸媒体的处理方法、装置、设备及存储介质，可以实现以更优化的方式组织沉浸媒体的媒体内容，避免媒体消费设备在解封装过程中重复解析其他数据盒，从而节省处理资源，提升解码效率。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种沉浸媒体的处理方法，其特征在于，包括：获取沉浸媒体的视频位流，所述沉浸媒体通过多个相机拍摄得到；任一相机通过拍摄所采集到的信息包括：视频图像信息和相应的视频辅助信息；将所述视频位流封装到M个视频轨道中，得到所述沉浸媒体的媒体文件；其中，M为正整数，且在所述M个视频轨道中，存在至少一个视频轨道中的视频媒体头数据盒包括元数据信息，所述元数据信息用于指示相应视频轨道是否同时包含视频图像信息和相应的视频辅助信息。2.如权利要求1所述的方法，其特征在于，若所述M个视频轨道中的第m个视频轨道封装了至少一个相机的视频图像信息，则所述第m个视频轨道的视频媒体头数据盒包括元数据信息，m∈[1，M]。3.如权利要求2所述的方法，其特征在于，所述元数据信息包括内容信息标志字段；当所述内容信息标志字段的取值为第一数值时，指示相应视频轨道同时包含视频图像信息和相应的视频辅助信息；当所述内容信息标志字段的取值为第二数值时，指示相应视频轨道仅包含视频图像信息。4.如权利要求3所述的方法，其特征在于，所述内容信息标志字段为以下任一种：视频深度信息标志字段，视频视差信息标志字段，视频辅助信息标志字段；其中：当所述内容信息标志字段为视频深度信息标志字段时，视频图像信息包括纹理信息，视频辅助信息包括深度信息；当所述内容信息标志字段为视频视差信息标志字段时，视频辅助信息包括视差信息；当所述内容信息标志字段为视频辅助信息标志字段时，视频辅助信息包括深度信息、视差信息或者由其他应用定义的辅助信息。5.如权利要求1
‑
4任一项所述的方法，其特征在于，若所述元数据信息指示相应视频轨道同时包含视频图像信息和相应的视频辅助信息，则相应视频轨道中的视频媒体头数据盒还包括视频信息编解码依赖性字段；当所述视频信息编解码依赖性字段的取值为第三数值时，指示相应视频轨道中的视频图像信息和相应的视频辅助信息之间存在解码依赖关系；当所述视频信息编解码依赖性字段的取值为第四数值时，指示相应视频轨道中的视频图像信息和相应的视频辅助信息之间不存在解码依赖关系。6.如权利要求5所述的方法，其特征在于，所述视频信息编解码依赖性字段为以下任一种：深度编解码依赖性字段，视差编解码依赖性字段，辅助编解码依赖性字段；其中：当所述视频信息编解码依赖性字段为深度编解码依赖性字段时，视频图像信息包括纹理信息，视频辅助信息包括深度信息；当所述视频信息编解码依赖性字段为视差编解码依赖性字段时，视频辅助信息包括视差信息；当所述视频信息编解码依赖性字段为辅助编解码依赖性字段时，视频辅助信息包括深度信息、视差信息或者由其他应用定义的辅助信息。7.如权利要求1
‑
4任一项所述的方法，其特征在于，在所述M个视频轨道中，存在至少一个视频轨道包括视频成分依赖信息数据盒；
其中，所述视频成分依赖信息数据盒用于指示：所述沉浸媒体的视频内容的成分类型，以及所述沉浸媒体的视频内容的不同成分之间是否存在编解码依赖关系。8.如权利要求7所述的方法，其特征在于，当M＝1时，所述M个视频轨道中包括所述视频成分依赖信息数据盒；当M＞1时，若所述M个视频轨道中的第m个视频轨道封装了至少两个相机所采集的一种或多种信息，则所述第m个视频轨道中包括所述视频成分依赖信息数据盒。9.如权利要求7所述的方法，其特征在于，所述视频成分依赖信息数据盒包括成分编解码依赖性字段；当所述成分编解码依赖性字段的取值为第五数值时，指示所述沉浸媒体的视频内容的不同成分之间存在编解码依赖关系；当所述成分编解码依赖性字段的取值为第六数值时，指示所述沉浸媒体的视频内容的不同成分之间不存在编解码依赖关系。10.如权利要求7所述的方法，其特征在于，所述视频成分依赖信息数据盒包括成分类型字段；当所述成分类型字段的取值为第七数值时，指示所述沉浸媒体的视频内容的成分类型为基于相机的成分类型；其中，一个成分包括一个相机拍摄的视频内容；当所述成分类型字段的取值为第八数值时，指示所述沉浸媒体的视频内容的成分类型为基于双目的成分类型；其中，一个成分包括左目视频内容或右目视频内容。11.如权利要求1
‑
4任一项所述的方法，其特征在于，在M＞1的情况下，所述M个视频轨道中封装了视频图像信息的视频轨道还包含轨道组数据盒；其中，所述轨道组数据盒包括轨道组标识字段和相机标识字段；所述轨道组标识字段用于存储相应视频轨道所对应的轨道组的标识信息，所述相机标识字段用于存储相应视频轨道对应的相机的标识信息。12.如权利要求1
‑
4任一项所述的方法，其特征在于，在M＞1的情况下，若同一个相机的视频图像信息和视频辅助信息被封装到不同的视频轨道，则所述M个视频轨道包括：一个或多个视频图像信息轨道和一个或多个视频辅助信息轨道；其中，视频图像信息轨道是指封装了视频图像信息的视频轨道，视频辅助信息轨道是指封装了视频辅助信息的视频轨道；任一个视频辅助信息轨道包括轨道参考类型数据盒，所述轨道参考类型数据盒用于将视频辅助信息轨道参考或关联到相同相机对应的视频图像信息轨道，且用于指示视频辅助信息轨道和对应的视频图像信息轨道，在解码时是否存在依赖关系。13.如权利要求12所述的方法，其特征在于，所述轨道参考类型数据盒包含轨道标识字段，所述轨道标识字段用于存储与视频辅助信息轨道所关联的视频图像信息轨道的标识信息。14.如权利要求12所述的方法，其特征在于，所述轨道参考类型数据盒包含参考类型字段；当所述参考类型字段存储第一轨道索引时，指示视频辅助信息轨道在解码时，依赖对应的视频图像信息轨道；当所述参考类型字段存储第二轨道索引时，指示视频辅助信息轨道在解码时，不依赖
对应的视频图像信息轨道。15.如权利要求14所述的方法，其特征在于，所述第一轨道索引为以下任一种：第一字符串，所述第一字符串用于指示视频辅助信息轨道中的视频辅助信息包括深度信息；第二字符串，所述第二字符串用于指示视频辅助信息轨道中的视频辅助信息包括视差信息；第三字符串，所述第三字符串用于指示视频辅助信息轨道中的视频辅助信息包括深度信息、视差信息或者由其他应用定义的辅助信息；所述第二轨道索引为以下任一种：第四字符串，所述第四字符串用于指示视频辅助信息轨道中的视频辅助信息包括深度信息；第五字符串，所述第五字符串用于指示视频辅助信息轨道中的视频辅助信息包括视差信息；第六字符串，所述第六字符串用于指示视频辅助信息轨道中的视频辅助信息包括深度信息、视差信息或者由其他应用定义的辅助信息。16.如权利要求1
‑
4任一项所述的方法，其特征在于，所述视频位流被封装到M个视频轨道后，得到每个视频轨道对应的视频资源，所述媒体文件包括所述M个视频轨道对应的视频资源；若所述媒体文件的传输方式为流化传输方式，则所述方法还包括：生成所述媒体文件对应的信令描述文件；其中，所述信令描述文件中包括至少一个视频辅助信息描述子，所述视频辅助信息描述子用于描述视频资源的视频辅助信息的相关属性。17.如权利要求16所述的方法，其特征在于，当视频辅助信息描述子位于所述信令描述文件的自适应集层级时，描述相应自适应集中的各个视频资源的视频辅助信息的相关属性；当视频辅助信息描述子位于所述信令描述文件的表示层级时，描述相应的视频资源的视频辅助信息的相关属性。18.如权利要求16所述的方法，其特征在于，所述视频辅助信息描述子包括视频...

【专利技术属性】
技术研发人员：胡颖，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：