自由视角视频的文件封装方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种自由视角视频的文件封装方法、装置、设备及存储介质，该方法包括：获取自由视角视频数据的码流；将自由视角视频数据的码流封装成至少一个视频轨道，得到自由视角视频数据的媒体文件，视频轨道包括编解码独立性指示信息和M个视角的视频码流，编解码独立性指示信息用于指示视频轨道对应的M个视角中单个视角的视频数据在编解码时是否依赖其他视角的视频数据；将自由视角视频数据的媒体文件发送给客户端或服务器。即本申请通过在视频轨道中添加编解码独立性指示信息，使得客户端或服务器可以根据该编解码独立性指示信息，确定是否可以部分解码特定相机的纹理图和深度图，进而提升解码效率。进而提升解码效率。进而提升解码效率。

【技术实现步骤摘要】
自由视角视频的文件封装方法、装置、设备及存储介质


[0001]本申请实施例涉及视频处理
，尤其涉及一种自由视角视频的文件封装方法、装置、设备及存储介质。

技术介绍

[0002]沉浸式媒体指能为消费者带来沉浸式体验的媒体内容，沉浸式媒体按照用户在消费媒体内容时的自由度，可以分为3DoF媒体、3DoF+媒体以及6DoF媒体。
[0003]但是目前的视频码流的封装方式，服务器或客户端无法确定单轨道封装模式封装的自由视角视频的媒体文件，是否可以解码部分视角对应的媒体文件，使得媒体文件的解码效率低。

技术实现思路

[0004]本申请提供一种自由视角视频的文件封装方法、装置、设备及存储介质，服务器或客户端可以确定是否可以解码媒体文件中的部分视角对应的媒体文件，进而提高了媒体文件的解码效率。
[0005]第一方面，本申请提供一种自由视角视频的文件封装方法，应用于第一设备，第一设备可以理解为视频封装设备，该方法包括：
[0006]获取自由视角视频数据的码流，所述自由视角视频数据包括N个视角的视频数据，所述N为正整数；
[0007]将所述自由视角视频数据的码流封装成至少一个视频轨道，得到所述自由视角视频数据的媒体文件，所述视频轨道包括编解码独立性指示信息和M个视角的视频码流，所述编解码独立性指示信息用于指示所述视频轨道对应的M个视角中单个视角的视频数据在编解码时是否依赖其他视角的视频数据，所述M为小于或等于N的正整数；
[0008]将所述自由视角视频数据的媒体文件发送给客户端或服务器。
[0009]第二方面，本申请提供一种自由视角视频的文件封装方法，应用于客户端，客户端可以理解为视频播放设备，该方法包括：
[0010]接收第一设备发送的自由视角视频数据的媒体文件，所述媒体文件包括至少一个视频轨道，所述自由视角视频数据包括N个视角的视频数据，所述N为正整数，所述视频轨道包括编解码独立性指示信息和M个视角的视频码流，所述编解码独立性指示信息用于指示所述视频轨道对应的M个视角中单个视角的视频数据在编解码时是否依赖其他视角的视频数据，所述M为小于或等于N的正整数；
[0011]根据所述编解码独立性指示信息，对所述媒体文件进行解封装，得到至少一个视角对应的视频码流；
[0012]对所述至少一个视角对应的视频码流进行解码，得到所述至少一个视角的重建视频数据。
[0013]第三方面，本申请提供一种自由视角视频的文件封装方法，应用于服务器，该方法
包括：
[0014]接收第一设备发送的自由视角视频数据的媒体文件，所述媒体文件包括至少一个视频轨道，所述自由视角视频数据包括N个视角的视频数据，所述N为正整数，所述视频轨道包括编解码独立性指示信息和M个视角的视频码流，所述编解码独立性指示信息用于指示所述视频轨道对应的M个视角中单个视角的视频数据在编解码时是否依赖其他视角的视频数据，所述M为小于或等于N的正整数；
[0015]根据所述编解码独立性指示信息，确定是否将所述至少一个视频轨道分解为多个视频轨道。
[0016]第四方面，本申请提供一种多视角视频数据的处理装置，应用于第一设备，该装置包括：
[0017]获取单元，用于获取自由视角视频数据的码流，所述自由视角视频数据包括N个视角的视频数据，所述N为正整数；
[0018]封装单元，用于将所述自由视角视频数据的码流封装成至少一个视频轨道，得到所述自由视角视频数据的媒体文件，所述视频轨道包括编解码独立性指示信息和M个视角的视频码流，所述编解码独立性指示信息用于指示所述视频轨道对应的M个视角中单个视角的视频数据在编解码时是否依赖其他视角的视频数据，所述M为小于或等于N的正整数；
[0019]发送单元，用于将所述自由视角视频数据的媒体文件发送给客户端或服务器。
[0020]第五方面，本申请提供一种多视角视频数据的处理装置，应用于客户端，该装置包括：
[0021]接收单元，用于接收第一设备发送的自由视角视频数据的媒体文件，所述媒体文件包括至少一个视频轨道，所述自由视角视频数据包括N个视角的视频数据，所述N为正整数，所述视频轨道包括编解码独立性指示信息和M个视角的视频码流，所述编解码独立性指示信息用于指示所述视频轨道对应的M个视角中单个视角的视频数据在编解码时是否依赖其他视角的视频数据，所述M为小于或等于N的正整数；
[0022]解封装单元，用于根据所述编解码独立性指示信息，对所述媒体文件进行解封装，得到至少一个视角对应的视频码流；
[0023]解码单元，用于对所述至少一个视角对应的视频码流进行解码，得到所述至少一个视角的重建视频数据。
[0024]第六方面，提供了一种计算设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面和/或第二方面和/或第三方面的方法。
[0025]第七方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行第一方面和/或第二方面和/或第三方面的方法。
[0026]综上，在本申请中，通过在视频轨道中添加编解码独立性指示信息，该编解码独立性指示信息用于指示视频轨道对应的M个视角中单个视角的视频数据在编解码时是否依赖其他视角的视频数据，这样在单轨封装模式下，客户端可以根据该编解码独立性指示信息，确定是否可以部分解码特定相机的纹理图和深度图。另外，在单轨封装模式下，服务器也可以根据该编解码独立性指示信息，确定是否可以将单轨封装的自由视角视频重新按照多轨进行封装，进而提高了媒体文件的处理灵活性，提升解码效率。
附图说明
[0027]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028]图1示意性示出了三自由度的示意图；
[0029]图2示意性示出了三自由度+的示意图；
[0030]图3示意性示出了六自由度的示意图；
[0031]图4为本申请一实施例提供的一种沉浸媒体系统的架构图；
[0032]图5为本申请实施例提供的一种自由视角视频的文件封装方法的流程图；
[0033]图6为本申请实施例提供的一种自由视角视频的文件封装方法的交互流程图；
[0034]图7为本申请实施例提供的一种自由视角视频的文件封装方法的交互流程图；
[0035]图8为本申请一实施例提供的自由视角视频的文件封装装置的结构示意图；
[0036]图9为本申请一实施例提供的自由视角视频的文件封装装置的结构示意图；
[0037]图10为本申请一实施例提供的自由视角视频的文件封装装置的结构示意图；
[0038]图11是本申请实施例提供的计算设备的示意性框图。
具体实施方式<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自由视角视频的文件封装方法，其特征在于，应用于第一设备，包括：获取自由视角视频数据的码流，所述自由视角视频数据包括N个视角的视频数据，所述N为正整数；将所述自由视角视频数据的码流封装成至少一个视频轨道，得到所述自由视角视频数据的媒体文件，所述视频轨道包括编解码独立性指示信息和M个视角的视频码流，所述编解码独立性指示信息用于指示所述视频轨道对应的M个视角中单个视角的视频数据在编解码时是否依赖其他视角的视频数据，所述M为小于或等于N的正整数；将所述自由视角视频数据的媒体文件发送给客户端或服务器。2.根据权利要求1所述的方法，其特征在于，所述视频数据包括纹理图数据和深度图数据中的至少一个。3.根据权利要求2所述的方法，其特征在于，若所述编解码独立性指示信息的值为第一数值，则指示所述单个视角的纹理图数据在编解码时依赖其他视角的纹理图数据和深度图数据，或者所述单个视角的深度图数据在编解码时依赖其他视角的纹理图数据和深度图数据；或者，若所述编解码独立性指示信息的值为第二数值，则指示所述单个视角的纹理图数据在编解码时依赖其他视角的纹理图数据，且所述单个视角的深度图数据在编解码时依赖其他视角的深度图数据；或者，若所述编解码独立性指示信息的值为第三数值，则指示所述单个视角的纹理图数据和深度图数据在编解码时不依赖其他视角的纹理图数据和深度图数据，且所述单个视角的纹理图数据和深度图数据在编解码时相互依赖；或者，若所述编解码独立性指示信息的值为第四数值，则指示所述单个视角的纹理图数据和深度图数据在编解码时不依赖其他视角的纹理图数据和深度图数据，且所述单个视角的纹理图数据和深度图数据在编解码时不相互依赖。4.根据权利要求3所述的方法，其特征在于，所述将所述自由视角视频数据的码流封装成至少一个视频轨道，包括：采用单轨封装模式，将所述自由视角视频数据的码流封装成一个视频轨道。5.根据权利要求4所述的方法，其特征在于，若所述N个视角中的每个视角对应的视频数据在编码时不依赖其他视角对应的视频数据，且所述自由视角视频数据的码流的封装模式为单轨封装模式，则所述方法还包括：将所述编解码独立性指示信息添加在所述一个视频轨道的自由视角信息数据盒中，所述编解码独立性指示信息的取值为所述第三数值或所述第四数值。6.根据权利要求2
‑
5任一项所述的方法，其特征在于，若所述自由视角视频数据的编码方式为AVS3编码模式，则所述方法还包括：将解码所需的头信息、至少一个视角的纹理图信息、至少一个视角的深度图信息中的至少一个，以子样本的形式封装在所述媒体文件中；其中，所述子样本的数据盒中包括子样本数据盒标志和子样本指示信息，所述子样本数据盒标志用于指示所述子样本的划分方式，所述子样本指示信息用于指示所述子样本所包括的内容。7.根据权利要求6所述的方法，其特征在于，
若所述子样本指示信息的取值为第五数值，则指示一个子样本包括解码所需的头信息；或者，若所述子样本指示信息的取值为第六数值，则指示一个子样本包括当前视频帧内N个视角的纹理图信息，所述当前视频帧由所述N个视角对应的视频帧拼接而成；或者，若所述子样本指示信息的取值为第七数值，则指示一个子样本包括所述当前视频帧内N个视角对应的深度图信息；或者，若所述子样本指示信息的取值为第八数值，则指示一个子样本包括当前视频帧内一个视角对应的纹理图信息和深度图信息；或者，若所述子样本指示信息的取值为第九数值，则指示一个子样本包括所述当前视频帧内一个视角对应的纹理图信息；或者，若所述子样本指示信息的取值为第十数值，则指示一个子样本包括所述当前视频帧内一个视角对应的深度图信息。8.根据权利要求7所述的方法，其特征在于，若所述自由视角视频数据的编码方式为AVS3编码模式，所述N个视角中的每个视角对应的视频数据在编码时不依赖其他视角对应的视频数据，且所述自由视角视频数据码流的封装模式为单轨封装模式，则所述将解码所需的头信息、至少一个视角的纹理图信息、至少一个视角的深度图信息中的至少一个，以子样本的形式封装在所述媒体文件中，包括：将所述N个视角中的每个视角对应的纹理图信息和深度图信息中的至少一个，以子样本的形式封装在所述媒体文件中。9.一种自由视角视频的文件封装方法，其特征在于，应用于客户端，包括：接收第一设备发送的自由视角视频数据的媒体文件，所述媒体文件包括至少一个视频轨道，所述自由视角视频数据包括N个视角的视频数据，所述N为正整数，所述视频轨道包括编解码独立性指示信息和M个视角的视频码流，所述编解码独立性指示信息用于指示所述视频轨道对应的M个视角中单个视角的视频数据在编解码时是否依赖其他视角的视频数据，所述M为小于或等于N的正整数；根据所述编解码独立性指示信息，对所述媒体文件进行解封装，得到至少一个视角对应的视频码流；对所述至少一个视角对应的视频码流进行解码，得到所述至少一个视角的重建视频数据。10.根据权利要求9所述的方法，其特征在于，所述视频数据包括纹理图数据和深度图数据中的至少一个。11.根据权利要求10所述的方法，其特征在于，若所述编解码独立性指示信息的值为第一数值，则指示所述单个视角的纹理图数据在编解码时依赖其他视角的纹理图数据和深度图数据，或者所述单个视角的深度图数据在编解码时依赖其他视角的纹理图数据和深度图数据；或者，若所述编解码独立性指示信息的值为第二数值，则指示所述单个视角的纹理图数据在编解码时依赖其他视角的纹理图数据，且所述单个视角的深度图数据在编解码时依赖其他视角的深度图数据；或者，若所述编解码独立性指示信息的值为第三数值，则指示所述单个视角的纹理图数据和
深度图数据在编解码时不依赖其他视角的纹理图数据和深度图数据，且所述单个视角的纹理图数据和深度图数据在编解码时相互依赖；或者，若所述编解码独立性指示信息的值为第四数值，则指示所述单个视角的纹理图数据和深度图数据在编解码时不依赖其他视角的纹理图数据和深度图数据，且所述单个视角的纹理图数据和深度图数据在编解码时不相互依赖。12.根据权利要求11所述的方法，其特征在于，根据所述编解码独立性指示信息，对所述媒体文件资源进行解封装，得到至少一个视角对应的视频码流，包括：若所述编解码独立性指示信息的取值为所述第三数值或所述第四数值，且所述码流的封装模式为单轨封装模式，则获取用户的观看视角；根据所述用户的观看视角和所述媒体文件中的视角信息，确定目标视角；对所述目标视角对应的媒体文件进行解封装，得到所述目标视角对应的视频码流。13.根据权利要求11或12所述的方法，其特征在于，若所述自由视角视频数据的编码方式为AVS3视频编码方式，且所述媒体文件包括子样本，则所述根据所述编解码独立性指示信息，对所述媒体文件资源进行解封装，得到至少一个视角对应的视频码流，包括：获取所述子样本的数据盒所包括的子样本数据盒标志和所述子样本指示信息，所述子样本数据盒标志用于指示所述子样本的划分方式，所述子样本指示信息用于指示所述子样本所包括的内容，所述子样本所包括的内容包括解码所需的头信息、至少一个视角的纹理图信息、至少一个视角的深度图信息中的至少一个；根据所述子样本数据盒标志和所述子样本指示信息，得到所述子样本所包括的内容；根据所述子样本所包括的内容和所述编解码独立性指示信息，对所述媒体文件资源进行解封装，得到至少一个视角对应的视频码流。14.根据权利要求13所述的方法，其特征在于，若所述子样本指示信息的取值为第五数值，则指示一个子样本包括解码所需的头信息；或者，若所述子样本指示信息的...

【专利技术属性】
技术研发人员：胡颖，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：