一种立体视频文件的描述与管理方法技术

本发明专利技术公开了一种立体视频文件的描述与管理方法，它包括以下步骤：（1）建立一种用于描述立体视频各个视角的独立物理文件、音频文件、透明度文件、深度信息文件以及来自3D节目源的3D元数据文件或数据之间的逻辑关系的文件格式，外部应用系统可通过访问该文件格式快速获取3D素材的属性信息；（2）提供该文件格式的实现方法；（3）提供该文件格式的编码与解码方法。本发明专利技术可应用到非线性视频编辑系统中，大大降低了3D素材的应用难度，简化了应用流程，提高了3D素材的管理效率，具有极高的灵活性和扩展性；同时，提供该文件格式的实现方法和编解码方法，充分利用计算机性能，多线程并发进行编解码，高效使用3D素材。

【技术实现步骤摘要】

本专利技术涉及。
技术介绍
立体视频是一种能够提供立体感的新型视频技术，随着图像技术和数字技术的发展，立体视频这种能够带来更强临场感的视频技术得到了飞速发展。目前的立体视频主要是双目立体视频，一帧画面由左右两个子画面构成，对应于人的左右眼，观看此类视频节目时，往往需要佩戴专用眼镜。随着裸眼3D技术的发展，包含有超过两个视角的立体视频节目会越来越多。双目立体视频和多视角立体视频节目在拍摄和制作过程中，物理存储形式一般是每个视角一个独立的物理文件，再辅以一个或多个3D元数据文件。3D元数据文件可能包括3D摄像机的各项属性信息、深度信息等。S卩，如图1所示，一个立体视频素材由多个物理文件构成。对于后续编辑处理流程来说，这些处于杂散状态的文件簇在管理和使用方面存在着一定的困难。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种新型的立体视频文件的描述与管理方法，建立一种用于描述立体视频各个视角的独立物理文件、音频文件、透明度文件、深度信息文件以及来自3D节目源的3D元数据文件或数据之间的逻辑关系的文件格式，大大提高3D素材的管理效率，具有极高的灵活性和扩展性；同时，提供该文件格式的实现方法和编解码方法，充分利用计算机性能，多线程并发进行编解码，高效使用3D素材。本专利技术的目的是通过以下技术方案来实现的:，它包括以下步骤:(I)建立一种用于描述立体视频各个视角的独立物理文件、音频文件、透明度文件、深度信息文件以及来自3D节目源的3D元数据文件或数据之间的逻辑关系的文件格式，该文件格式存储3D素材杂散文件簇内的各通道物理文件的路径、属性、偏移位置信息以及3D元数据信息，描述各通道物理文件的路径并具备开放的文件结构，可随时扩充新的通道数据，外部应用系统可通过访问该文件格式快速获取3D素材的属性信息；(2)提供该文件格式的实现方法；(3)提供该文件格式的编码与解码方法。所述的立体视频文件包括双目立体视频文件和多视角立体视频文件。进一步地，文件格式包括但不限于:a)视频通道元数据信息包，包括双目立体视频和多视角立体视频通道的视频源文件的格式信息、文件名信息、源文件的有效起止位置、源文件与其他源文件的对齐关系；b)视频通道元数据信息包，在a)的基础上，如果视频通道为图片或图片序列的，包括对图片或图片序列的格式信息、文件名信息、图片序列持续长度、与其他源文件的对齐关系;c)音频通道元数据信息包，包括双目立体视频和多视角立体视频的音频源文件格式信息、文件名信息、源文件的有效起止位置、源文件与其他源文件的对齐关系，如果音频通道与a)中的视频通道复用同一物理文件，则包括描述音频通道与视频通道之间复用关系的信息；d)透明度信息通道(键、Key通道)元数据信息包，包括双目立体视频和多视角立体视频的键通道源文件格式信息、路径信息、源文件的有效起止位置、源文件与其他源文件的对齐关系；e)深度信息通道(D印th)元数据信息包，包括双目立体视频和多视角立体视频的深度信息通道源文件格式信息、路径信息、源文件的有效起止位置、源文件与其他源文件的对齐关系；f)3D元数据信息包，包括描述双目立体视频和多视角立体视频各视角之间的关系的3D元数据信息和来自3D节目源的元数据信息；g)附加信息包，包括创建文件的厂商、产品名及日期信息。在该文件格式基础上进行新数据包类型的扩展。该文件格式的实现方法包括使用二进制文件实现或使用xml文件实现。该文件格式的编码方法包括以下步骤:SlOl:上层调用者下发编码任务给编码模块，其中，编码任务包括:目标3D素材的3D格式信息、3D元数据、各视角图像格式信息、各视角物理文件名和格式信息、音频文件名和格式信息、Key通道文件名和格式信息、深度通道文件名和格式信息、各视角、各通道的文件有效区间信息；S102:编码模块获取编码任务并启动编码总控线程，在内存中创建该文件格式的内存数据结构体，填充目前已知的各项信息；S103:编码总控线程分别创建各通道编码处理线程，包括每个视角的视频文件编码线程、每个音频文件编码线程、每个Key文件编码线程、每个深度文件编码线程；S104:编码模块总控线程从上层3D渲染器获取到各视角各通道的数据，分发给各文件编码线程，各文件编码线程根据目标文件格式进行数据处理，并将处理结果送编码器进行编码，编码结果送文件封装器写文件，同时，统计编码进度；S105:所有帧编码完毕后，各编码线程关闭文件，将编码进度信息反馈给编码总控线程，编码总控线程将文件帧数信息刷新到该文件格式的内存数据结构体，创建该文件格式的物理文件，并将内存数据写入物理文件；S106:编码总控线程结束，整个编码流程结束。该文件格式的解码方法包括以下步骤:S201:解码模块打开并读取该文件格式内的3D素材信息；S202:根据该文件格式内索引的物理文件个数，创建视音频解码线程，每个线程负责一个文件的解码；S203:解码线程打开并读取对应的物理文件，调用解码器对其进行解码；S204:解码模块按照上层调用者对解码结果格式的需求对各通道的解码结果数据进行整合，并送至上层指定的数据缓冲区；S205:重复步骤 S203 S204 ；S206:文件解码完毕，关闭各路物理文件，结束解码流程。本专利技术的有益效果是:建立一种用于描述立体视频各个视角的独立物理文件、音频文件、透明度文件、深度信息文件以及来自3D节目源的3D元数据文件或数据之间的逻辑关系的文件格式，可应用到非线性视频编辑系统中，大大降低了 3D素材的应用难度，简化了应用流程，提高了 3D素材的管理效率，具有极高的灵活性和扩展性；同时，提供该文件格式的实现方法和编解码方法，充分利用计算机性能，多线程并发进行编解码，高效使用3D素材。附图说明图1为立体视频素材物理文件构成示意图；图2为本专利技术使用s3d文件进行管理立体视频素材物理文件结构示意图；图3为本专利技术s3d文件结构与物理存储位置对应关系示意图；图4为本专利技术s3d文件编码流程不意图；图5为本专利技术s3d文件解码流程示意图。具体实施例方式下面结合附图进一步详细描述本专利技术的技术方案，但本专利技术的保护范围不局限于以下所述。，它包括以下步骤:( I)建立一种用于描述立体视频(立体视频包括双目立体视频和多视角立体视频)各个视角的独立物理文件、音频文件、透明度文件、深度信息文件以及来自3D摄像机、3D视频输出设备或3D渲染器等3D节目源的3D元数据等文件或数据之间的逻辑关系的文件格式(以下统称s3d文件)，s3d文件在3D素材应用流程中的位置及作用如图2所示，s3d文件与其索引的3D素材的视音频各通道的物理文件之间的相对路径关系不是固定的，可以随意放置；如图3所示，s3d文件的文件头必须放在文件的起始位置，且文件内只有一个文件头；格式信息及3D元数据、附加信息段文件内只能有一段，位置可不固定；其余段可以有O个或多个，位置也可不固定。表I 表7分别是各个段的详细说明:其中，表I为文件头字段说明:本文档来自技高网...

【技术保护点】
一种立体视频文件的描述与管理方法，其特征在于：它包括以下步骤：（1）建立一种用于描述立体视频各个视角的独立物理文件、音频文件、透明度文件、深度信息文件以及来自3D节目源的3D元数据文件或数据之间的逻辑关系的文件格式，该文件格式存储3D素材杂散文件簇内的各通道物理文件的路径、属性、偏移位置信息以及3D元数据信息，描述各通道物理文件的路径并具备开放的文件结构，可随时扩充新的通道数据，外部应用系统可通过访问该文件格式快速获取3D素材的属性信息；（2）提供该文件格式的实现方法；（3）提供该文件格式的编码与解码方法。

【技术特征摘要】
1.一种立体视频文件的描述与管理方法，其特征在于:它包括以下步骤: (1)建立一种用于描述立体视频各个视角的独立物理文件、音频文件、透明度文件、深度信息文件以及来自3D节目源的3D元数据文件或数据之间的逻辑关系的文件格式，该文件格式存储3D素材杂散文件簇内的各通道物理文件的路径、属性、偏移位置信息以及3D元数据信息，描述各通道物理文件的路径并具备开放的文件结构，可随时扩充新的通道数据，外部应用系统可通过访问该文件格式快速获取3D素材的属性信息； (2)提供该文件格式的实现方法； (3)提供该文件格式的编码与解码方法。2.根据权利要求1所述的一种立体视频文件的描述与管理方法，其特征在于:所述的立体视频文件包括双目立体视频文件和多视角立体视频文件。3.根据权利要求1或2所述的一种立体视频文件的描述与管理方法，其特征在于:所述的文件格式包括但不限于: a)视频通道元数据信息包，包括双目立体视频和多视角立体视频通道的视频源文件的格式信息、文件名信息、源文件的有效起止位置、源文件与其他源文件的对齐关系； b)视频通道元数据信息包，在a)的基础上，如果视频通道为图片或图片序列的，包括对图片或图片序列的格式信息、文件名信息、图片序列持续长度、与其他源文件的对齐关系; c)音频通道元数据信息包，包括双目立体视频和多视角立体视频的音频源文件格式信息、文件名信息、源文件的有效起止位置、源文件与其他源文件的对齐关系，如果音频通道与a)中的视频通道复用同一物理文件，则包括描述音频通道与视频通道之间复用关系的信息； d)透明度信息通道元数据信息包，包括双目立体视频和多视角立体视频的键通道源文件格式信息、路径信息、源文件的有效起止位置、源文件与其他源文件的对齐关系； e)深度信息通道元数据信息包，包括双目立体视频和多视角立体视频的深度信息通道源文件格式信息、路径信息、源文件的有效起止位置、源文件与其他源文件的对齐关系； f)3D元数据信息包，包括描述双目立体视频和多视角立体视频各视角之间的关系的3D元数据信息和来自3D节目源的元数据信息； g)附加信息包，包括创建文件的厂商、产品名及日期信息。4.根据权利要求1所述...

【专利技术属性】
技术研发人员：李景颉，王高飞，李广群，赖守波，
申请(专利权)人：成都索贝数码科技股份有限公司，
类型：发明
国别省市：