用于立体视频编解码的方法、装置及系统制造方法及图纸

本申请公开了一种方法，包括：获取承载立体视频的N个视频图像序列，N为大于等于2的整数；基于所述N个视频图像序列，确定第一图像序列和N‑1个第二图像序列；将所述第一图像序列和N‑1个第二图像序列编码生成立体视频位流；其中，针对第二图像序列进行编码所采用的编码模式包括：序列间预测编码模式；所述序列间预测编码模式是指，以所述第一图像序列中的图像为参考帧、对所述第二图像序列中的像素块进行预测编码。

Method, device and system for stereo video codec

The present application discloses a method for obtaining a sequence of N video images carrying a stereo video, N as an integer greater than or equal to 2; based on the sequence of N video images, the first image sequence and the 1 second image sequences are determined, and the first image sequence and the 1 second image sequences of the N are generated to generate a stereoscopic video bit. Stream; in which the encoding mode used for encoding second image sequences includes: inter sequence predictive coding mode, the inter sequence prediction encoding mode is that the image in the first image sequence is a reference frame and the pixel block in the second image sequence is predicted.

【技术实现步骤摘要】
用于立体视频编解码的方法、装置及系统
本申请涉及立体视频
，具体涉及用于立体视频编解码的方法、装置、系统及机器可读介质。
技术介绍
随着工业技术不断进步，3D电视和立体电影(3D电影)日渐普及，一些消费者已不再满足对于传统的二维(2D)视频内容信息的感官获取和娱乐诉求，而倾向于立体视频更逼真的效果体验。立体视频相比传统的二维视频，更能表现出场景画面的深度感和层次感，因此，使用立体视频技术来还原现实更具有临场感和真实性，其代表了虚拟化现实技术的重要方向。立体视频技术利用人的双目视差原理，利用摄像机在同一场景条件下同步摄录至少两个视频图像序列，然后通过编码处理生成立体视频位流，并存储在存储介质上或者通过网络发送给接收方。需要播放立体视频时，对从存储介质读取的、或者从网络接收到的立体视频位流经解码处理后还原生成立体视频信号，送达立体视频显示器展现，通过双目感官上的视差，从而使观看者获取到场景的纵向深度信息和体验到立体感。现有技术在将至少两个视频图像序列进行编码处理时，通常采用ITUH.264/AVC或者ISOMPEG-HHEVC等编码标准分别对每个视频图像序列进行独立编码，导致编码后生成的立体视频位流通常数据量较大，从而对存储空间或者网络带宽提出较大的挑战。以通过网络传输立体视频位流为例，由于需要占用较多的网络带宽，在网络带宽无法满足要求的情况下会因为网络拥塞丢包引起立体视频播放过程出现卡顿或者较高延迟，影响用户的观看体验。
技术实现思路
本申请提供一种方法，包括：获取承载立体视频的N个视频图像序列，N为大于等于2的整数；基于所述N个视频图像序列，确定第一图像序列和N-1个第二图像序列；将所述第一图像序列和N-1个第二图像序列编码生成立体视频位流；其中，针对第二图像序列进行编码所采用的编码模式包括：序列间预测编码模式；所述序列间预测编码模式是指，以所述第一图像序列中的图像为参考帧、对所述第二图像序列中的像素块进行预测编码。附图说明图1是本申请提供的一种方法的实施例的流程图；图2是本申请实施例提供的视频图像序列中分别对应于左眼和右眼的图像的一个例子；图3是本申请实施例提供的采用上下编码模式生成子采样图像序列的示意图；图4是本申请实施例提供的对第二图像序列中的待编码图像进行编码的处理流程图；图5是本申请提供的一种装置的实施例的示意图；图6是本申请提供的另一种方法的实施例的流程图；图7是本申请提供的另一种装置的实施例的示意图；图8是本申请提供的系统示例的示意图；图9是本申请提供的一种系统的实施例的示意图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是，本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此，本申请不受下面公开的具体实施的限制。本申请的技术方案可以有不同的变更实施方式或者替代实施方式，本说明书将结合附图给出的示例对特定的实施方式进行详细说明。但是，本领域技术人员应该理解，本说明书的目的不是为了将本申请技术方案限定于本说明书公开的特定实施方式，而是为了覆盖与本申请技术方案一致的所有变更实施方式、等同实施方式和替代实施方式。在本说明书中对“实施例”、“本实施例”、或者“示范实施例”等的引用，指明所描述的实施例可以包括具体的特征、结构或特性，但是并非要求每个实施例都需要包括该具体的特征、结构或特性。此外，当结合一个实施例描述具体的特征、结构或特性时，在本领域技术人员的知识范围内，可以结合其他实施例来实施这种特征、结构或特性(无论其是否被详细描述)。本申请的实施例可以按照软件、硬件、固件、或其结合、或其他方式实现。本申请的实施例还可实现为存储在非永久性或永久性机器可读介质(例如：计算机可读介质)上的指令，所述指令可通过一个或多个处理器读取或执行。机器可读介质包括任何按机器可读形式存储或传送信息的存储设备、机制或其他物理结构。例如，机器可读介质可以包括只读存储器(ROM)、随机访问存储器(RAM)、磁盘存储介质、光存储介质、闪存设备以及其他。在本说明书提供的附图中，一些结构或方法特征通常是按照具体的排列方式和/或顺序来展示的。但是应该理解，这些具体的排列方式和/或顺序并不是必需的。在一些实施例中，这些特征可以按照与附图不同的排列方式和/或顺序来组织。此外，在某一附图中包含的结构或方法特征，并不意味着在所有实施例中都要包含该特征，在一些实施例中，可以不包含该特征，或者该特征可以与其他特征相结合。为了便于理解，先对本申请的技术方案作简要说明。承载立体视频的N个视频图像序列通常是针对同一场景、通过不同角度同步摄录的视频图像序列，N是大于等于2的整数。对于N个视频图像序列来说，其中一个视频图像序列中的图像帧，在其他视频图像序列中通常分别具有相对应的图像帧，即：同一时刻从不同角度摄录的图像帧，这些图像帧具有相同的时间信息，在具体实施时，可以用图像帧的时间戳标识。现有技术在针对立体视频进行编码时，通常采用ITUH.264/AVC或者ISOMPEG-HHEVC等编码标准分别对每个视频图像序列进行独立编码，导致编码后得到的立体视频位流的数据量较大，对存储空间和网络传输带宽都提出了较高的要求。而实际上，分属不同视频图像序列的具有相同或者相近时间信息的图像帧，由于是在相同或者相近时刻针对同一场景摄录的，因此具有较强的相关性，为实现进一步的数据压缩编码提供了可能。基于上述考虑，本申请的技术方案在基于视频图像序列确定第一图像序列和N-1个第二图像序列之后，在对第二图像序列编码的过程中，引入了不同于传统帧内预测编码模式和帧间预测编码模式的序列间预测编码模式，即：在对第二图像序列中的像素块进行编码的过程中，可以将第一图像序列中的图像作为参考帧进行预测编码，从而可以大幅度提升编码过程中的数据压缩率，减少编码生成的立体视频位流对存储空间或者网络带宽的占用。在本技术方案中，所述预测编码是指根据离散信号之间存在着一定关联性的特点，利用前面一个或多个信号预测下一个信号，并对实际值和预测值的差进行编码的一种编码技术。所述像素块是指由图像中的一个像素、或者空间相邻的一个以上像素所组成的图像块，例如：8×8像素块就是由图像中相邻的8行、8列像素组成的图像块。在本申请技术方案中，承载立体视频的视频图像序列的数目为N，N是大于等于2的整数。在以下实施例中为了便于说明，重点以N＝2为例对本申请技术方案的实施过程进行说明。下面，对本申请提供的一种方法的实施例进行详细描述。请参考图1，其为本申请提供的一种方法的实施例的流程图。所述方法包括如下步骤：步骤101、获取承载立体视频的两个视频图像序列。本步骤获取承载立体视频的两个视频图像序列，所述两个视频图像序列通常分别为对应于左眼的视频图像序列、和对应于右眼的视频图像序列。请参见图2，其示出了分属两个立体视频图像序列的、具有相同时间信息的两帧图像，其中(a)为对应于左眼的图像，(b)为对应于右眼的图像。具体实施时，可以获取分别由两个摄像装置摄录的两个视频图像序列，也可以通过读取存储立体视频的多媒体资源文件并执行相应的转码操作、获取两个视频图像序列。两个视频图像序列分别包含一系列图像帧，并且两个视频图像序列中在同一时刻摄录的图本文档来自技高网...

【技术保护点】
一种方法，其特征在于，包括：获取承载立体视频的N个视频图像序列，N为大于等于2的整数；基于所述N个视频图像序列，确定第一图像序列和N‑1个第二图像序列；将所述第一图像序列和N‑1个第二图像序列编码生成立体视频位流；其中，针对第二图像序列进行编码所采用的编码模式包括：序列间预测编码模式；所述序列间预测编码模式是指，以所述第一图像序列中的图像为参考帧、对所述第二图像序列中的像素块进行预测编码。

【技术特征摘要】
1.一种方法，其特征在于，包括：获取承载立体视频的N个视频图像序列，N为大于等于2的整数；基于所述N个视频图像序列，确定第一图像序列和N-1个第二图像序列；将所述第一图像序列和N-1个第二图像序列编码生成立体视频位流；其中，针对第二图像序列进行编码所采用的编码模式包括：序列间预测编码模式；所述序列间预测编码模式是指，以所述第一图像序列中的图像为参考帧、对所述第二图像序列中的像素块进行预测编码。2.根据权利要求1所述的方法，其特征在于，所述N为2；所述N个视频图像序列分别为对应于左眼和右眼的视频图像序列。3.根据权利要求1所述的方法，其特征在于，所述基于所述N个视频图像序列确定第一图像序列和N-1个第二图像序列，包括：从所述N个视频图像序列中选择一个视频图像序列作为所述第一图像序列，将其他各视频图像序列分别作为所述N-1个第二图像序列中的各序列。4.根据权利要求3所述的方法，其特征在于，所述基于所述N个视频图像序列确定第一图像序列和N-1个第二图像序列，还包括：按照预设的降采样方式，对每个视频图像序列中的每帧图像分别进行降采样；所述从所述N个视频图像序列中选择一个视频图像序列作为所述第一图像序列，将其他各视频图像序列分别作为所述N-1个第二图像序列中的各序列，包括：从降采样后的N个视频图像序列中选择一个视频图像序列作为所述第一图像序列，将其他降采样后的各视频图像序列分别作为所述N-1个第二图像序列中的各序列。5.根据权利要求1所述的方法，其特征在于，所述基于所述N个视频图像序列，确定第一图像序列和N-1个第二图像序列，包括：按照预设的预处理编码模式，根据所述N个视频图像序列生成子采样图像序列；按照所述预处理编码模式对应的拆分方式，将所述子采样图像序列中的每帧图像拆分成具有相同时间信息的N个图像，从而得到N个图像序列；从所述N个图像序列中，选择第一图像序列，并将其他图像序列作为所述N-1个第二图像序列。6.根据权利要求1所述的方法，其特征在于，采用以下步骤对第二图像序列中的待编码图像进行编码：根据按照预设方式设置的像素块尺寸，将待编码图像划分为多个待编码的像素块；依次对每个待编码的像素块，执行以下编码操作：根据所述待编码图像的编码类型，从包括序列间预测编码模式的相应编码模式集合中为待编码像素块选择满足预设条件的编码模式；采用所选编码模式对所述待编码像素块进行编码。7.根据权利要求6所述的方法，其特征在于，所述满足预设条件的编码模式包括：满足基于代价最小化的率失真优化模型的编码模式。8.根据权利要求7所述的方法，其特征在于，针对帧内编码类型，所述相应编码模式集合中包括：帧内预测编码模式、序列间预测编码模式；所述根据待编码图像的编码类型，从包括序列间预测编码模式的相应编码模式集合中为待编码像素块选择满足预设条件的编码模式，包括：计算采用帧内预测编码模式对所述待编码像素块进行编码的第一代价；计算以第一图像序列中的第一关联图像为参考帧，采用序列间预测编码模式对所述待编码像素块进行编码的第二代价；将所述第一代价和第二代价中最小值对应的编码模式，作为为所述待编码像素块选择的编码模式。9.根据权利要求8所述的方法，其特征在于，所述第一关联图像，包括：与所述待编码图像具有相同时间信息的图像。10.根据权利要求7所述的方法，其特征在于，针对帧间编码类型，所述相应预设编码模式集合中包括：帧内预测编码模式、帧间预测编码模式、以及序列间预测编码模式；所述根据待编码图像的编码类型，从包括序列间预测编码模式的相应编码模式集合中为待编码像素块选择满足预设条件的编码模式，包括：计算采用帧内预测编码模式对所述待编码像素块进行编码的第三代价；计算采用帧间预测编码模式对所述待编码像素块进行编码的第四代价；计算以第一图像序列中的第二关联图像为参考帧，采用序列间预测编码模式对所述待编码像素块进行编码的第五代价；将所述第三、第四、第五代价中最小值对应的编码模式，作为为所述待编码像素块选择的编码模式。11.根据权利要求10所述的方法，其特征在于，所述第二关联图像包括：与所述待编码图像具有相同时间信息的图像；或者，时间信息不晚于所述待编码图像的图像；或者，时间信息早于所述待编码图像的图像以及时间信息晚于所述待编码图像的图像。12.根据权利要求6所述的方法，其特征在于，按照预设方式设置像素块尺寸，包括：根据所述视频图像序列对应的图像解析度参数，设置所述像素块尺寸。13.根据权利要求8或10所述的方法，其特征在于，在计算第二代价或者第五代价的过程中，在第一关联图像或第二关联图像的重构图像中搜索所述待编码像素块的匹配像素块时，根据在针对所述待编码图像编码过程中、在所述重构图像中搜索匹配像素块得到的首个运动矢量，以及所述待编码像素块的坐标，确定在所述重构图像中的搜索起始坐标，并从所述搜索起始坐标开始搜索所述匹配像素块。14.根据权利要求6所述的方法，其特征在于，在对第二图像序列中的待编码图像进行编码的过程中，若存在两个或者两个以上连续像素块的参考帧相同且运动矢量相同，则将所述连续像素块的编码描述信息合并成一组写入所述立体视频位流中。15.根据权利要求1所述的方法，其特征在于，在将所述第一图像序列和N-1个第二图像序列编码生成立体视频位流之后，包括：将所述立体视频位流写入存储介质中；或者，向接收方发送所述立体视频位流。16.一种装置，其特征在于，包括：视频图像序列获取单元，用于获取承载立体视频的N个视频图像序列，N为大于等于2的整数；图像序列确定单元，用于基于所述N个视频图像序列，确定第一图像序列和N-1个第二图像序列；图像序列编码单元，用于将所述第一图像序列和N-1个第二图像序列编码生成立体视频位流；其中，针对第二图像序列进行编码所采用的编码模式包括：序列间预测编码模式；所述序列间预测编码模式是指，以所述第一图像序列中的图像为参考帧、对所述第二图像序列中的像素块进行预测编码。17.根据权利要求16所述的装置，其特征在于，所述N为2，所述视频图像序列获取单元，具体用于获取分别对应于左眼和右眼的两个视频图像序列。18.根据权利要求16所述的装置，其特征在于，所述图像序列确定单元，具体用于从所述N个视频图像序列中选择一个视频图像序列作为所述第一图像序列，将其他各视频图像序列分别作为所述N-1个第二图像序列中的各序列。19.根据权利要求18所述的装置，其特征在于，所述图像序列确定单元包括：降采样子单元，用于按照预设的降采样方式，对每个视频图像序列中的每帧图像分别进行降采样；序列选择子单元，用于从降采样后的N个视频图像序列中选择一个视频图像序列作为所述第一图像序列，将其他降采样后的各视频图像序列分别作为所述N-1个第二图像序列中的各序列。20.根据权利要求16所述的装置，其特征在于，所述图像序列确定单元包括：子采样序列生成子单元，用于按照预设的预处理编码模式，根据所述N个视频图像序列生成子采样图像序列；子采样序列拆分子单元，用于按照所述预处理编码模式对应的拆分方式，将所述子采样图像序列中的每帧图像拆分成具有相同时间信息的N个图像，从而得到N个图像序列；图像序列选择子单元，用于从所述N个图像序列中，选择第一图像序列，并将其他图像序列作为所述N-1个第二图像序列。21.根据权利要求16所述的装置，其特征在于，所述图像序列编码单元包括：第一图像序列编码子单元，用于对第一图像序列进行编码；第二图像序列编码子单元，用于对N-1个第二图像序列进行编码；所述第二图像序列编码子单元，包括：像素块划分子单元，用于根据按照预设方式设置的像素块尺寸，将待编码图像划分为多个待编码的像素块；循环控制子单元，用于针对每个待编码的像素块，依次调用以下模式选择子单元和像素块编码子单元进行编码处理；模式选择子单元，用于根据所述待编码图像的编码类型，从包括序列间预测编码模式的相应编码模式集合中为待编码像素块选择满足预设条件的编码模式；像素块编码子单元，用于采用所选编码模式对所述待编码像素块进行编码。22.根据权利要求21所述的装置，其特征在于，所述模式选择子单元，具体用于根据所述待编码图像的编码类型，从包括序列间预测编码模式的相应编码模式集合中为待编码像素块选择满足基于代价最小化的率失真优化模型的编码模式。23.根据权利要求22所述的装置，其特征在于，所述模式选择子单元包括针对帧内编码类型的以下子单元：第一代价计算子单元，用于计算采用帧内预测编码模式...

【专利技术属性】
技术研发人员：黄敦笔，张磊，杜武平，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY