本发明专利技术涉及一种用于对代表多视图视频的编码数据流进行编码的方法和用于对代表多视图视频的编码数据流进行解码的方法。编码数据流包括代表至少一个图集的编码数据，所述至少一个图集对应于包括至少一个图块的图像，所述至少一个图块对应于从多视图视频的视图的至少一个分量中提取的像素集合，所述视图不在所述编码数据流中被编码。用于解码的方法具体地包括从所述编码数据流解码所述至少一个图集，包括：对所述至少一个图块进行解码，针对所述至少一个解码图块确定是否必须应用变换以及必须将哪种变换应用于所述至少一个解码图块，所述变换属于包括图块的至少一个过采样或图块的像素值的修改的变换组，以及将所确定的变换应用于所述解码图块。换应用于所述解码图块。换应用于所述解码图块。
【技术实现步骤摘要】
【国外来华专利技术】用于编码和解码多视图视频序列的方法和设备
[0001]本专利技术涉及沉浸式视频，其代表由一个或多个摄像机捕获的场景。更具体地说，本专利技术涉及这种视频的编码和解码。
技术介绍
[0002]在沉浸式视频环境中，即在其中观看者有沉浸在场景中的感觉，场景通常由一组摄像机捕获，如图1所示。这些摄像机可以是2D类型(在图1中的摄像机C1、C2、C3、C4)或360类型的，即围绕摄像机360度捕获整个场景(在图1中的摄像机C5)。
[0003]所有这些捕获的视图都被传统地编码，然后由观看者的终端解码。然而，为了提供足够的体验质量，从而在显示给观看者的场景中提供视觉质量和良好的沉浸感，仅显示捕获的视图是不够的。
[0004]为了改善沉浸在场景中的感觉，通常从解码的视图计算被称为中间视图的一个或多个视图。
[0005]这些中间视图可以通过视图合成算法来计算。
[0006]通常，例如，在当前正在标准化的MIV系统(沉浸式视频的元数据)中，并不是所有的原始视图(即，由摄像机捕获的那些原始视图)都被发送到解码器。从可用于合成中间视点的原始视图中的至少一些中选择(也被称为“修剪(pruning)”)数据。
[0007]图2示出了使用这种多视图视频的数据选择来合成解码器侧的中间视图的编码
‑
解码系统的示例。
[0008]根据该方法，一个或多个基本视图(在图2中的T
b
、D
b
)由2D编码器(例如HEVC编码器)或由多视图编码器编码。
[0009]处理其他视图(Ts、Ds)以从这些视图中的每一个中提取某些区域。提取的区域(以下也称为图块)被收集在称为图集的图像中。图集例如由传统的2D视频编码器(例如HEVC编码器)进行编码。在解码器侧，图集被解码，将解码图块提供给视图合成算法，以从基本视图和解码图块产生中间视图。总体而言，这些图块允许从另一视点发送相同的区域。特别是，图块允许发送遮挡，即从给定视图不可见的场景部分。
[0010]MIV系统(MPEG
‑
I第12部分)在其参考实现中(TMIV，“沉浸式视频的测试模型”)生成由图块集合形成的图集。
[0011]图3示出了从视图(V0、V1、V2)中提取图块(图块2、图块5、图块8、图块3、图块7)并创建相关联的图集(例如两个图集A0和A1)的示例。这些图集A0和A1各自包括纹理图像T0、T1和对应的深度图D0、D1。图集A0具有纹理T0和深度D0，而图集A1具有纹理T1和深度D1。
[0012]如图2所示，这些图块被收集成图像，并由传统的2D视频编码器进行编码。为了避免提取的图块的额外信令和编码成本，有必要在图集中具有图块的最佳布置。此外，考虑到解码器要处理的大量信息以重建多视图视频的视图，不仅需要降低压缩这种图块的成本，而且需要降低解码器需要处理的像素数。事实上，在大多数应用中，播放这种视频的设备比编码这种视频的设备具有更有限的资源。
[0013]因此，需要改进现有技术。
技术实现思路
[0014]本专利技术提高了技术水平。为此，本专利技术涉及一种用于解码代表多视图视频的编码数据流的方法，所述编码数据流包括代表至少一个图集的编码数据，所述至少一个图集对应于包括至少一个图块的图像，所述至少一个图块对应于从多视图视频的视图的至少一个分量中提取的像素集合，所述视图未在所述编码数据中被编码。该解码方法包括：
[0015]‑
从所述编码数据流对所述至少一个图集进行解码，包括对所述至少一个图块进行解码，
[0016]‑
对于所述至少一个解码图块，确定是否必须应用变换以及必须将哪种变换应用于所述至少一个解码图块，所述变换属于包括图块的至少一个过采样或图块的像素值的修改的变换组，
[0017]‑
将确定的变换应用于所述解码图块。
[0018]相应地，本专利技术还涉及一种用于编码代表多视图视频的数据流的方法，该编码方法包括：
[0019]‑
从多视图视频的未在所述数据流中编码的视图的至少一个分量中提取对应于所述分量的像素集合的至少一个图块，
[0020]‑
对于所述至少一个提取的图块，确定是否必须应用变换以及必须将哪种变换应用于所述至少一个图块，所述变换属于包括图块的至少一个子采样或图块的像素值的修改的变换组，
[0021]‑
将所确定的变换应用于所述至少一个图块，
[0022]‑
对在所述数据流中的至少一个图集进行编码，所述至少一个图集对应于包括至少所述至少一个图块的图像。
[0023]因此，由于本专利技术，可以标识在重建期间必须对解码的图集的哪些图块进行变换。这种变换对应于在图集的编码期间应用的变换的逆变换。
[0024]本专利技术还可以将变换应用于图集的彼此不同的图块，或者图集的可以具有不同参数的图块。
[0025]因此，在图集中的图块的布置被优化以便于压缩。实际上，用于图集的图块的变换一方面可以通过使用诸如旋转、子采样和编码的变换来优化图集的像素的占用率，以便在图集图像内布置图块。
[0026]另一方面，变换可以优化压缩图块的成本，特别是通过修改这些图块的像素值，例如通过减小像素的动态范围、通过导致对较少像素进行编码的子采样、或者通过在图集的图像中使用实现获得尽可能少的像素来编码的最优布置。图集的像素的占用率的降低还降低了解码器要处理的像素率，从而降低了解码的复杂度。
[0027]根据本专利技术的特定实施例，确定是否必须对来自从所述至少一个图块的所述编码数据流解码的至少一个语法元素的所述至少一个解码图块应用变换。根据本专利技术的该特定实施例，在数据流中显式地编码语法元素以指示是否必须应用变换以及必须将哪种变换应用于解码图块。
[0028]根据本专利技术的另一特定实施例，所述至少一个解码的语法元素包括指示是否必须
对所述至少一个图块应用变换的至少一个指示符，并且如果所述指示符指示必须对所述至少一个图块应用变换，则所述至少一个语法元素可选地包括所述变换的至少一个参数。根据本专利技术的该特定实施例，要应用于图块的变换以指示是否必须将变换应用于图块的指示符的形式进行编码，并且在肯定的情况下，可能要应用的变换的参数或多个参数。例如，二进制指示符可以指示是否必须将变换应用于图块，如果必须，则指示使用哪种变换的代码、以及可能的变换的一个或多个参数，诸如比例因子、像素动态范围的修改函数、旋转角度等。
[0029]在其他实施例中，变换的参数可以在编码器处默认设置。
[0030]根据本专利技术的另一特定实施例，应用于所述图块的所述变换的所述至少一个参数具有相对于预测值被预测编码的值。因此，本专利技术的该特定实施例可以节省变换的参数的信令成本。
[0031]根据本专利技术的另一特定实施例，预测值被编码在视图的报头中，或图集的分量的报头或图集的报头中。
[0032]根据本专利技术的另一特定实施例，预测值对应于应用于属于该组的图块的变换的参数值，本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于解码代表多视图视频的编码数据流的方法，所述编码数据流包括代表至少一个图集的编码数据，所述至少一个图集对应于包括至少一个图块的图像，所述至少一个图块对应于从所述多视图视频的视图的至少一个分量中提取的像素集合，所述视图未在所述编码数据中被编码，所述解码方法包括：
‑
从所述编码数据流对所述至少一个图集进行解码，包括对所述至少一个图块进行解码，
‑
对于所述至少一个解码图块，确定是否必须应用变换以及必须将哪种变换应用于所述至少一个解码图块，所述变换属于包括所述图块的至少一个过采样或所述图块的像素值的修改的变换组，
‑
将所确定的变换应用于所述解码图块。2.如权利要求1所述的方法，其中，确定是否必须根据从所述至少一个图块的所述编码数据流中解码的至少一个语法元素对所述至少一个解码图块应用变换。3.如权利要求2所述的方法，其中，所述至少一个解码的语法元素包括指示是否必须对所述至少一个图块应用变换的至少一个指示符，并且如果所述指示符指示必须对所述至少一个图块应用变换，则所述至少一个语法元素可选地包括所述变换的至少一个参数。4.如权利要求3所述的方法，其中，应用于所述图块的所述变换的所述至少一个参数具有相对于预测值被预测编码的值。5.如权利要求4所述的方法，其中，所述预测值被编码在视图的报头中，或者被编码在所述图集的分量的报头或所述图集的报头中。6.如权利要求4所述的方法，其中，所述预测值对应于应用于属于所述组的图块的变换的参数的值，包括：
‑
根据所述图集的所述图块的处理顺序的先前处理的图块，
‑
从与至少一个图块所属的所述多视图视频的视图的相同分量中提取的先前处理的图块，
‑
使用在所述数据流中编码的索引从候选图块集合中选择的图块，
‑
使用选择标准从候选图块集合中选择的图块。7.如权利要求1所述的方法，其中，如果从所述数据流的报头解码的语法元素指示对在所述数据流中编码的所述图块的变换的所述应用的激活，则对于所述至少一个解码图块执行确定是否必须对所述至少一个解码图块应用变换，所述语法元素被编码在视图的报头或视图的分量的报头或所述图集的报头中。8.如权利要求1所述的方法，其中，如果所述解码图块的特性满足标准，则确定必须对所述至少一个解码图块应用变换。9.如权利要求8所述的方法，其中，所述特性对应于比率R＝H/W，其中H对应于高度，并且W对应于所述至少一个解码图块的宽度，当所述比率被包含在确定的间隔内时，应用于所述至少一个图块的所述变换对应于以预定的因子进行的垂直过采样。10.如权利要求8所述的方法，其中，...
【专利技术属性】
技术研发人员：F亨利，J荣格，
申请(专利权)人：奥兰治，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。