用于编码和解码大视场视频的方法和装置制造方法及图纸

公开一种用于在沉浸式呈现系统中将大视场视频编码/解码成比特流的方法。所述大视场视频的至少一个画面被表示为表面，所述表面使用投影函数投影到至少一个2D画面上。对于所述至少一个2D画面的至少一个当前块，根据所述投影函数确定表示2D空间邻域的修改的至少一个信息项。使用表示修改的所述至少一个信息项确定一组相邻块，并且使用所确定的该组相邻块来执行所述当前块的编码/解码的至少一部分。

Method and device for encoding and decoding large field of view video

A method for encoding/decoding large field of view video into a bit stream in an immersive presentation system is disclosed. At least one picture of the large field of view video is represented as a surface, which is projected onto at least one 2D picture using a projection function. For at least one current block of the at least one 2D picture, at least one information item representing a modification of a 2D spatial neighborhood is determined according to the projection function. A set of adjacent blocks is determined using at least one information item indicating the modification, and at least a portion of the encoding/decoding of the current block is performed using the determined set of adjacent blocks.

【技术实现步骤摘要】
【国外来华专利技术】用于编码和解码大视场视频的方法和装置
本公开涉及编码和解码沉浸式视频，例如当在用于虚拟现实，增强现实或增强虚拟的系统中处理这样的沉浸式视频时，并且例如当在头戴式显示设备中显示时。
技术介绍
最近，可用的大视场内容(高达360°)已经增长。观看沉浸式显示设备(诸如头戴式显示器(HMD)，智能眼镜，PC屏幕，平板电脑，智能手机等)上的内容的用户潜在地不完全可见这样的内容。这意味着在给定时刻，用户可能只是查看内容的一部分。然而，用户典型可以通过诸如头部移动，鼠标移动，触摸屏，语音等各种方式在内容内导航。典型期望编码和解码这样的内容。
技术实现思路
根据本原理的一个方面，公开一种用于将大视场视频编码成比特流的方法。所述大视场视频的至少一个画面被表示为表面，所述表面使用投影函数投影到至少一个2D画面上，所述方法包括，对于所述至少一个2D画面的至少一个当前块：-根据所述投影函数，确定表示2D空间邻域的修改的至少一个信息项，-使用表示修改的至少一个信息项确定一组相邻块，-使用所确定的该组相邻块执行编码所述当前块的至少一部分。本原理允许根据用于将表面投影到一个或多个画面上的投影函数来确定要编码的当前块的新邻居。使用用于将表面投影到矩形画面上的投影函数来确定表示修改的至少一个信息项。表示修改的这种信息项描述了2D画面中块的常规2D空间因果相邻的修改，以考虑由表面投影到矩形画面上引入的连续性和不连续性。这里公开的原理允许通过考虑由投影函数暗示的修改来适应当前块的相邻，如从常规编码器中已知的那样。然后，根据常规2D视频编码方案，将适应的相邻用于编码当前块。这样的适应的相邻者可以由编码器的所有编码模块使用或仅由这些一些编码模块使用。相邻的这样的适应允许增加应用于大视场视频的2D视频编码方案的压缩效率。根据本原理的另一方面，还公开一种用于将大视场视频编码成比特流的装置。这样的装置包括，对于所述至少一个2D画面的至少一个块：-用于根据所述投影函数，确定表示2D空间邻域的修改的至少一个信息项的部件，-用于使用表示修改的至少一个信息项确定一组相邻块的部件，-用于使用所述确定的该组相邻块执行编码所述当前块的至少一部分的部件。根据本原理的另一方面，还公开一种用于解码表示大视场视频的比特流的方法。所述方法包括，对于所述至少一个2D画面的至少一个当前块：-根据所述投影函数，确定表示2D空间邻域的修改的至少一个信息项，-使用表示修改的至少一个信息项确定一组相邻块，-使用所述确定的该组相邻块执行从比特流中解码所述当前块的至少一部分。根据本原理的另一方面，公开一种用于解码表示大视场视频的比特流的装置。这样的装置包括，对于所述至少一个2D画面的至少一个当前块：-用于根据所述投影函数，确定表示2D空间邻域的修改的至少一个信息项的部件，-用于使用表示修改的至少一个信息项确定一组相邻块的部件，-用于使用所确定的该组相邻块执行从比特流中解码所述当前块的至少一部分的部件。根据本公开的实施例，表示修改的所述至少一个信息项与至少所述编码的一部分或所述解码的至少一部分相关联地存储在邻居替换表中。这样的实施例允许根据处理块的编码模块或解码模块激活/去激活相邻块，诸如用于帧内预测的最可能模式确定，帧内预测，运动矢量预测，运动矢量推导，去块滤波，样本自适应偏移处理等...因此，块的相邻因此根据执行的处理块的编码/解码模块进行适应。根据本公开的另一实施例，编码/解码的所述部分可以对应于使用属于该组相邻块的块的至少一个样本确定预测块，确定用于编码/解码用于所述至少一个当前块的帧内预测模式的最可能模式列表，推导用于编码/解码所述至少一个当前块的运动矢量的运动矢量预测器，推导用于编码/解码所述至少一个当前块的运动矢量的运动矢量，在至少所述一个当前块与属于该组相邻块的块之间去块滤波，在所述至少一个当前块的至少一个样本与属于该组相邻块的块的至少一个样本之间样本自适应偏移滤波。根据本公开的另一实施例，编码/解码的所述部分对应于确定用于编码所述当前块的预测器列表，其中确定所述预测器列表使用来自属于该组相邻块的相邻块的至少一个预测器，所述相邻块位于所述当前块的下方，右侧或右下方。根据变型，所述预测器列表对应于用于编码/解码所述当前块的帧内预测模式的帧内预测模式的最可能模式列表，或对应于用于编码/解码所述当前块的运动矢量的运动矢量预测器列表。根据本公开的另一实施例，所述2D画面包括块的至少一个区域，并且表示修改的所述至少一个信息项存储在所述邻居替换表中，用于所述当前块所属的当前区域。表示修改的所述至少一个信息项属于至少包括以下的组：-在所述2D画面中要使用的邻居替换区域而不是在空间上与所述当前区域相邻的邻居区域，以确定该组相邻块，-在所述2D画面中要使用的邻居替换区域而不是在空间上与所述当前区域相邻的不可用区域，以确定该组相邻块，-在所述2D画面中要使用的空替换区域而不是在空间上与所述当前区域相邻的邻居区域，以确定该组相邻块，其中所述空替换区域是包括来自所述2D画面的零块的区域。根据本公开的另一实施例，表示修改的所述信息项与要应用于邻居替换区域的变换参数相关联地存储。该实施例允许考虑当投影到2D画面时或者当用于表面的区域或者在立方体的情况下的面被重新排列在2D画面中时可能已经在区域上发生的到表面的变换。作为示例，当重新排列在图14C中例示的2D画面上时，图14A中例示的立方体的顶部，后部和底部的面在逆时针方向上旋转90°的角度。根据本公开的另一实施例，所述邻居替换表被编码到所述比特流中或从所述比特流解码。根据本公开的另一实施例，所述邻居替换表被编码为诸如由H.264/AVC标准定义的序列参数集(SPS)语法元素，或诸如由H.264/AVC标准或HEVC标准定义的画面参数集(PPS)语法元素，或者诸如由H.264/AVC标准或HEVC标准定义的与所述画面对应的条带报头语法元素。根据本公开的另一实施例，在解码器处从与从所述比特流解码的所述投影函数有关的信息项生成所述邻居替换表。根据本原理的另一方面，公开了一种表示编码的大视场视频的比特流。所述比特流包括表示所述2D画面的至少一个当前块的编码数据，所述当前块使用利用表示根据所述投影函数确定的修改的至少一个信息项确定出的一组相邻块来编码。根据本公开的实施例，所述比特流还包括表示邻居替换表的编码数据，所述邻居替换表存储表示修改的所述至少一个信息项。根据本公开的另一实施例，所述比特流还包括编码数据，其表示与用于生成存储表示修改的所述至少一个信息项的邻居替换表的所述投影函数有关的至少一项信息。根据在此公开的任何一个实施例的比特流可以存储在非暂时性处理器可读介质上。根据本原理的另一方面，公开一种沉浸式呈现设备，其包括用于解码表示大视场视频的比特流的装置。根据本原理的另一方面，公开一种用于沉浸式呈现编码成比特流的大视场视频的系统。这样的系统至少包括用于从数据网络接收所述比特流的网络接口，根据在此公开的任何一个实施例的用于解码所述比特流的装置，用于呈现所述解码的大视场视频的沉浸式呈现设备。根据一个实现方式，如这里上面所述的用于编码大视场视频或解码大视场视频的方法的不同步骤由一个或多个软件程序或软件模块程序实现，所述软件程序或软件模块程序包括旨在由用于本文档来自技高网...

【技术保护点】
1.一种用于将大视场视频编码成比特流的方法，所述大视场视频的至少一个画面被表示为表面，所述表面使用投影函数投影到至少一个2D画面上，所述方法包括：‑根据所述投影函数，对于所述2D画面的至少一个当前区域，确定至少一个信息项，以在编码期间定义所述2D画面的区域用作当前区域的相邻区域以替换所述2D画面的空间相邻区域，‑对于所述区域的当前块，响应于所述至少一个信息项确定一组相邻块，‑使用所确定的该组相邻块编码所述至少一个当前块，其中所述至少一个信息项与编码模块相关联地定义，并且其中编码所述至少一个当前块使用所确定的该组相邻块用于相关联的编码模块。

【技术特征摘要】
【国外来华专利技术】2016.09.30 EP 16306263.11.一种用于将大视场视频编码成比特流的方法，所述大视场视频的至少一个画面被表示为表面，所述表面使用投影函数投影到至少一个2D画面上，所述方法包括：-根据所述投影函数，对于所述2D画面的至少一个当前区域，确定至少一个信息项，以在编码期间定义所述2D画面的区域用作当前区域的相邻区域以替换所述2D画面的空间相邻区域，-对于所述区域的当前块，响应于所述至少一个信息项确定一组相邻块，-使用所确定的该组相邻块编码所述至少一个当前块，其中所述至少一个信息项与编码模块相关联地定义，并且其中编码所述至少一个当前块使用所确定的该组相邻块用于相关联的编码模块。2.一种用于将大视场视频编码成比特流的装置，所述大视场视频的至少一个图像被表示为表面，所述表面使用投影函数被投影到至少一个2D画面上，所述装置包括：-用于根据所述投影函数，对于所述2D画面的至少一个当前区域确定至少一个信息项，以在编码期间定义所述2D画面的区域用作当前区域的相邻区域以替换所述2D画面的空间相邻区域的部件，-用于对于所述区域的当前块，响应于所述至少一个信息项确定一组相邻块的部件，-用于使用所确定的该组相邻块编码所述至少一个当前块的部件，其中所述至少一个信息项与编码模块相关联地定义，并且其中编码所述至少一个当前块使用所确定的该组相邻块用于相关联的编码模块。3.根据权利要求1所述的用于编码的方法或根据权利要求2所述的用于编码的装置，其中，所述编码模块属于包括以下至少之一的组：-使用属于该组相邻块的块的至少一个样本确定预测块，-确定用于编码所述至少一个当前块的帧内预测模式的最可能模式列表，-推导用于编码所述至少一个当前块的运动矢量的运动矢量预测器，-推导用于编码所述至少一个当前块的运动矢量的运动矢量，-在至少所述一个当前块与属于该组相邻块的块之间去块滤波，-在所述至少一个当前块的至少一个样本与属于该组相邻块的块的至少一个样本之间样本自适应偏移滤波。4.根据权利要求1和3中任一项所述的用于编码的方法或根据权利要求2-3中任一项所述的用于编码的装置，其中，所述2D画面包括块的至少一个区域，并且其中表示修改的所述至少一个信息项存储在所述邻居替换表中，用于所述至少一个当前块所属的当前区域，并且其中表示修改的所述至少一个信息项属于至少包括以下的组：-在所述2D画面中要使用的邻居替换区域而不是在空间上与所述当前区域相邻的邻居区域，以确定该组相邻块，-在所述2D画面中要使用的邻居替换区域而不是在空间上与所述当前区域相邻的不可用区域，以确定该组相邻块，-在所述2D画面中要使用的空替换区域而不是在空间上与所述当前区域相邻的邻居区域，以确定该组相邻块，其中所述空替换区域是包括来自所述2D画面的零块的区域。5.根据权利要求1和3-4中任一项所述的用于编码的方法或根据权利要求2-4中任一项所述的用于编码的装置，其中，所述至少一个信息项与要应用于所述2D画面的所述区域的变换相关联地定义，以用作相邻区域。6.根据权利要求5所述的用于编码的方法或根据权利要求5所述的用于编码的装置，其中，所述变换是旋转。7.根据权利要求1和3-6中任一项所述的用于编码的方法或根据权利要求2-6中任一项所述的用于编码的装置，其中，所述信息项存储在表格中。8.根据权利要求1和3-7中任一项所述的用于编码的方法或根据权利要求2-7中任一项所述的用于编码的装置，还包括将所述表格编码成所述比特流。9.一种用于解码表示大视场视频的比特流的方法，所述大视场视频的至少一个画面被表示为表面，所述表面使用投影函数投影到至少一个2D画面上，所述方法包括：-根据所述投影函数，对于所述2D画面的至少一个当前区域，确定至少一个信息项，以在编码期间定义所述2D画面的区域用作所述当前区域的相邻区域以替换所述2D画面的空间相邻区域，-对于所述区域的当前块，响应于所述至少一个信息项确定一组相邻块，-使...

【专利技术属性】
技术研发人员：T波里尔，F加尔平，F莱利安内克，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国,US