用于虚拟现实视频处理的边界填充的方法与装置制造方法及图纸

本发明专利技术公开了图像序列的视频编码或处理方法和装置，所述图像序列对应于虚拟现实(VR)视频。根据本发明专利技术的实施例，使用一个或多个扩展立方体面填充在一个立方体面帧的一个立方体面帧边界之外的填充区域，以形成填充的立方体面帧，其中所述一个立方体面帧中的至少一个边界立方体面具有一个填充区域，所述一个填充区域使用从相同的立方体面帧中的一个扩展的立方体面导出的像素数据。

Method and Device of Boundary Filling for Virtual Reality Video Processing

The invention discloses a video encoding or processing method and device for image sequence, which corresponds to virtual reality (VR) video. According to an embodiment of the present invention, a filling area outside the boundary of a cube surface frame of a cube surface frame is filled with one or more extended cubes to form a filling cube surface frame, in which at least one boundary cube surface of a cube surface frame has a filling area, and the filling area uses a filling area from the same cube surface frame. Pixel data derived from an extended cube surface.

【技术实现步骤摘要】
【国外来华专利技术】用于虚拟现实视频处理的边界填充的方法与装置相关引用本申请要求2016年6月7日递交的申请号为62/346,597的美国临时案的优先权，该美国临时专利申请案在此以参考纳入其中。
本专利技术涉及图像和视频编码和处理。特别地，本专利技术涉及用于视频编码或处理的填充立方体面帧(paddingcubicfaceframes)，其需要在立方体面帧边界之外的像素数据。
技术介绍
360°视频(也称为沉浸式视频)是一种新兴技术，其可以提供“感觉身临其境(feelingassensationofpresent)”。通过围绕用户覆盖全景的环绕场景，特别是360度视野，使用户获得沉浸感。通过立体渲染可以进一步提高“感觉身临其境”。因此，全景视频在虚拟现实(VirtualReality，VR)应用中被广泛使用。沉浸式视频涉及使用多个相机来捕获一个场景，以覆盖全景视野，例如360度视野。沉浸式相机通常使用一组相机，可以捕获360度视野。通常，沉浸式相机使用两个或多个相机。所有视频必须被同时拍摄，并记录场景的分离片段(也称为单独视角)。此外，该组相机通常被布置成水平地捕获视图，然而相机的其它布置是可以的。360度全景相机捕获周围的场景，并且拼接的球面图像(stitchedsphericalimage)是用来表示在水平方向上连续的VR视频的一种方式。换句话说，球面图像的左端的内容与右端是连续的。球面图像也可以投影到立方体的六个面，作为替代的360度格式。可以通过投影转换来执行转换，以导出表示立方体的六个面的六个面图像(faceimage)。在立方体的面上，这六个图像在立方体的边缘处连接。在图1中，图像110对应于没有任何空白区域的组合的矩形立方体帧，其中组合的帧由1x6的立方体面组成。在图1中，图像120对应于具有使用虚拟数据填充的空白区域的展开的(unfold)立方体图像，其也称为具有空白区域的立方体网格(cubicnet)。如图1所示，展开的立方体面图像被填入到覆盖六个展开的立方体面图像的最小矩形中。立方体面组合帧通常需要额外的处理，例如视频/图像压缩或图像滤波。例如，在传统的视频编码系统中，运动估计(ME)和运动补偿(MC)的处理可能需要在参考帧的帧边界外或跨越帧边界的图像数据。与常规2D视频不同，与360度视频相关联的帧在相邻立方体面之间具有连续性。视频/图像系统通过利用这些信息应该能够更好地执行立方体面之间的连续性的感知。在本专利技术中，公开了VR视频的边界处理，以利用立方体面之间的连续性的知识。
技术实现思路
本专利技术公开了图像序列的视频编码或处理方法和装置，所述图像序列对应于虚拟现实(VR)视频。根据本专利技术的实施例，使用一个或多个扩展立方体面填充在一个立方体面帧的一个立方体面帧边界之外的填充区域，以形成填充的立方体面帧，其中所述一个立方体面帧中的至少一个边界立方体面一个填充区域，所述一个填充区域使用从相同的立方体面帧中的一个扩展的立方体面导出的像素数据。所述一个立方体面帧可以对应于一个1x6立方体布局，2x3立方体布局，3×2立方体布局或具有空白区域的立方体网格。所述编码所述当前立方体面帧使用帧间预测，并且所述一个立方体面帧对应于在所述当前立方体面帧之前编码的一个参考立方体面帧。根据一个实施例，对于目标边界立方体面边缘，将与对应的边界立方体面共享所述目标边界立方体面边缘的一个扩展立方体面复制到所述对应的边界立方体面的对应的填充区域。如果在所述填充区域的角处的一个或多个角区域没有对应的的边界立方体面以导出填充数据，则使用一个或多个相邻边界立方体面来导出一个角区域中的像素数据。可以使用基于线的填充，基于圆弧的填充，基于点的填充或基于区域的填充，来导出所述填充区域的一个角中的所述像素数据。当使用基于线的填充时，连接来自一个角区域的两个相邻立方体面的两个对应的边界像素的线被分配相同的像素值。当使用基于圆弧的填充时，连接来自一个角区域的两个相邻立方体面的两个对应的边界像素的圆弧曲线被分配相同的像素值，并且其中所述相同的像素值对应于所述两个对应的边界像素中的一个的像素值或所述两个对应的的边界像素的加权和。当使用基于点的填充时，将对应于一个角区域的角像素或两个相邻立方体面中的另一像素的相同的像素值分配给所述一个角区域。所述像素值对应于滤波后的一个边界像素。当使用基于区域的填充时，使用一个角区域的两个相邻立方体面中的一个来填充所述一个角区域，或者所述一个角区域被分成两个子角区域，并使用所述两个相邻立方体面的对应的子立方体面来填充。根据一个实施例，公开了连续填充，其中使用与一个或多个对应的边界立方体面共享一个或多个边界立方体面边缘的目标扩展立方体面，来导出所述对应的边界立方体面的目标侧的对应的填充区域，并且其中所述一个或多个边界立方体面边缘与所述对应的边界立方体面的所述目标侧对准。所述目标扩展立方体面被分割成多个区域，并且每个区域包括所述目标扩展立方体面的一个立方体面边缘，并且其中所述每个区域用于填充与所述每个区域共享相同的立方体面边缘的边界立方体面的对应的填充区域。从所述帧边界测量的所述多个区域的高度被调整为相同的高度。可以通过使用来自两个填充区域的两个对应的边界像素进行插值或者使用连接所述两个填充区域的两个对应的边界像素的每条线的相同的值，来填充所述两个填充区域之间的空白区域，并且其中所述相同的值对应于所述两个填充区域的两个边界像素的两个像素值的中的一个。在连续填充中，根据一个或多个相邻立方体面的边界像素或角像素，使用基于线的填充，基于圆的填充或基于点的填充，来填充与一个扩展立方体面和由所述目标扩展立方体面的一个区域填充的一个填充区域相邻的角区域。如果所述一个或多个对应的边界立方体面和所述目标扩展立方体面共享的不同边界立方体面边缘的总数为三个：将所述目标扩展立方体面分割为一个第一三角形和两个第二三角形，其中所述第一三角形对应于等腰三角形，其具有一个边界立方体面边缘作为底边并且具有等于一个立方体面边缘的长度的等腰三角形的第一高度；每个第二三角形对应于一个直角三角形，其具有以一个边界立方体面边缘作为直角的长相邻边并且与所述直角相邻的短相邻边的长度等于一个立方体面边缘的长度的一半，其中，当所述长相邻边被认为是底边以填充共享一个立方体面边缘的一个边界立方体面的填充区域时，所述第二三角形具有等于一个立方体边缘的长度的一半的第二高度；并且将第一高度和第二高度调整为相同。如果所述一个或多个对应的边界立方体面和所述目标扩展立方体面共享的不同边界立方体面边缘的总数为四个：将所述目标扩展立方体面分割为四个相同尺寸的等腰三角形，其中每个三角形具有一个边界立方体面边缘作为底边，并且具有等于一个立方体面边缘的一半长度的等腰三角形的第一高度。如果所述立方体帧对应于具有空白区域的立方体网格，则使用一个扩展的立方体面来填充至少一个空白区域。对于正在编码或处理的目标边界立方体面中的目标区块，所述一个扩展立方体面用于填充所述至少一个空白区域，其中所述一个扩展立方体面被选择为与所述目标边界立方体面共享相同的立方体面边缘。在一个实施例中，所述一个空白区域被分割为多个空白区域，并且每个空白区域使用与所述每个空白区域共享一个立方边缘的一个对应的边界立方体面进行填充。所述一个对应本文档来自技高网...

【技术保护点】
1.一种图像序列的视频编码或处理的方法，所述图像序列对应于虚拟现实视频，其特征在于，所述方法包括：接收对应于虚拟现实视频的所述图像序列，其中所述图像序列包括多个立方体面帧，并且每个立方体面帧包括来自立方体的表面的多个立方体面，并且其中所述每个立方体面帧的帧边界包括多个边界立方体面边缘，所述多个边界立方体面边缘对应于与所述帧边界相邻的多个边界立方体面；使用一个或多个扩展立方体面填充在一个立方体面帧的一个立方体面帧边界之外的填充区域，以形成填充的立方体帧，其中所述一个立方体面帧中的至少一个边界立方体面具有一个填充区域，所述一个填充区域使用从相同的立方体面帧中的一个扩展立方体面导出的像素数据，并且其中所述一个扩展立方体面是与所述至少一个边界立方体面不同的立方体面；以及使用所述填充的立方体面帧来编码或处理当前立方体面帧。

【技术特征摘要】
【国外来华专利技术】2016.06.07 US 62/346,597;2017.06.06 US 15/614,7541.一种图像序列的视频编码或处理的方法，所述图像序列对应于虚拟现实视频，其特征在于，所述方法包括：接收对应于虚拟现实视频的所述图像序列，其中所述图像序列包括多个立方体面帧，并且每个立方体面帧包括来自立方体的表面的多个立方体面，并且其中所述每个立方体面帧的帧边界包括多个边界立方体面边缘，所述多个边界立方体面边缘对应于与所述帧边界相邻的多个边界立方体面；使用一个或多个扩展立方体面填充在一个立方体面帧的一个立方体面帧边界之外的填充区域，以形成填充的立方体帧，其中所述一个立方体面帧中的至少一个边界立方体面具有一个填充区域，所述一个填充区域使用从相同的立方体面帧中的一个扩展立方体面导出的像素数据，并且其中所述一个扩展立方体面是与所述至少一个边界立方体面不同的立方体面；以及使用所述填充的立方体面帧来编码或处理当前立方体面帧。2.如权利要求1所述的图像序列的视频编码或处理的方法，其特征在于，其中所述一个立方体帧对应于一个1x6立方体布局，2x3立方体布局，3×2立方体布局或具有空白区域的立方体网格。3.如权利要求1所述的图像序列的视频编码或处理的方法，其特征在于，所述编码所述当前立方体面帧使用帧间预测，并且所述一个立方体面帧对应于在所述当前立方体面帧之前编码的一个参考立方体面帧。4.如权利要求1所述的图像序列的视频编码或处理的方法，其特征在于，如果使用帧间预测对所述当前立方体面帧中的当前区块进行编码，并且所述当前区块的运动向量指向所述填充的立方体面帧之外的参考像素，则从所述填充的立方体面帧的一个或多个边界像素复制所述填充的立方体面帧之外的所述参考像素。5.如权利要求1所述的图像序列的视频编码或处理的方法，其特征在于，对于目标边界立方体面边缘，将与对应的边界立方体面共享所述目标边界立方体面边缘的一个扩展立方体面复制到所述对应的边界立方体面的对应的填充区域。6.如权利要求5所述的图像序列的视频编码或处理的方法，其特征在于，如果在所述填充区域的角处的一个或多个角区域没有对应的的边界立方体面以导出填充数据，则使用一个或多个相邻边界立方体面来导出一个角区域中的像素数据。7.如权利要求6所述的图像序列的视频编码或处理的方法，其特征在于，使用基于线的填充，基于圆弧的填充，基于点的填充或基于区域的填充，来导出所述填充区域的一个角中的所述像素数据。8.如权利要求6所述的图像序列的视频编码或处理的方法，其特征在于，当使用基于线的填充时，连接来自一个角区域的两个相邻立方体面的两个对应的边界像素的线被分配相同的像素值。9.如权利要求6所述的图像序列的视频编码或处理的方法，其特征在于，当使用基于圆弧的填充时，连接来自一个角区域的两个相邻立方体面的两个对应的边界像素的圆弧曲线被分配相同的像素值，并且其中所述相同的像素值对应于所述两个对应的边界像素中的一个的像素值或所述两个对应的的边界像素的加权和。10.如权利要求6所述的图像序列的视频编码或处理的方法，其特征在于，当使用基于点的填充时，将与所述一个角区域的角像素或两个相邻立方体面中的另一像素的像素值相对应的相同的像素值分配给所述一个角区域。11.如权利要求10所述的图像序列的视频编码或处理的方法，其特征在于，所述像素值对应于滤波后的一个边界像素。12.如权利要求5所述的图像序列的视频编码或处理的方法，其特征在于，当使用基于区域的填充时，使用一个角区域的两个相邻立方体面中的一个来填充所述一个角区域，或者所述一个角区域被分成两个子角区域，并使用所述两个相邻立方体面的对应的子立方体面来填充。13.如权利要求1所述的图像序列的视频编码或处理的方法，其特征在于，使用与一个或多个对应的边界立方体面共享一个或多个边界立方体面边缘的目标扩展立方体面，来导出所述对应的边界立方体面的目标侧的对应的填充区域，并且其中所述一个或多个边界立方体面边缘与所述对应的边界立方体面的所述目标侧对准。14.如权利要求13所述的图像序列的视频编码或处理的方法，其特征在于，所述目标扩展立方体面被分割成多个区域，并且每个区域包括所述目标扩展立方体面的一个立方体面边缘，并且其中所述每个区域用于填充与所述每个区域共享相同的立方体面边缘的边界立方体面的对应的填充区域。15.如权利要求14所述的图像序列的视频编码或处理的方法，其特征在...

【专利技术属性】
技术研发人员：林建良，林鸿志，李佳盈，黄昭智，张胜凯，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71