视频编码方法、视频解码方法及相关装置制造方法及图纸

视频解码方法包括：将待解码图像中的一个待解码块划分成至少两个预测块，所述至少两个预测块分别位于所述待解码图像的至少两个分区内，其中所述待解码图像是曲面图像的至少部分映射到多面体表面上的多个多边形拼接形成的平面图像，所述待解码图像的至少两个分区分别对应于所述多面体表面上的至少两个多边形；采用不同的参考块分别对所述至少两个预测块预测。

Video Coding Method, Video Decoding Method and Related Devices

The video decoding method includes: dividing a decoded block of the image to be decoded into at least two prediction blocks, which are located in at least two partitions of the image to be decoded, where the decoded image is a plane image formed by mapping at least part of the surface image to polygon splicing on the surface of the polyhedron, and the to- Less than two partitions correspond to at least two polygons on the surface of the polyhedron, and different reference blocks are used to predict at least two prediction blocks respectively.

【技术实现步骤摘要】
【国外来华专利技术】视频编码方法、视频解码方法及相关装置
本专利技术涉及图像处理领域，并且更具体地，涉及一种视频编码方法及装置、视频解码方法及装置。
技术介绍
近年来，由于各种类型的便携式、手持式或者可穿戴设备的盛行，视频的内容量一直在增长。例如，虚拟现实或者增强现实可以集成到不同的头戴式设备(HMD)中。随着视频内容的形式变得越来越复杂，视频内容的存储和传输变得越来越具有挑战性。例如，需要减少视频存储和传输的带宽。
技术实现思路
本专利技术实施例提供一种视频编码方法及装置、视频解码方法及装置。第一方面，提供一种视频编码方法，包括：将待解码图像中的一个待解码块划分成至少两个预测块，所述至少两个预测块分别位于所述待解码图像的至少两个分区内，其中所述待解码图像是曲面图像的至少部分映射到多面体表面上的多个多边形拼接形成的平面图像，所述待解码图像的至少两个分区分别对应于所述多面体表面上的至少两个多边形；采用不同的参考块分别对所述至少两个预测块预测。第二方面，提供一种视频编码方法，包括：将待编码图像中的一个待编码块划分成至少两个预测块，所述至少两个预测块分别位于所述待编码图像的至少两个分区内，其中所述待编码图像是曲面图像的至少部分映射到多面体表面上的多个多边形拼接形成的平面图像，所述待编码图像的至少两个分区分别对应于所述多面体表面上的至少两个多边形；采用不同的参考块分别对所述至少两个预测块预测。第三方面，提供一种视频编码装置，包括：至少一个存储器，用于存储计算机可执行指令；至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：将待解码图像中的一个待解码块划分成至少两个预测块，所述至少两个预测块分别位于所述待解码图像的至少两个分区内，其中所述待解码图像是曲面图像的至少部分映射到多面体表面上的多个多边形拼接形成的平面图像，所述待解码图像的至少两个分区分别对应于所述多面体表面上的至少两个多边形；采用不同的参考块分别对所述至少两个预测块预测。第四方面，提供一种器可读存储介质，适用于终端，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时进行处理第一方面所述的视频解码方法。第五方面，提供一种视频解码装置，包括：至少一个存储器，用于存储计算机可执行指令；至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：将待编码图像中的一个待编码块划分成至少两个预测块，所述至少两个预测块分别位于所述待编码图像的至少两个分区内，其中所述待编码图像是曲面图像的至少部分映射到多面体表面上的多个多边形拼接形成的平面图像，所述待编码图像的至少两个分区分别对应于所述多面体表面上的至少两个多边形；采用不同的参考块分别对所述至少两个预测块预测。第六方面，提供一种器可读存储介质，适用于终端，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时进行处理第一方面所述的视频编码方法。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为一个曲面视频的编码/压缩流程示意图；图2中左图是球面图像与外切正八面体的映射示意图，右图是左图中的正八面体表面上的多个三角形合并成一个二维的矩形图像的一种实施例的示意图；图3左图是球面图像与外切正二十面体的映射示意图，右图是将左图中的正二十面体表面上的多个三角形合并成一个二维的矩形图像的一种实施例的示意图；图4A左图为一帧图像中的像素点的示意图，右图为划分模板的一个实施方式的示意图；图4B左图为一帧图像中的像素点的示意图，右图为划分模板的另一个实施方式的示意图；图5为一个实施例中的图像块的划分示意图；图6为另一个实施例中的图像块的划分示意图；图7为另一个实施例中的图像块的划分示意图；图8为预测块的参考块的一个实施例的示意图；图9为预测块的参考块的另一个实施例的示意图；图10为本专利技术的视频编码方法的一个实施例的流程示意图；图11为本专利技术的视频解码方法的一个实施例的流程示意图；图12为本专利技术的视频编码装置的一个实施例的流程示意图；图13为本专利技术的视频解码装置的一个实施例的流程示意图。具体实施方式在本文的各个实施例中，各装置或者系统能够减小存储和传输一个曲面视频所占用的带宽。在一些实施例中，该曲面视频可以是在任何平滑的表面(例如球面或者椭球面的至少部分)上投影的画面。一个曲面视频包括多帧曲面图像，其中该曲面图像中的内容包括在同一时刻不同方向上拍摄到的内容。因此，一个曲面视频能够覆盖一个较大的视场角。例如，一个球面视频(或者360度全景视频)包括多帧可以覆盖一个360度全景的视场角的球面图像。在一些实施例中，一个球面视频可以具有360度的水平视场角，以及180度的垂直视场角，通常以三维球面形式呈现。下文中，以球面视频为例来对曲面视频进行描述。本领域技术人员可以明显确定，曲面视频并不局限于球面视频。图1为一个曲面视频的编码/压缩流程示意图。如图1所示，曲面视频的编码/压缩流程包括以下几个步骤：映射101、预测102、变换103、量化104和熵编码105。在映射步骤101中，编码装置将三维的曲面视频映射成二维视频，以能够利用各种编码/压缩技术。编码装置可以采用二维矩形格式来存储和传输该曲面视频。另外，编码装置可以采用二维矩形格式来支持数字图像处理以及编解码操作。曲面视频的映射方法有多种。例如，将曲面视频映射成二维视频。以球面视频为例，在一些实施方式中，球面视频中的球面图像可以基于经纬图投影(equirectangularprojection)的方法映射成二维图像。在经纬图投影的一些实施方式中，可以将球面上的各经线映射到二维平面上等间隔的多个垂直直线，并将各纬线映射到该二维平面上等间隔的多个水平直线。在一些实施方式中，球面视频中的球面图像可以基于多面体投影的方法映射成二维图像。具体的，将球面的不同区域上的图像分别投影到该球面的外切多面体的表面的多个多边形上，再将该多个多边形上的二维图像合并成一个二维图像。在一个实施例中，投影的方法可以是从球心发出虚拟射线依次穿过球面上的一点和多面体表面上的一点，将球面上该点的像素信息投影到多面体表面的该点上。其中，多面体可以是任意多面体。例如，多面体可以是六面体、八面体、二十面体或者其他等等。其中，该六面体可以是立方体、长方体、菱形六面体、平行六面体等等；该八面体可以是正八面体、六角柱、三角反棱柱等等；该二十面体可以是正二十面体、正九角反棱柱等等，在此不做限制。将多面体上的多个多边形合并成一个二维图像的方法有多种。在一些实施方式中，将多面体表面上的多个多边形合并成一个二维的矩形。合并的方式也有多种，例如不同的合并方式中各多边形之间的位置关系不同；又例如，不同的合并方式中合并成的矩形的大小/形状不同。如图2所示，图2中左图是球面图像与外切正八面体的映射示意图，右图是左图中的正八面体表面上的多个三角形合并成一个二维的矩形图像的一种实施例的示意图。图2所示的正八面体表面上的每个三角形和矩形图像中的每个三角形本文档来自技高网...

【技术保护点】
1.一种视频解码方法，其特征在于，包括：将待解码图像中的一个待解码块划分成至少两个预测块，所述至少两个预测块分别位于所述待解码图像的至少两个分区内，其中所述待解码图像是曲面图像的至少部分映射到多面体表面上的多个多边形拼接形成的平面图像，所述待解码图像的至少两个分区分别对应于所述多面体表面上的至少两个多边形；采用不同的参考块分别对所述至少两个预测块预测。

【技术特征摘要】
【国外来华专利技术】1.一种视频解码方法，其特征在于，包括：将待解码图像中的一个待解码块划分成至少两个预测块，所述至少两个预测块分别位于所述待解码图像的至少两个分区内，其中所述待解码图像是曲面图像的至少部分映射到多面体表面上的多个多边形拼接形成的平面图像，所述待解码图像的至少两个分区分别对应于所述多面体表面上的至少两个多边形；采用不同的参考块分别对所述至少两个预测块预测。2.根据权利要求1所述的视频解码方法，其特征在于，所述两个分区非矩形，所述两个预测块非矩形。3.根据权利要求1所述的视频解码方法，其特征在于，所述至少两个分区包括相邻的第一分区和第二分区，所述将待解码图像中的一个待解码块划分成至少两个预测块，包括：当待解码图像中的一个待解码块跨过所述第一分区和第二分区的交界时，基于所述交界将所述待解码块划分成至少两个预测块。4.根据权利要求3所述的视频解码方法，其特征在于，所述第一分区和第二分区分别在所述曲面图像中的映射区域不相邻。5.根据权利要求1所述的视频解码方法，其特征在于，所述方法还包括：基于所述曲面图像到所述多面体的映射方式确定所述待解码图像中的至少一个交界，所述交界为所述待解码图像中相邻两个分区的交界；基于所述待解码图像的至少一个交界将所述待解码块划分成至少两个预测块。6.根据权利要求5所述的视频解码方法，其特征在于，所述基于所述待解码图像的至少一个交界将所述待解码块划分成至少两个预测块，包括：基于所述待解码图像的至少一个特定交界将所述待解码块划分成至少两个预测块，所述特定交界为交界两侧的分区分别在所述曲面图像中的映射区域不相邻的交界；基于所述特定交界将所述待解码块划分成至少两个预测块。7.根据权利要求5所述的视频解码方法，其特征在于，所述基于所述曲面图像到所述多面体的映射方式确定所述待解码图像中的至少一个交界，包括：基于所述曲面图像到所述多面体的映射方式确定所述待解码图像的划分模板，所述划分模板包括与所述待解码图像中的各像素点一一对应或者与所述待解码图像中的各像素块一一对应的示意点，其中，分别对应位于具有交界的两个分区的像素点或像素块的两个示意点的值不同；基于所述待解码图像的划分模板确定所述待解码图像中的至少一个交界。8.根据权利要求7所述的视频解码方法，其特征在于，所述划分模板为二值图像。9.根据权利要求7所述的视频解码方法，其特征在于，所述划分模板中至少部分示意点分别对应的所述待解码图像中的像素块的大小不同。10.根据权利要求9所述的视频解码方法，其特征在于，所述方法还包括：获取所述待解码图像的划分模板的指示信息，所述指示信息用于指示每个示意点对应的像素块的大小；基于所述待解码图像的划分模板以及所述划分模板的指示信息确定所述待解码图像中的至少一个交界。11.根据权利要求5所述的视频解码方法，其特征在于，所述基于所述曲面图像到所述多面体的映射方式确定所述待解码图像中的至少一个交界，包括：基于所述曲面图像到所述多面体的映射方式确定所述待解码图像的划分函数，所述划分函数用于指示所述待解码图像中的至少一个交界在所述待解码图像中的位置。12.根据权利要求5所述的视频解码方法，其特征在于，所述基于所述曲面图像到所述多面体的映射方式确定所述待解码图像中的至少一个交界的步骤，是在对所述待解码图像解码之前执行的。13.根据权利要求1所述的视频解码方法，其特征在于，所述将待解码图像中的一个待解码块划分成至少两个预测块，之前还包括：确定所述待解码块的至少部分顶点上的像素点分别位于不同分区内。14.根据权利要求1所述的视频解码方法，其特征在于，所述方法还包括：获取所述待解码块的标志位，所述标志位用于指示所述待解码块是否需要划分；当所述标志位指示所述待解码块需要划分时，将所述待解码块划分成至少两个预测块。15.根据权利要求14所述的视频解码方法，其特征在于，所述方法还包括：当所述标志位指示所述待解码块不需要划分时，采用一个参考块对所述待解码块进行预测。16.根据权利要求1所述的视频解码方法，其特征在于，所述采用不同的参考块分别对所述至少两个预测块预测，之前还包括：分别获取所述至少两个预测块的参考数据；从所述预测块的参考数据中获取所述预测块的参考块。17.根据权利要求16所述的视频解码方法，其特征在于，所述参考块的形状与所述预测块的形状相同。18.根据权利要求16所述的视频解码方法，其特征在于，所述参考块的大小与所述预测块的大小相同。19.根据权利要求16所述的视频解码方法，其特征在于，所述参考数据与所述待解码块的形状和/或大小相同。20.根据权利要求1所述的视频解码方法，其特征在于，所述参考数据与所述预测块的最小外接矩形的形状和/或大小相同。21.根据权利要求20所述的视频解码方法，其特征在于，所述多面体为正八面体或者正二十面体。22.根据权利要求20所述的视频解码方法，其特征在于，所述至少两个分区中的至少一个分区呈三角形或者菱形。23.根据权利要求22所述的视频解码方法，其特征在于，所述至少一个分区呈正三角形或者直角三角形。24.根据权利要求1所述的视频解码方法，其特征在于，所述待解码块呈规则形状，所述预测块呈规则形状或者不规则形状。25.根据权利要求1所述的视频解码方法，其特征在于，所述至少两个预测块中的每个预测块分别位于一个分区内。26.根据权利要求1所述的视频解码方法，其特征在于，所述至少两个预测块中的一个预测块位于至少两个分区内。27.根据权利要求6所述的视频解码方法，其特征在于，所述基于所述特定交界将所述待解码块划分成至少两个预测块，包括：将所述待解码块划分成至少两个预测块，其中，所述至少两个预测块中任意两个相邻的预测块的交界为所述特定交界。28.根据权利要求1所述的视频解码方法，其特征在于，所述将待解码图像中的一个待解码块划分成至少两个预测块，之前还包括：基于所述曲面图像到所述多面体的映射方式确定所述待解码图像的分区的划分方式，根据所述待解码图像的分区的划分方式确定所述待解码块位于所述至少两个分区内之后，将所述待解码块划分成至少两个预测块。29.根据权利要求28所述的视频解码方法，其特征在于，所述方法还包括：根据所述待解码图像的分区的划分方式确定所述待解码图像中的一个待解码块不需要划分时，采用一个参考块对所述待解码块进行预测。30.根据权利要求29所述的视频解码方法，其特征在于，当所述待解码块位于一个分区内，或者位于图像内容连续的至少两个分区内时，确定所述待解码块不需要划分。31.根据权利要求1所述的视频解码方法，其特征在于，所述曲面图像为全景视频中的一帧图像。32.一种视频编码方法，其特征在于，包括：将待编码图像中的一个待编码块划分成至少两个预测块，所述至少两个预测块分别位于所述待编码图像的至少两个分区内，其中所述待编码图像是曲面图像的至少部分映射到多面体表面上的多个多边形拼接形成的平面图像，所述待编码图像的至少两个分区分别对应于所述多面体表面上的至少两个多边形；采用不同的参考块分别对所述至少两个预测块预测。33.根据权利要求32所述的视频编码方法，其特征在于，所述两个分区非矩形，所述两个预测块非矩形。34.根据权利要求32所述的视频编码方法，其特征在于，所述至少两个分区包括相邻的第一分区和第二分区，所述将待编码图像中的一个待编码块划分成至少两个预测块，包括：当待编码图像中的一个待编码块跨过所述第一分区和第二分区的交界时，基于所述交界将所述待编码块划分成至少两个预测块。35.根据权利要求34所述的视频编码方法，其特征在于，所述第一分区和第二分区分别在所述曲面图像中的映射区域不相邻。36.根据权利要求32所述的视频编码方法，其特征在于，所述方法还包括：基于所述曲面图像到所述多面体的映射方式确定所述待编码图像中的至少一个交界，所述交界为所述待编码图像中不同分区的交界；基于所述待编码图像的至少一个交界将所述待编码块划分成至少两个预测块。37.根据权利要求36所述的视频编码方法，其特征在于，所述基于所述待编码图像的至少一个交界将所述待编码块划分成至少两个预测块，包括：基于所述待编码图像的至少一个特定交界将所述待编码块划分成至少两个预测块，所述特定交界为交界两边的分区分别在所述曲面图像中的映射区域不相邻的交界。38.根据权利要求36所述的视频编码方法，其特征在于，所述基于所述曲面图像到所述多面体的映射方式确定所述待编码图像中的至少一个交界，包括：基于所述曲面图像到所述多面体的映射方式确定所述待编码图像的划分模板，所述划分模板包括与所述待编码图像中的各像素点一一对应或者与所述待编码图像中的各像素块一一对应的示意点，其中，分别对应位于具有交界的两个分区的像素点或像素块的两个示意点的值不同；基于所述待编码图像的划分模板确定所述待编码图像中的至少一个交界。39.根据权利要求38所述的视频编码方法，其特征在于，所述划分模板为二值图像。40.根据权利要求38所述的视频编码方法，其特征在于，所述划分模板中至少部分示意点分别对应的所述待编码图像中的像素块的大小不同。41.根据权利要求40所述的视频编码方法，其特征在于，所述方法还包括：生成所述待编码图像的划分模板的指示信息，所述指示信息用于指示每个示意点对应的像素块的大小；基于所述待编码图像的划分模板以及所述划分模板的指示信息确定所述待编码图像中的至少一个交界。42.根据权利要求36所述的视频编码方法，其特征在于，所述基于所述曲面图像到所述多面体的映射方式确定所述待编码图像中的至少一个交界，包括：基于所述曲面图像到所述多面体的映射方式确定所述待编码图像的划分函数，所述划分函数用于指示所述待编码图像中的至少一个交界在所述待编码图像中的位置。43.根据权利要求36所述的视频编码方法，其特征在于，所述基于所述曲面图像到所述多面体的映射方式确定所述待编码图像中的至少一个交界的步骤，是在对所述待编码图像编码之前执行的。44.根据权利要求32所述的视频编码方法，其特征在于，所述将待编码图像中的一个待编码块划分成至少两个预测块，之前还包括：确定所述待编码块的至少部分顶点上的像素点分别位于不同分区内。45.根据权利要求32所述的视频编码方法，其特征在于，所述方法还包括：生成所述待编码块的标志位，所述标志位用于指示所述待编码块被划分成至少两个预测块。46.根据权利要求32所述的视频编码方法，其特征在于，所述采用不同的参考块分别对所述至少两个预测块预测，之前还包括：分别获取所述至少两个预测块的参考数据；从所述预测块的参考数据中获取所述预测块的参考块。47.根据权利要求46所述的视频编码方法，其特征在于，所述参考块的形状与所述预测块的形状相同。48.根据权利要求46所述的视频编码方法，其特征在于，所述参考块的大小与所述预测块的大小相同。49.根据权利要求46所述的视频编码方法，其特征在于，所述参考数据与所述待编码块的形状和/或大小相同。50.根据权利要求32所述的视频解码方法，其特征在于，所述参考数据与所述预测块的最小外接矩形的形状和/或大小相同。51.根据权利要求50所述的视频编码方法，其特征在于，所述多面体为正八面体或者正二十面体。52.根据权利要求50所述的视频编码方法，其特征在于，所述至少两个分区中的至少一个分区呈三角形或者菱形。53.根据权利要求52所述的视频编码方法，其特征在于，所述至少一个分区呈正三角形或者直角三角形。54.根据权利要求32所述的视频编码方法，其特征在于，所述待编码块呈规则形状，所述预测块呈规则形状或者不规则形状。55.根据权利要求32所述的视频编码方法，其特征在于，所述至少两个预测块中的每个预测块分别位于一个分区内。56.根据权利要求32所述的视频编码方法，其特征在于，所述至少两个预测块中的一个预测块位于至少两个分区内。57.根据权利要求37所述的视频编码方法，其特征在于，所述基于所述特定交界将所述待编码块划分成至少两个预测块，包括：将所述待编码块划分成至少两个预测块，其中，所述至少两个预测块中任意两个相邻的预测块的交界为所述特定交界。58.根据权利要求32所述的视频编码方法，其特征在于，所述曲面图像为全景视频中的一帧图像。59.一种视频解码装置，其特征在于，包括：至少一个存储器，用于存储计算机可执行指令；至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：将待解码图像中的一个待解码块划分成至少两个预测块，所述至少两个预测块分别位于所述待解码图像的至少两个分区内，其中所述待解码图像是曲面图像的至少部分映射到多面体表面上的多个多边形拼接形成的平面图像，所述待解码图像的至少两...

【专利技术属性】
技术研发人员：郑萧桢，李蔚然，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44