图像数据编码/解码方法和计算机可读记录介质技术

公开了一种图像数据编码/解码方法和计算机可读记录介质。图像解码方法包括：接收编码有图像的比特流；通过使用基于树结构的块划分，从当前图像中的上位块获取多个下位块；参考从比特流获取的语法信息，生成当前图像的预测图像；以及通过将生成的预测图像与通过对来自比特流的量化的变换系数进行逆量化和逆变换而获取的残差图像进行组合来获取解码图像。换而获取的残差图像进行组合来获取解码图像。换而获取的残差图像进行组合来获取解码图像。

【技术实现步骤摘要】
图像数据编码/解码方法和计算机可读记录介质
[0001]本申请是申请日为2017年10月10日、申请号为201780073663.8、专利技术名称为“图像数据编码/解码方法和装置”的专利技术专利申请的分案申请。


[0002]本专利技术涉及图像数据编码和解码技术，并且更具体地，涉及用于对现实媒体服务的360度图像进行编码和解码的方法和装置。

技术介绍

[0003]随着互联网和移动终端的普及以及信息和通信技术的发展，多媒体数据的使用正在迅速增加。近来，在各种领域中出现了对诸如高清晰度(HD)图像和超高清晰度(UHD)图像的高质量图像和高分辨率图像的需求，并且对诸如虚拟现实、增强现实等的现实媒体服务的需求也正在迅速增加。具体地，由于用多个摄像装置捕获的多视图图像被处理用于虚拟现实和增强现实的360度图像，因此针对处理生成的数据量大量增加，但是图像处理系统的用于处理大量数据的性能不足。
[0004]如上所述，在现有技术的图像编码和解码方法和装置中，需要改进图像处理方面的性能，特别是图像编码/解码方面的性能。

技术实现思路

[0005]技术问题
[0006]本专利技术的目的是提供一种用于改进用于编码和解码的初始步骤中的图像设置处理的方法。更具体地，本专利技术旨在提供一种用于在考虑360度图像的特性的情况下改进图像设置处理的编码和解码方法和装置。
[0007]技术解决方案
[0008]根据本专利技术的一方面，提供了一种对360度图像进行解码的方法。
[0009]此处，对360度图像进行解码的方法可以包括：接收包括编码的360度图像的比特流；参考从所接收到的比特流获取的语法信息来生成预测图像；通过将所生成预测图像与通过对比特流进行逆量化和逆变换所获取的残差图像进行组合来获取解码图像；以及根据投影格式将解码图像重构成360度图像。
[0010]此处，语法信息可以包括360度图像的投影格式信息。
[0011]此处，投影格式信息可以是指示以下中至少之一的信息：360度图像被投影到2D平面中的等矩形投影(ERP，Equi
‑
Rectangular Projection)格式；360度图像投影被投影到立方体的立方体映射投影(CMP，CubeMap Projection)格式；360度图像投影到八面体的八面体投影(OHP，OctaHedron Projection)格式；以及360度图像被投影到多面体的二十面体投影(ISP，IcoSahedral Projection)格式。
[0012]此处，重构可以包括：参考语法信息根据区域式打包来获取排列信息；以及根据排列信息来重排解码图像的块。
[0013]此处，预测图像的生成可以包括：对通过恢复比特流获取的参考图片执行图像扩展；以及参考被执行图像扩展的参考图片来生成预测图像。
[0014]此处，执行图像扩展可以包括：基于参考图片的划分单元来执行图像扩展。
[0015]此处，基于划分单元来执行图像扩展可以包括：通过使用划分单元的参考像素针对每个划分单元单独地生成扩展区域。
[0016]此处，可以使用与要扩展的划分单元在空间上相邻的划分单元的边界像素或使用与要扩展的划分单元具有图像连续性的划分单元的边界像素来生成扩展区域。
[0017]此处，基于划分单元来执行图像扩展可以包括：使用组合有划分单元中的在空间上彼此相邻的两个或更多个划分单元的区域的边界像素，来生成组合区域的扩展图像。
[0018]此处，基于划分单元来执行图像扩展可以包括：使用划分单元中的在空间上彼此相邻的划分单元的所有相邻像素信息，生成相邻划分单元之间的扩展区域。
[0019]此处，基于划分单元来执行图像扩展可以包括：使用在空间上相邻的划分单元的相邻像素的平均值来生成扩展区域。
[0020]此处，预测图像的生成可以包括：从语法信息中包括的运动信息中获取运动矢量候选组，该运动矢量候选组包括与要解码的当前块相邻的块的运动矢量；基于从运动信息中提取的选择信息，从运动矢量候选组导出预测运动矢量；以及通过使用通过将预测运动矢量与从运动信息中提取的差分运动矢量相加而导出的最终运动矢量来确定要解码的当前块的预测块。
[0021]此处，运动矢量候选组可以在与当前块相邻的块与当前块所属的面不同的情况下仅包括相邻块中的以下块的运动矢量，该块属于与当前块所属的面具有图像连续性的面。
[0022]此处，与当前块相邻的块可以指的是在选自以下中的至少一个方向上与当前块相邻的块：左上、上、右上、下和左下。
[0023]此处，最终运动矢量可以基于当前块指示包括在至少一个参考图片内并且被设置在根据投影格式具有面之间的图像连续性的区域中的参考区域。
[0024]此处，可以根据投影格式基于图像连续性在向上、向下、向左和向右方向上扩展参考图片，然后可以设置参考区域。
[0025]此处，可以面为单元扩展参考图片，并且可以跨越面边界设置参考区域。
[0026]此处，运动信息可以包括参考图片所属的参考图片列表、参考图片的索引和指示参考区域的运动矢量中至少之一。
[0027]此处，当前块的预测块的生成可以包括：将当前块划分成多个子块，并且针对由划分产生的多个子块中的每个子块生成预测块。
[0028]根据本专利技术的另一方面，提供了一种对360度图像进行解码的方法。该方法可以包括：接收编码有该360度图像的比特流，该比特流包括扩展二维图像的数据，该扩展二维图像包括二维图像和预定的扩展区域，并且该二维图像是从具有三维投影结构并且包括至少一个面的图像投影的；以及通过对该扩展二维图像的数据进行解码来重构该扩展二维图像，其中，该扩展区域的尺寸是基于指示该扩展区域的宽度的宽度信息确定的，该宽度信息是从该比特流中获得的，其中，该扩展区域的样本值是根据从多个填充方法中选择的填充方法来不同地确定的，其中，重构该扩展二维图像包括生成预测图像，其中，该预测图像是通过在包括帧内预测和帧间预测的多个预测模式之中选择一个预测模式并基于所选择的
预测模式执行预测来生成的，并且关于该所选择的预测模式的信息是从该比特流中获得的。
[0029]根据本专利技术的另一方面，提供了一种对360度图像进行编码的方法。该方法可以包括：获得从具有三维投影结构并且包括至少一个面的图像投影的二维图像；获得包括该二维图像和预定的扩展区域的扩展二维图像；以及将该扩展二维图像的数据编码到编码有该360度图像的比特流中，其中，该扩展区域的尺寸是基于指示该扩展区域的宽度的宽度信息编码的，该宽度信息被编码到该比特流中，其中，该扩展区域的样本值是根据从多个填充方法中选择的填充方法来不同地确定的，其中，将该扩展二维图像的数据编码包括生成预测图像，其中，该预测图像是通过在包括帧内预测和帧间预测的多个预测模式之中选择一个预测模式并基于所选择的预测模式执行预测来生成的，并且关于该所选择的预测模式的信息是从该比特流中获得的。
[0030]根据本专利技术的另一方面，提供了一种存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对图像进行解码的方法，所述方法包括：接收编码有所述图像的比特流；通过使用基于树结构的块划分，从当前图像中的上位块获取多个下位块；参考从所述比特流获取的语法信息，生成所述当前图像的预测图像；以及通过将生成的预测图像与通过对来自所述比特流的量化的变换系数进行逆量化和逆变换而获取的残差图像进行组合来获取解码图像，其中，所述基于树结构的块划分包括四叉树划分、二叉树划分或三叉树划分中的至少一个，其中，在所述上位块通过所述四叉树划分来划分的情况下，所述上位块被划分为四个下位块，并且其中，在所述上位块在垂直方向通过所述三叉树划分来划分的情况下，所述上位块被划分为三个下位块，在所述上位块是MxN块的情况下，最左边的下位块和最右边的下位块中的每一个是(M/4)xN块，并且居中的下位块是(M/2)xN块。2.根据权利要求1所述的方法，其中，当前块的运动矢量是基于与所述当前块相邻的块的运动矢量导出的，与所述当前块相邻的所述块是指在从左上、上、右上、左和左下方向中选择的至少一个方向上与所述当前块相邻的块。3.根据权利要求1所述的方法，其中，当所述上位块的尺寸大于解码装置中预设的阈值尺寸时，只允许对所述上位块进行四叉树划分。4.根据权利要求1所述的方法，其中，所述四叉树划分具有比所述二叉树划分更高的优先级，并且其中，仅当不再执行所述四叉树划分时才允许所述二叉树划分。5.根据权利要求1所述的方法，获取所述多个下位块包括：基于从编码装置发信号通知的标记来确定划分方向，其中，当所述标记为第一值时，所述上位块在垂直方向划分，当所述标记为第二值时，所述上位块在水平方向划分。6.一种对图像进行编码的方法，所述方法包括：接收要编码的当前图像；通过使用基于树结构的块划分，从所述当前图像中的上位块获取多个下位块；生成所述当前图像的预测图像，所述预测图像的语法信息被编码进比特流；以及通过基于生成的预测图像生成残差图像并通过对所述残差图像的系数进行变换和量化来对所述当前图像进行编码，其中，所述基于树结构的块划分包括四叉树划分、二叉树划分或三叉树划分中的至少一个，其中，在所述上位块通过所述四叉树划分来划分的情况下，所述上位块被划分为四个下位块，并且其中，在所述上位块在垂直方向通过所述三叉树划分来划分的情况下，所述上位块被划分为三个下位块，在所述上位块是MxN块的情况下，最左边的下位块和最右边的下位块中的每一个是(M/4)xN块，并且居中的下位块是(M/2)xN块。7.一种存储由对图像进行编码的方法生成的比特流的非暂时性计算机可读记录介质，
所述方法包括：接收要编码的当前图像；通过使用基于树结构的块划分，从所述当前图像中的上位块获取多个下位块；生成所述当前图像的预测图像，所述预测图像的语法信息被编码进所述比特流；以及通过基于生成的预测图像生成残差图像并通过对所述残差图像的系数进行变换和量化来对所述当前图像进行编码，其中，所述基于树结构的块划分包括四叉树划分、二叉树划分或三叉树划分中的至少一个，其中，在所述上位块通过所述四叉树划分来划分的情况下，所述上位块被划分为四个下位块，并且其中，在所述上位块在垂直方向通过所述三叉树划分来划分的情况下，所述上位块被划分为三个下位块，在所述上位块是MxN块的情况下，最左边的下位块和最右边的下位块中的每一个是(M/4)xN块，并且居中的下位块是(M/2)xN块。8.一种图像解码方法，包括：基于图像解码装置中预定义的多个划分类型，将属于当前图片的第一译码块划分为多个第二译码块；以及对所述第二译码块进行解码，其中，对所述第二译码块进行解码包括为每个所述第二译码块生成预测块，其中，所述多个划分类型包括基于树的划分类型和基于索引的划分类型，其中，所述基于索引的划分类型基于由索引指示的来自多个候选块形状中的块形状将目标块划分为多个子块，并且其中，所述多个候选块形状基于所述目标块的尺寸被不同地设置。9.一种图像编码方法，包括：基于图像编码装置中预定义的多个划分类型，将属于当前图片的第一译码块划分为多个第二译码块；以及对所述第二译码块进行编码，其中，对所述第二译码块进行编码包括为每个所述第二译码块生成预测块，其中，所述多个划分类型包括基于树的划分类型和基于索引的划分类型，其中，所述基于索引的划分类型基于由索引指示的来自多个候选块形状中的块形状将目标块划分为多个子块，并且其中，所述多个候选块形状基于所述目标块的尺寸被不同地设置。10.一种存储由图像编码方法生成的比特流的非暂时性计算机可读记录介质，所述图像编码方法包括：基于图像编码装置中预定义的多个划分类型，将属于当前图片的第一译码块划分为多个第二译码块；以及对所述第二译码块进行编码，其中，对所述第二译码块进行编码包括为每个所述第二译码块生成预测块，其中，所述多个划分类型包括基于树的划分类型和基于索引的划分类型，其中，所述基于索引的划分类型基于由索引指示的来自多个候选块形状中的块形状将
目标块划分为多个子块，并且其中，所述多个候选块形状基于所述目标块的尺寸被不同地设置。11.一种利用解码装置对当前图像进行解码的方法，包括：接收包括所述当前图像的比特流；基于来自所述比特流的译码信息，将所述当前图像中的译码块划分为多个区域以获得一个或多个变换块，其中，所述译码信息包括指示是否将所述译码块划分为所述多个区域的第一标记、指示是否将所述译码块不对称地划分的第二标记、或指示所述译码块的划分方向是水平方向还是垂直方向的第三标记中的至少一个，并且其中，在所述译码块被不对称地划分为两个区域的情况下，所述译码块被划分为具有所述译码块的1/4尺寸的第一区域和具有所述译码块的3/4尺寸的第二区域，所述一个或多个变换块作为所述第一区域或所述第二区域中的至少一个而获得；通过对当前变换块执行逆量化获得所述当前变换块的逆量化系数，所述当前变换块是所述一个或多个变换块之一；通过对所述逆量化系数执行逆变换来重构所述当前变换块的残差信号；以及基于重构的残差信号和所述当前变换块的预测信号来重构所述当前变换块，其中，获得所述当前变换块的所述逆量化系数包括：基于用于指定所述当前变换块的加权集候选的索引信息，选择所述解码装置中预定义的多个加权集候选之一；以及基于所选择的加权集候选对所述当前变换块执行所述逆量化。12.根据权利要求11所述的方法，其中，所述加权集候选中的每一个包括多个加权分量，并且其中，属于所述加权集候选中的一个的加权分量中的至少一个与属于所述加权集候选中的另一个的加权分量不同。13.根据权利要求11所述的方法，其中通过考虑所述当前变换块的尺寸是否大于在所述解码装置中预定义的阈值尺寸来确定用于所述逆量化系数的所述逆变换的变换类型。14.根据权利要求13所述的方法，其中，在所述当前变换块的所述尺寸大于所述阈值尺寸时能够用于所述当前变换块的变换类型的数量不同于在所述当前变换块的所述尺寸小于或等于所述阈值尺寸时能够用于所述当前变换块的所述变换类型的数量。15.根据权利要求14所述的方法，其中，通过进一步考虑所述第一标记、所述第二标记或所述第三标记中的至少一个来确定用于所述量化系数的所述逆变换的变换类型。16.一种利用编码装置对当前图像进行编码的方法，包括：将所述当前图像中的译码块划分为多个区域以获得一个或多个变换块；通过对当前变换块的残差信号执行变换来获得所述当前变换块的变换系数，所述当前变换块是所述一个或多个变换块之一，其中，所述当前变换块的所述残差信号基于所述当前变换块的预测信号来获得；通过对所述当前变换块的所述变换系数执行量化来获得所述当前变换块的量化变换系数；以及通过对所述当前变换块的所述量化变换系数进行编码来生成比特流，
其中，用于划分所述译码块的译码信息被编码，其中，所述译码信息包括指示是否将所述译码块划分为多个区域的第一标记、指示是否将所述译码块不对称地划分的第二标记、或指示所述译码块的划分方向是水平方向还是垂直方向的第三标记中的至少一个，其中，在所述译码块被不对称地划分为两个区域的情况下，所述译码块被划分为具有所述译码块的1/4尺寸的第一区域和具有所述译码块的3/4尺寸的第二区域，所述一个或多个变换块作为所述第一区域或所述第二区域中的至少一个而获得，并且其中，获得所述当前变换块的所述量化变换系数包括：基于用于指定所述当前变换块的加权集候选的索引信息，选择所述编码装置中预定义的多个加权集候选之一；以及基于所选择的加权集候选对所述当前变换块的所述变换系数执行所述量化。17.一种用于存储与图像信号相关联的数据的非暂时性计算机可读介质，包括：通过编码方法编码的数据流，其中，所述编码方法包括：将所述当前图像中的译码块划分为多个区域以获得一个或多个变换块；通过对当前变换块的残差信号执行变换来获得所述当前变换块的变换系数，所述当前变换块是所述一个或多个变换块之一，其中，所述当前变换块的所述残差信号基于所述当前变换块的预测信号来获得；通过对所述当前变换块的所述变换系数执行量化来获得所述当前变换块的量化变换系数；以及通过对所述当前变换块的所述量化变换系数进行编码来生成比特流，其中，用于划分所述译码块的译码信息被编码，其中，所述译码信息包括指示是否将所述译码块划分为多个区域的第一标记、指示是否将所述译码块不对称地划分的第二标记、或指示所述译码块的划分方向是水平方向还是垂直方向的第三标记中的至少一个，其中，在所述译码块被不对称地划分为两个区域的情况下，所述译码块被划分为具有所述译码块的1/4尺寸的第一区域和具有所述译码块的3/4尺寸的第二区域，所述一个或多个变换块作为所述第一区域或所述第二区域中的至少一个而获得，并且其中，获得所述当前变换块的所述量化变换系数包括：基于用于指定所述当前变换块的加权集候选的索引信息，选择所述编码装置中预定义的多个加权集候选之一；以及基于所选择的加权集候选对所述当前变换块的所述变换系数执行所述量化。18.一种对图像进行解码的方法，包括：获得图片的至少一个偏移；基于所述至少一个偏移导出用于所述图片的缩放的变量；基于用于所述图片的缩放的所述变量来执行帧间预测以生成当前块的预测块；以及基于所述预测块重构所述当前块，其中，所述至少一个偏移用缩放方向来定义。19.根据权利要求18所述的方法，其中，所述至少一个偏移包括左偏移和右偏移。
20.根据权利要求19所述的方法，其中，用于水平方向的缩放的变量是基于所述左偏移和所述右偏移导出的。21.根据权利要求18所述的方法，其中，针对色度分量发信号通知所述至少一个偏移。22.根据权利要求21所述的方法，其中，在亮度分量与所述色度分量的比率为2比1的情况下，用于所述亮度分量的缩放的变量是通过将所述至少一个偏移乘以2来导出的。23.一种对图像进行编码的方法，包括：确定图片的至少一个偏移；基于所述至少一个偏移导出用于所述图片的缩放的变量；基于用于所述图片的缩放的所述变量来执行帧间预测以生成当前块的预测块；以及基于所述预测块对所述当前块进行编码，其中，所述至少一个偏移用缩放方向来定义。24.一种存储通过对图像进行编码的方法生成的比特流的非暂时性计算机可读记录介质，所述方法包括：确定图片的至少一个偏移；基于所述至少一个偏移导出用于所述图片的缩放的变量；基于用于所述图片的缩放的所述变量来执行帧间预测以生成当前块的预测块；以及基于所述预测块对所述当前块进行编码，其中，所述至少一个偏移用缩放方向来定义。25.一种...

【专利技术属性】
技术研发人员：金起佰，
申请(专利权)人：有限公司B一影像技术研究所，
类型：发明
国别省市：