图像数据编码/解码方法和装置制造方法及图纸

公开了一种图像数据编码/解码方法和装置。用于对360度图像进行解码的方法包括以下步骤：接收通过对360度图像进行编码获得的比特流；通过参考从所接收到的比特流获得的语法信息来生成预测图像；将所生成的预测图像与通过对比特流进行逆量化和逆变换所获得的残差图像进行组合，以获得解码图像；以及根据投影格式将解码图像重构成360度图像。此处，生成预测图像的步骤包括以下步骤：从语法信息中包括的运动信息中，获得包括与要解码的当前块相邻的块的运动矢量的运动矢量候选组；基于从运动信息中提取的选择信息，从运动矢量候选组导出预测运动矢量；以及使用最终运动矢量来确定要解码的当前块的预测块，该最终运动矢量是通过将预测运动矢量与从运动信息中提取的差分运动矢量相加导出的。

Image data encoding/decoding method and device

【技术实现步骤摘要】
【国外来华专利技术】图像数据编码/解码方法和装置
本专利技术涉及图像数据编码和解码技术，并且更具体地，涉及用于对现实媒体服务的360度图像进行编码和解码的方法和装置。
技术介绍
随着互联网和移动终端的普及以及信息和通信技术的发展，多媒体数据的使用正在迅速增加。近来，在各种领域中出现了对诸如高清晰度(HD)图像和超高清晰度(UHD)图像的高质量图像和高分辨率图像的需求，并且对诸如虚拟现实、增强现实等的现实媒体服务的需求也正在迅速增加。具体地，由于用多个摄像装置捕获的多视图图像被处理用于虚拟现实和增强现实的360度图像，因此针对处理生成的数据量大量增加，但是图像处理系统的用于处理大量数据的性能不足。如上所述，在现有技术的图像编码和解码方法和装置中，需要改进图像处理方面的性能，特别是图像编码/解码方面的性能。
技术实现思路
技术问题本专利技术的目的是提供一种用于改进用于编码和解码的初始步骤中的图像设置处理的方法。更具体地，本专利技术旨在提供一种用于在考虑360度图像的特性的情况下改进图像设置处理的编码和解码方法和装置。技术解决方案根据本专利技术的一方面，提供了一种对360度图像进行解码的方法。此处，对360度图像进行解码的方法可以包括：接收包括编码的360度图像的比特流；参考从所接收到的比特流获取的语法信息来生成预测图像；通过将所生成预测图像与通过对比特流进行逆量化和逆变换所获取的残差图像进行组合来获取解码图像；以及根据投影格式将解码图像重构成360度图像。此处，语法信息可以包括360度图像的投影格式信息。此处，投影格式信息可以是指示以下中至少之一的信息：360度图像被投影到2D平面中的等矩形投影(ERP，Equi-RectangularProjection)格式；360度图像投影被投影到立方体的立方体映射投影(CMP，CubeMapProjection)格式；360度图像投影到八面体的八面体投影(OHP，OctaHedronProjection)格式；以及360度图像被投影到多面体的二十面体投影(ISP，IcoSahedralProjection)格式。此处，重构可以包括：参考语法信息根据区域式打包来获取排列信息；以及根据排列信息来重排解码图像的块。此处，预测图像的生成可以包括：对通过恢复比特流获取的参考图片执行图像扩展；以及参考被执行图像扩展的参考图片来生成预测图像。此处，执行图像扩展可以包括：基于参考图片的划分单元来执行图像扩展。此处，基于划分单元来执行图像扩展可以包括：通过使用划分单元的参考像素针对每个划分单元单独地生成扩展区域。此处，可以使用与要扩展的划分单元在空间上相邻的划分单元的边界像素或使用与要扩展的划分单元具有图像连续性的划分单元的边界像素来生成扩展区域。此处，基于划分单元来执行图像扩展可以包括：使用组合有划分单元中的在空间上彼此相邻的两个或更多个划分单元的区域的边界像素，来生成组合区域的扩展图像。此处，基于划分单元来执行图像扩展可以包括：使用划分单元中的在空间上彼此相邻的划分单元的所有相邻像素信息，生成相邻划分单元之间的扩展区域。此处，基于划分单元来执行图像扩展可以包括：使用在空间上相邻的划分单元的相邻像素的平均值来生成扩展区域。此处，预测图像的生成可以包括：从语法信息中包括的运动信息中获取运动矢量候选组，该运动矢量候选组包括与要解码的当前块相邻的块的运动矢量；基于从运动信息中提取的选择信息，从运动矢量候选组导出预测运动矢量；以及通过使用通过将预测运动矢量与从运动信息中提取的差分运动矢量相加而导出的最终运动矢量来确定要解码的当前块的预测块。此处，运动矢量候选组可以在与当前块相邻的块与当前块所属的面不同的情况下仅包括相邻块中的以下块的运动矢量，该块属于与当前块所属的面具有图像连续性的面。此处，与当前块相邻的块可以指的是在选自以下中的至少一个方向上与当前块相邻的块：左上、上、右上、下和左下。此处，最终运动矢量可以基于当前块指示包括在至少一个参考图片内并且被设置在根据投影格式具有面之间的图像连续性的区域中的参考区域。此处，可以根据投影格式基于图像连续性在向上、向下、向左和向右方向上扩展参考图片，然后可以设置参考区域。此处，可以面为单元扩展参考图片，并且可以跨越面边界设置参考区域。此处，运动信息可以包括参考图片所属的参考图片列表、参考图片的索引和指示参考区域的运动矢量中至少之一。此处，当前块的预测块的生成可以包括：将当前块划分成多个子块，并且针对由划分产生的多个子块中的每个子块生成预测块。本专利技术的有益效果利用根据本专利技术的实施方式的图像编码/解码方法和装置，可以增强压缩性能。特别地，对于360度图像，可以增强压缩性能。附图说明图1是根据本专利技术的实施方式的图像编码装置的框图。图2是根据本专利技术的实施方式的图像解码装置的框图。图3是将图像信息划分成多个层以压缩图像的示例图。图4是示出根据本专利技术的实施方式的图像划分的示例的概念图。图5是根据本专利技术的实施方式的图像划分方法的另外的示例图。图6是一般图像尺寸调整方法的示例图。图7是根据本专利技术的实施方式的图像尺寸调整的示例图。图8是根据本专利技术的实施方式的在图像尺寸调整方法中构建通过扩展生成的区域的方法的示例图。图9是根据本专利技术的实施方式的在图像尺寸调整方法中构建要删除的区域和要生成的区域的方法的示例图。图10是根据本专利技术的实施方式的图像重构的示例图。图11是示出根据本专利技术的实施方式的图像设置处理之前和之后的图像的示例图。图12是根据本专利技术的实施方式的调整图像的每个划分单元的尺寸的示例图。图13是图像中的划分单元的设置或尺寸调整的组的示例图。图14是示出调整图像尺寸的处理和调整图像中的划分单元的尺寸的处理两者的示例图。图15是示出显示三维(3D)图像的3D空间和二维(2D)平面空间的示例图。图16a至图16d是示出根据本专利技术的实施方式的投影格式的概念图。图17是示出根据本专利技术的实施方式投影格式包括在矩形图像中的概念图。图18是根据本专利技术的实施方式的将投影格式转换成矩形形状的方法、即在面上执行重排以排除无意义区域的方法、的概念图。图19是示出根据本专利技术的实施方式执行区域式打包处理(region-wisepackingprocess)以将CMP投影格式转换成矩形图像的概念图。图20是根据本专利技术的实施方式的360度图像划分的概念图。图21是根据本专利技术的实施方式的360度图像划分和图像重构的示例图。图22是将通过CMP打包或投影的图像被划分成图块(tile)的示例图。图23是示出根据本专利技术的实施方式调整360度图像的尺寸的示例的概念图。图24是示出根据本专利技术的实施方式的投影格式(例如，CHP、OHP或ISP)下的面之间的连续性的概念图。图25是示出部分21c的面的连续性的概念图，部分21c是通过CMP投影格式的图像重构处理或区域式打包处理获取的图像。图26是示出根据本专利技术的实施方式的CMP投影格式下的图像尺寸调整的示例图。图27是示出根据本专利技术的实施方式的以CMP投影格式变换和打包的图像的尺寸调整的示例图。图28是示出根据本专利技术的实施方式的用于调整360度图像的尺寸的数据处理方法的示例图。图29是示出基于树的块形式的示例图。图30是示出基于类型的块形式的示例图。图31是示出可以由本专利技术的块划分部获本文档来自技高网...

【技术保护点】
1.一种对360度图像进行解码的方法，所述方法包括：接收编码有所述360度图像的比特流；参考从所接收到的比特流获取的语法信息来生成预测图像；通过将所生成的所述预测图像与通过对所述比特流进行逆量化和逆变换而获取的残差图像进行组合来获取解码图像；以及根据投影格式将所述解码图像重构成所述360度图像，其中，生成所述预测图像包括：从在所述语法信息中包括的运动信息获取运动矢量候选组，所述运动矢量候选组包括与要解码的当前块相邻的块的运动矢量；基于从所述运动信息中提取的选择信息，从所述运动矢量候选组导出预测运动矢量；以及通过使用最终运动矢量来确定要解码的所述当前块的预测块，所述最终运动矢量是通过将所述预测运动矢量与从所述运动信息提取的差分运动矢量相加而导出的。

【技术特征摘要】
【国外来华专利技术】2016.10.04 KR 10-2016-0127893;2016.10.06 KR 10-2011.一种对360度图像进行解码的方法，所述方法包括：接收编码有所述360度图像的比特流；参考从所接收到的比特流获取的语法信息来生成预测图像；通过将所生成的所述预测图像与通过对所述比特流进行逆量化和逆变换而获取的残差图像进行组合来获取解码图像；以及根据投影格式将所述解码图像重构成所述360度图像，其中，生成所述预测图像包括：从在所述语法信息中包括的运动信息获取运动矢量候选组，所述运动矢量候选组...

【专利技术属性】
技术研发人员：金起佰，
申请(专利权)人：金起佰，
类型：发明
国别省市：韩国,KR