图像数据编码/解码方法和装置制造方法及图纸

公开了一种图像数据编码/解码方法和装置。用于对360度图像进行解码的方法包括以下步骤：接收通过对360度图像进行编码获得的比特流；通过参考从所接收到的比特流获得的语法信息来生成预测图像；将所生成的预测图像与通过对比特流进行逆量化和逆变换获得的残差图像相加，以获得解码图像；以及根据投影格式将解码图像重构成360度图像。因此，可以提高图像数据压缩的性能。

Image data encoding/decoding method and device

【技术实现步骤摘要】
【国外来华专利技术】图像数据编码/解码方法和装置
本专利技术涉及图像数据编码和解码技术，并且更具体地，涉及用于对现实媒体服务的360度图像进行编码和解码的方法和装置。
技术介绍
随着互联网和移动终端的普及以及信息和通信技术的发展，多媒体数据的使用正在迅速增加。近来，在各种领域中出现了对诸如高清晰度(HD)图像和超高清晰度(UHD)图像的高质量图像和高分辨率图像的需求，并且对诸如虚拟现实、增强现实等的现实媒体服务的需求也正在迅速增加。具体地，由于用多个摄像装置捕获的多视图图像被处理用于虚拟现实和增强现实的360度图像，因此针对处理生成的数据量大量增加，但是图像处理系统的用于处理大量数据的性能不足。如上所述，在现有技术的图像编码和解码方法和装置中，需要改进图像处理方面的性能，特别是图像编码/解码方面的性能。
技术实现思路
技术问题本专利技术的目的是提供一种用于改进用于编码和解码的初始步骤中的图像设置处理的方法。更具体地，本专利技术旨在提供一种用于在考虑360度图像的特性的情况下改进图像设置处理的编码和解码方法和装置。技术解决方案根据本专利技术的一方面，提供了一种对360度图像进行解码的方法。此处，对360度图像进行解码的方法可以包括：接收包括编码的360度图像的比特流；参考从所接收到的比特流获取的语法信息来生成预测图像；通过将所生成预测图像与通过对比特流进行逆量化和逆变换所获取的残差图像进行组合来获取解码图像；以及根据投影格式将解码图像重构成360度图像。此处，语法信息可以包括360度图像的投影格式信息。此处，投影格式信息可以是指示以下中至少之一的信息：360度图像被投影到2D平面中的等矩形投影(ERP，Equi-RectangularProjection)格式；360度图像投影被投影到立方体的立方体映射投影(CMP，CubeMapProjection)格式；360度图像投影到八面体的八面体投影(OHP，OctaHedronProjection)格式；以及360度图像被投影到多面体的二十面体投影(ISP，IcoSahedralProjection)格式。此处，重构可以包括：参考语法信息根据区域式打包来获取排列信息；以及根据排列信息来重排解码图像的块。此处，预测图像的生成可以包括：对通过恢复比特流获取的参考图片执行图像扩展；以及参考被执行图像扩展的参考图片来生成预测图像。此处，执行图像扩展可以包括：基于参考图片的划分单元来执行图像扩展。此处，基于划分单元来执行图像扩展可以包括：通过使用划分单元的参考像素针对每个划分单元单独地生成扩展区域。此处，可以使用与要扩展的划分单元在空间上相邻的划分单元的边界像素或使用与要扩展的划分单元具有图像连续性的划分单元的边界像素来生成扩展区域。此处，基于划分单元来执行图像扩展可以包括：使用组合有划分单元中的在空间上彼此相邻的两个或更多个划分单元的区域的边界像素，来生成组合区域的扩展图像。此处，基于划分单元来执行图像扩展可以包括：使用划分单元中的在空间上彼此相邻的划分单元的所有相邻像素信息，生成相邻划分单元之间的扩展区域。此处，基于划分单元来执行图像扩展可以包括：使用在空间上相邻的划分单元的相邻像素的平均值来生成扩展区域。本专利技术的有益效果利用根据本专利技术的实施方式的图像编码/解码方法和装置，可以增强压缩性能。特别地，对于360度图像，可以增强压缩性能。附图说明图1是根据本专利技术的实施方式的图像编码装置的框图。图2是根据本专利技术的实施方式的图像解码装置的框图。图3是将图像信息划分成多个层以压缩图像的示例图。图4是示出根据本专利技术的实施方式的图像划分的示例的概念图。图5是根据本专利技术的实施方式的图像划分方法的另外的示例图。图6是一般图像尺寸调整方法的示例图。图7是根据本专利技术的实施方式的图像尺寸调整的示例图。图8是根据本专利技术的实施方式的在图像尺寸调整方法中构建通过扩展生成的区域的方法的示例图。图9是根据本专利技术的实施方式的在图像尺寸调整方法中构建要删除的区域和要生成的区域的方法的示例图。图10是根据本专利技术的实施方式的图像重构的示例图。图11是示出根据本专利技术的实施方式的图像设置处理之前和之后的图像的示例图。图12是根据本专利技术的实施方式的调整图像的每个划分单元的尺寸的示例图。图13是图像中的划分单元的设置或尺寸调整的组的示例图。图14是示出调整图像尺寸的处理和调整图像中的划分单元的尺寸的处理两者的示例图。图15是示出显示三维(3D)图像的3D空间和二维(2D)平面空间的示例图。图16a至图16d是示出根据本专利技术的实施方式的投影格式的概念图。图17是示出根据本专利技术的实施方式投影格式包括在矩形图像中的概念图。图18是根据本专利技术的实施方式的将投影格式转换成矩形形状的方法、即在面上执行重排以排除无意义区域的方法、的概念图。图19是示出根据本专利技术的实施方式执行区域式打包处理(region-wisepackingprocess)以将CMP投影格式转换成矩形图像的概念图。图20是根据本专利技术的实施方式的360度图像划分的概念图。图21是根据本专利技术的实施方式的360度图像划分和图像重构的示例图。图22是将通过CMP打包或投影的图像被划分成图块(tile)的示例图。图23是示出根据本专利技术的实施方式调整360度图像的尺寸的示例的概念图。图24是示出根据本专利技术的实施方式的投影格式(例如，CHP、OHP或ISP)下的面之间的连续性的概念图。图25是示出部分21c的面的连续性的概念图，部分21c是通过CMP投影格式的图像重构处理或区域式打包处理获取的图像。图26是示出根据本专利技术的实施方式的CMP投影格式下的图像尺寸调整的示例图。图27是示出根据本专利技术的实施方式的以CMP投影格式变换和打包的图像的尺寸调整的示例图。图28是示出根据本专利技术的实施方式的用于调整360度图像的尺寸的数据处理方法的示例图。具体实施方式虽然本专利技术可以经受各种修改和替选形式，但是其具体实施方式在附图中作为示例被示出，并且将在本文中详细描述。然而，应当理解，并没有将本专利技术限制于公开的特定形式的意图，而相反地，本专利技术会覆盖落入本专利技术的精神和范围内的所有修改、等同方案和替选方案。应当理解的是，尽管本文中可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于将一个元件与另一元件区分。例如，在不背离本专利技术的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。如在本文中所使用的，术语“和/或”包括相关联列举的项目中的一个或更多个的任意和所有组合。应当理解，当元件被称为“连接”或“耦接”至另一元件时，它可以直接连接至或耦接至另一元件或者可以出现中间元件。相比之下，当元件被称为“直接连接”或“直接耦接”到另一元件时，不存在中间元件。应当以类似方式(即，“在…之间”与“直接在…之间”、“相邻”与“直接相邻”等)解释用于描述元件之间的关系的其他单词。本文使用的专业术语仅用于描述特定实施方式的目的，而不旨在限制本专利技术。如在本文中使用的那样，单数形式“一个”、“一”和“该”旨在也包括复数形式，除非上下文清楚地另外指示。还应当理解，术语“包括(comprises)”、“包括(comprising)”、“包括(includes)”和/或“包括本文档来自技高网...

【技术保护点】
1.一种用于对360度图像进行解码的方法，所述方法包括：接收编码有所述360度图像的比特流；通过参考从所接收到的所述比特流获得的语法信息来生成预测图像；通过将所生成的所述预测图像与残差图像相加来获得解码图像，所述残差图像是通过对所述比特流进行逆量化和逆变换获得的；以及根据投影格式将所述解码图像重构成所述360度图像。

【技术特征摘要】
【国外来华专利技术】2016.10.04 KR 10-2016-0127878;2016.10.06 KR 10-2011.一种用于对360度图像进行解码的方法，所述方法包括：接收编码有所述360度图像的比特流；通过参考从所接收到的所述比特流获得的语法信息来生成预测图像；通过将所生成的所述预测图像与残差图像相加来获得解码图像，所述残差图像是通过对所述比特流进行逆量化和逆变换获得的；以及根据投影格式将所述解码图像重构成所述360度图像。2.根据权利要求1所...

【专利技术属性】
技术研发人员：金起佰，
申请(专利权)人：金起佰，
类型：发明
国别省市：韩国,KR