多视点视频编码/解码方法技术

本公开涉及视频编码/解码方法和装置，并且更具体地涉及用于生成用于多视图视频的参考图像的方法和装置。视频编码方法包括，在存在具有与具有第一视图的第一图像不同的视图的第二图像时，变换第二图像以具有第一视图，通过将第二图像添加到第一图像侧来生成参考图像，以及在参考图片列表中存储参考图像。

Multi view video coding / decoding method

The present disclosure relates to video encoding / decoding methods and devices, and more specifically to methods and devices for generating reference images for multi view video. The video encoding method includes, when there is a second image with a view different from the first image with the first view, the second image is transformed to have a first view, the reference image is generated by adding the second image to the first image side, and the reference image is stored in the reference picture list.

【技术实现步骤摘要】
【国外来华专利技术】多视点视频编码/解码方法
本公开一般涉及视频编码/解码方法，并且更具体地涉及用于预测多视图视频的方法。
技术介绍
随着技术发展，高清(HD)/高质量广播服务已经变得流行。因此，提供比HD高四倍的分辨率的超高清(UHD)已引起越来越多的兴趣。在这种情况下，除了传统的二维(2D)图像之外，更多的关注已经被吸引到诸如立体图像或全向视频的现实图像。虽然由于新媒体的发展，诸如头戴式显示器(HMD)等能够播放现实图像的设备已经商业化，但是现实媒体仍然以与2D图像相同的方式被编码/解码。因此，存在开发适合现实媒体的特性的压缩方案的需求，以便提高现实媒体的压缩效率。
技术实现思路
技术问题本公开的目的是提供一种用于提高多视图视频的编码/解码效率的方法。本公开的另一目的是提供用于将图像的不同视图统一为一个视图，并且使用通过组合具有统一视图的图像而获得的参考图像来执行编码/解码的方法和装置。本公开的另一目的是提供用于在当前块和相邻块具有不同视图时通过变换相邻块的预测信息来提高当前块的预测效率的方法。本领域技术人员将理解，可以通过本公开实现的目的不限于上文已经特别描述的内容，并且将从以下详细描述中更清楚地理解本公开可以实现的以上和其它目的。技术方案在根据本专利技术的一个方面中，视频编码方法包括，在存在具有与具有第一视图的第一图像不同的视图的第二图像时，变换第二图像以具有第一视图，通过将第二图像添加到第一图像侧来生成参考图像，以及在参考图片列表中存储参考图像。在根据本专利技术的另一方面中，视频解码方法包括，在存在具有与具有第一视图的第一图像不同的视图的第二图像时，变换第二图像以具有第一视图，通过将第二图像添加到第一图像侧来生成参考图像，以及在参考图片列表中存储参考图像。以下可以共同应用于视频编码方法和视频解码方法。可以基于第一图像和第二图像之间的视图差异来生成变换的图像，并且视图差异可以包括第一图像和第二图像之间的距离差异和角度差异中的至少一个。可以基于包括第一图像和第二图像的全向图像的特性来确定视图差异。如果全向图像被投影成正多面体，则第一图像和第二图像之间的角度差异可以被确定为正多面体的内角。基于用于捕获第一图像的第一照相机和用于捕获第二图像的第二照相机之间的距离和角度差异来计算视图差异。根据包括第一图像和第二图像的正多面体的特性来确定添加第二图像的位置。参考图像可以与对应于第一图像和第二图像的时间信息一起被存储在参考图片列表中。本公开的以上简要概括的特征仅仅是本公开的详细描述的示例性方面，而非限制本公开的范围。本公开的以上简要概括的特征仅仅是本公开的详细描述的示例性方面，而非限制本公开的范围。有益效果根据本公开，可以提供用于提高多视图视频的编码/解码效率的方法。具体地，根据本公开，可以提供用于将图像的不同视图统一为一个视图，并且使用通过组合具有统一视图的图像而获得的参考图像来执行编码/解码的方法和装置。具体地，根据本公开，可以提供用于在当前块和相邻块具有不同视图时通过变换相邻块的预测信息来提高当前块的预测效率的方法。本公开的附加的优点、目的和特征将部分地在下面的描述中阐述，并且对于本领域的普通技术人员而言在研究以下内容时本公开的附加的优点、目的和特征将部分地变得显而易见，或者可以从本公开的实践中学习到本公开的附加的优点、目的和特征。本公开的目的和其它优点可以通过在书写的说明书及其权利要求书以及附图中特别指出的结构来实现和获得。附图说明图1是示出用于生成三维(3D)多视图图像的示例性照相机类型的视图。图2是描绘发散视频的视图。图3是描绘会聚视频的视图。图4是示出将3D多视图视频投影为表示多面体切开并放平的平面图形的示例的视图。图5是描绘3D多视图视频所展开成的示例性二维(2D)平面形式的视图。图6是描绘3D多视图视频的示例性3D形式的视图。图7是描绘显示3D多视图视频的部分的示例的视图。图8是描绘再现展开为正六面体的3D视频的示例的视图。图9是描绘在视频编码期间译码(coding)树单元(CTU)到译码单元(CU)的示例性分割的视图。图10是示出CU到预测单元(PU)的示例性分割的视图。图11是描绘帧间预测方法的视图。图12是描绘合并候选列表的示例性生成的视图。图13是描绘正六面体3D视频的3D图像的特定视频帧的示例性真实再现的视图。图14是描绘在每个表面边界处生成的示例性非线性失真的详细视图。图15是描绘通过变换相邻区域的视图的参考图像的示例性生成的视图。图16是描绘根据本专利技术的用于生成变换的扩展图像的过程的流程图。图17和图18是描绘视图之间的特性的视图。图19是描绘根据另一图像的视图的图像的示例性变换的视图。图20和图21是描绘基于正六面体的特定表面的参考图像的示例性生成的视图。图22是描绘用于发散图像的参考图像的示例性生成的视图。图23是描绘通过将参考视图的图像与变换的图像组合的参考图像的示例性生成的视图。图24是描绘在变换的图像中包含或不包含用于时间预测的必要区域的视图。图25是描绘用于会聚图像的参考图像的示例性生成的视图。图26是描绘通过将参考视图的图像与变换的图像组合的参考图像的示例性生成的视图。图27是示出用于展开为正六面体的3D多视图视频的参考图像列表的示例性生成的视图。图28是描绘用于发散图像的参考图像列表的示例性生成的视图。图29是描绘用于会聚图像的参考图像列表的示例性生成的视图。图30是比较根据本专利技术生成参考图像与不生成参考图像的视图。图31是描绘取决于是否应用本专利技术的编码的视图。图32是示出根据本专利技术的用于变换预测信息的方法的流程图。图33是描绘透视(perspective)边界处的预测信息的示例性变换的视图。图34是描绘用于基于相邻块的预测信息确定用于帧内预测的最可能模式(MPM)候选的过程的流程图。图35、图36和图37是描绘取决于当前块是否位于透视边界处的MPM候选的示例性生成的视图。图38是描绘用于基于相邻块的预测信息来确定用于在合并模式下的帧间预测的空间合并候选的过程的流程图。图39是描绘具有不同视图的当前块和空间相邻块的示例的视图。图40是描绘用于基于相邻块的预测信息来确定用于在合并模式下的帧间预测的时间合并候选的过程的流程图。图41是描绘具有不同视图的当前块和时间相邻块的示例的视图。图42是根据本专利技术的编码器的框图。图43是根据本专利技术的解码器的框图。图44是根据本专利技术的参考图像扩展器的框图。具体实施方式可以对本专利技术进行各种修改，并且本专利技术可以在各种实施例中实施。将参考附图描述本专利技术的特定实施例。然而，本专利技术的范围不意图限于特定实施例，并且要理解，本专利技术覆盖落入本专利技术的范围和精神内的全部修改、等同物、和/或替换。关于附图的描述，相同的附图标记表示相同的组件。为了描述的清楚，组件的形状和尺寸可以在附图中被夸大地示出。参考示出作为示例的特定实施例的附图来给出示例性实施例的以下详细描述。足够详细地描述这些实施例以允许本领域技术人员实践这些实施例。要理解，虽然各种实施例是不同的，但它们不需要彼此排斥。例如，在不脱离本专利技术的范围和精神的情况下，一个实施例中的特定形状、结构和特征可以被实现为另一实施例。此外，要理解，可以在实施例的范围和精神内改变每个公开的实施例中的各个组件的位置或布置。因此，本文档来自技高网...

【技术保护点】
1.一种视频编码方法，包括：当存在具有与具有第一视图的第一图像不同的视图的第二图像时，变换第二图像以具有第一视图；通过将第二图像添加到第一图像侧来生成参考图像；以及在参考图片列表中存储参考图像。

【技术特征摘要】
【国外来华专利技术】2015.11.23 KR 10-2015-0164057;2015.11.23 KR 10-2011.一种视频编码方法，包括：当存在具有与具有第一视图的第一图像不同的视图的第二图像时，变换第二图像以具有第一视图；通过将第二图像添加到第一图像侧来生成参考图像；以及在参考图片列表中存储参考图像。2.根据权利要求1所述的视频编码方法，其中，基于所述第一图像和所述第二图像之间的视图差异来生成变换的图像，并且其中所述视图差异包括所述第一图像和所述第二图像之间的距离差异和角度差异中的至少一个。3.根据权利要求2所述的视频编码方法，其中，其中所述视图差异是基于包括所述第一图像和所述第二图像的全向图像的特性来确定的。4.根据权利要求3所述的视频编码方法，其中，如果所述全向图像被投影成正多面体，则所述第一图像和所述第二图像之间的角度差异被确定为所述正多面体的内角。5.根据权利要求2所述的视频编码方法，其中，基于用于捕获所述第一图像的第一照相机和用于捕获所述第二图像的第二照相机之间的距离和角度差异来计算所述视图差异。6.根据权利要求1所述的视频编码方法，其中，根据包括所述第一图像和所述第二图像的正多面体的特性来确定添加所述第二图像的位置。7.根据权利要求1所述的视频编码方法，其中，所述参考图像和与所述第一图像和所述第二图像相对应的时间信息一起被存储在所述参考图片列表中。8.一种视频解码方法，包括：在存在具有与具有第一视图的第一图像不同的视图的第二图像时，变换第二图像以具有第一视图；通过将第二图像添加到第一图像侧来生成参考图像；以及在参考图片列表中存储参考图像。9.根据权利要求8所述的视频解码方法，其中，基于所述第一图像和所述第二图像...

【专利技术属性】
技术研发人员：方健，权佑原，李光淳，许南淏，朴光勋，尹晟在，许瑛秀，洪锡宗，
申请(专利权)人：韩国电子通信研究院，庆熙大学校产学协力团，
类型：发明
国别省市：韩国,KR