用于校正针对全向视频的运动补偿的方法和装置制造方法及图纸

提供了一种由于改进全向视频的运动矢量补偿处理所带来的编码效率的改进，其使用映射f将用于编码的帧F映射到用于渲染帧的表面S。对表面上的块的角进行校正以映射到可以用于渲染新帧的编码后的帧。各种实施例包括：校正像素，并且针对每个像素组使用单独的运动矢量。在另一实施例中，运动矢量可以通过使用映射投影的仿射模型、或重叠块运动补偿模型以极坐标来表示。

Method and device for correcting motion compensation for omnidirectional video

An improvement in encoding efficiency due to improved motion vector compensation processing for omnidirectional video is provided, which maps frame F for encoding to surface S for rendering frames using mapping F. The corner of the block on the surface is corrected to map to the coded frame that can be used to render the new frame. Various embodiments include: correcting pixels and using separate motion vectors for each group of pixels. In another embodiment, motion vectors can be expressed in polar coordinates by using affine models of mapping projections or overlapping block motion compensation models.

【技术实现步骤摘要】
【国外来华专利技术】用于校正针对全向视频的运动补偿的方法和装置
所描述的实施例的各方面涉及校正针对全向视频的运动补偿。
技术介绍
最近，可用的大视场内容有所增长(高达360°)。这些内容对于在沉浸式显示设备(例如头戴式显示器、智能眼镜、PC屏幕、平板电脑、智能电话等)上观看内容的用户来讲可能并不是完全可见的。这意味着在给定时刻，用户可能仅查看内容的一部分。然而，用户通常可以通过诸如头部移动、鼠标移动、触摸屏幕、语音之类的各种手段在内容内导航。通常希望对该内容进行编码和解码。
技术实现思路
根据本原理的一个方面，提供了一种用于改进针对全向视频的运动补偿的方法。该方法包括：通过使用运动补偿预测全向视频图像块来解码视频图像块的步骤，其中，所述运动补偿包括：使用块中心点以及块高度和宽度来计算所述视频图像块的块角，以及通过对计算出的块角使用块扭曲函数，在参数表面上获得角的图像和视频图像块的中心点。该方法还包括如下步骤：通过从参数表面上的角变换到三维表面来获得三维角；在三维表面上获得块的每个三维角相对于块的中心点的三维偏移；在参数表面上通过使用块扭曲函数以及在三维表面上通过使用变换和针对视频图像块的运动矢量，计算运动补偿块的图像。该方法还包括：使用三维偏移来计算视频图像块的运动补偿角的三维坐标；以及通过使用逆块扭曲函数和逆变换根据参考帧计算所述运动补偿角的图像。根据本原理的另一方面，提供了一种装置。装置包括存储器和处理器。处理器被配置为通过使用运动补偿预测全向视频图像块来解码视频图像块，其中，运动补偿包括：使用块中心点以及块高度和宽度来计算所述视频图像块的块角，以及通过对计算出的块角使用块扭曲函数，在参数表面上获得角的图像和视频图像块的中心点。该方法还包括如下步骤：通过从参数表面上的角变换到三维表面来获得三维角；在三维表面上获得块的每个三维角相对于块的中心点的三维偏移；在参数表面上通过使用块扭曲函数以及在三维表面上通过使用变换和针对视频图像块的运动矢量，计算运动补偿块的图像。该方法还包括：使用三维偏移来计算视频图像块的运动补偿角的三维坐标；以及通过使用逆块扭曲函数和逆变换根据参考帧计算所述运动补偿角的图像。根据本原理的另一方面，提供了一种用于改进针对全向视频的运动补偿的方法。该方法包括：通过使用运动补偿预测全向视频图像块来编码视频图像块的步骤，其中，运动补偿包括：使用块中心点以及块高度和宽度来计算所述视频图像块的块角，以及通过对计算出的块角使用块扭曲函数，在参数表面上获得角的图像和视频图像块的中心点。该方法还包括如下步骤：通过从参数表面上的角变换到三维表面来获得三维角；在三维表面上获得块的每个三维角相对于块的中心点的三维偏移；在参数表面上通过使用块扭曲函数以及在三维表面上通过使用变换和针对视频图像块的运动矢量，计算运动补偿块的图像。该方法还包括：使用三维偏移来计算视频图像块的运动补偿角的三维坐标；以及通过使用逆块扭曲函数和逆变换根据参考帧计算所述运动补偿角的图像。根据本原理的另一方面，提供了一种装置。装置包括存储器和处理器。处理器被配置为通过使用运动补偿预测全向视频图像块来编码视频图像块，其中，运动补偿包括：使用块中心点以及块高度和宽度来计算所述视频图像块的块角，以及通过对计算出的块角使用块扭曲函数，在参数表面上获得角的图像和视频图像块的中心点。该方法还包括如下步骤：通过从参数表面上的角变换到三维表面来获得三维角；在三维表面上获得块的每个三维角相对于块的中心点的三维偏移；在参数表面上通过使用块扭曲函数以及在三维表面上通过使用变换和针对视频图像块的运动矢量，计算运动补偿块的图像。该方法还包括：使用三维偏移来计算视频图像块的运动补偿角的三维坐标；以及通过使用逆块扭曲函数和逆变换根据参考帧计算所述运动补偿角的图像。根据结合附图阅读的示例性实施例的以下详细描述，本专利技术原理的这些和其他方面、特征和优点将变得清楚明白。附图说明图1示出了根据实施例的一个总体方面的编码和解码系统的总体概览。图2示出了根据实施例的一个总体方面的解码系统的一个实施例。图3示出了根据实施例的一个总体方面的用于处理增强现实、虚拟现实、增强虚拟或其内容系统的第一系统。图4示出了根据实施例的另一总体方面的用于处理增强现实、虚拟现实、增强虚拟或其内容系统的第二系统。图5示出了根据实施例的另一总体方面的用于使用智能电话来处理增强现实、虚拟现实、增强虚拟或其内容系统的第三系统。图6示出了根据实施例的另一总体方面的用于使用手持设备和传感器来处理增强现实、虚拟现实、增强虚拟或其内容系统的第四系统。图7示出了根据实施例的另一总体方面的包含视频墙的用于处理增强现实、虚拟现实、增强虚拟或其内容系统的系统。图8示出了根据实施例的另一总体方面的使用视频墙和传感器的用于处理增强现实、虚拟现实、增强虚拟或其内容系统的系统。图9示出了根据实施例的另一总体方面的具有游戏控制台的用于处理增强现实、虚拟现实、增强虚拟或其内容系统的系统。图10示出了根据本专利技术的沉浸式视频渲染设备的另一实施例。图11示出了根据实施例的另一总体方面的沉浸式视频渲染设备的另一实施例。图12示出了根据实施例的另一总体方面的沉浸式视频渲染设备的另一实施例。图13示出了根据实施例的总体方面的使用等量矩形投影从球体表面到帧的映射。图14示出了根据实施例的总体方面的针对全向视频的等量矩形帧布局的示例。图15示出了根据实施例的总体方面的使用立方体映射从立方体表面到帧的映射。图16示出了根据实施例的总体方面的针对全向视频的立方体映射帧布局的示例。图17示出了根据实施例的总体方面的其他类型的投影球体平面。图18示出了根据实施例的总体方面的用于球体和立方体的帧和三维(3D)表面坐标系。图19示出了移动对象在场景中沿直线移动并且在渲染帧中得到明显运动的示例。图20示出了根据实施例的总体方面的使用变换块的运动补偿。图21示出了根据实施例的总体方面的基于块扭曲的运动补偿。图22示出了根据实施例的总体方面的通过块扭曲的块运动补偿的示例。图23示出了根据实施例的总体方面的运动矢量的极(polar)参数化。图24示出了根据实施例的总体方面的仿射运动矢量和子块情况。图25示出了根据实施例的总体方面的仿射映射运动补偿。图26示出了重叠的块运动补偿示例。图27示出了根据实施例的总体方面的平面与球体的近似。图28示出了根据实施例的总体方面的立方体映射的面(face)的可能布局的两个示例。图29示出了根据实施例的总体方面的针对画面F和表面S的参考帧。图30示出了根据实施例的总体方面的立方体表面S到3D空间的映射。图31示出了根据实施例的总体方面的方法的一个实施例。图32示出了根据实施例的总体方面的装置的一个实施例。具体实施方式本文描述了一种用于改进针对全向视频的运动补偿的方法。所描述的原理的实施例涉及：一种用于虚拟现实、增强现实或增强虚拟的系统；一种用于显示虚拟现实、增强现实或增强虚拟的头戴式显示设备；以及一种用于虚拟现实、增强现实或增强虚拟系统的处理设备。根据所描述的实施例的系统旨在处理和显示从增强现实到虚拟现实(因此也还涉及增强虚拟)的内容形成了。该内容可以用于玩游戏或观看视频内容或与视频内容交互。因此，通过虚拟现实系统，我们在此理解实施例还涉及增强现实系本文档来自技高网...

【技术保护点】
1.一种通过使用运动补偿来预测全向视频图像块以解码视频图像块的方法，其中运动补偿包括：使用块中心点以及块高度和宽度来计算所述视频图像块的块角；通过对所述计算出的块角使用块扭曲函数，在参数表面上获得角的图像和所述视频图像块的中心点；通过从所述参数表面上的角变换到三维表面来获得三维角；在所述三维表面上获得所述块的每个三维角相对于所述块的所述中心点的三维偏移；在所述参数表面上通过使用所述块扭曲函数以及在三维表面上通过使用所述变换和针对所述视频图像块的运动矢量，计算运动补偿块的图像；使用所述三维偏移来计算所述视频图像块的运动补偿角的三维坐标；以及通过使用逆块扭曲函数和逆变换，根据参考帧计算所述运动补偿角的图像。

【技术特征摘要】
【国外来华专利技术】2016.09.30 EP 16306267.21.一种通过使用运动补偿来预测全向视频图像块以解码视频图像块的方法，其中运动补偿包括：使用块中心点以及块高度和宽度来计算所述视频图像块的块角；通过对所述计算出的块角使用块扭曲函数，在参数表面上获得角的图像和所述视频图像块的中心点；通过从所述参数表面上的角变换到三维表面来获得三维角；在所述三维表面上获得所述块的每个三维角相对于所述块的所述中心点的三维偏移；在所述参数表面上通过使用所述块扭曲函数以及在三维表面上通过使用所述变换和针对所述视频图像块的运动矢量，计算运动补偿块的图像；使用所述三维偏移来计算所述视频图像块的运动补偿角的三维坐标；以及通过使用逆块扭曲函数和逆变换，根据参考帧计算所述运动补偿角的图像。2.一种用于解码视频图像块的装置，包括：存储器；以及处理器，被配置为通过使用运动补偿来预测全向视频图像块以解码所述视频图像块，其中运动补偿包括：使用块中心点以及块高度和宽度来计算所述视频图像块的块角；通过对所述计算出的块角使用块扭曲函数，在参数表面上获得角的图像和所述视频图像块的中心点；通过从所述参数表面上的角变换到三维表面来获得三维角；在所述三维表面上获得所述块的每个三维角相对于所述块的所述中心点的三维偏移；在所述参数表面上通过使用所述块扭曲函数以及在三维表面上通过使用所述变换和针对所述视频图像块的运动矢量，计算运动补偿块的图像；使用所述三维偏移来计算所述视频图像块的运动补偿角的三维坐标；以及通过使用逆块扭曲函数和逆变换，根据参考帧计算所述运动补偿角的图像。3.一种用于解码视频图像块的装置，包括用于执行以下处理的装置：通过使用运动补偿来预测全向视频图像块以解码所述视频图像块，其中运动补偿包括：使用块中心点以及块高度和宽度来计算所述视频图像块的块角；通过对所述计算出的块角使用块扭曲函数，在参数表面上获得角的图像和所述视频图像块的中心点；通过从所述参数表面上的角变换到三维表面来获得三维角；在所述三维表面上获得所述块的每个三维角相对于所述块的所述中心点的三维偏移；在所述参数表面上通过使用所述块扭曲函数以及在三维表面上通过使用所述变换和针对所述视频图像块的运动矢量，计算运动补偿块的图像；使用所述三维偏移来计算所述视频图像块的运动补偿角的三维坐标；以及通过使用逆块扭曲函数和逆变换，根据参考帧计算所述运动补偿角的图像。4.一种通过使用运动补偿来预测全向视频图像块以编码视频图像块的方法，其中运动补偿包括：使用块中心点以及块高度和宽度来计算所述视频图像块的块角；通过对所述计算出的块角使用块扭曲函数，在参数表面上获得角的图像和所述视频图像块的中心点；通过从所述参数表面上的角变换到三维表面来获得三维角；在所述三维表面上获得所述块的每个三维角相对于所述块的所述中心点的三维偏移；在所述参数表面上通过使用所述块扭曲函数以及在三维表面上通过使用所述变换和针对所述视频图像块的运动矢量，计算运动补偿块的图像；使用所述三...

【专利技术属性】
技术研发人员：弗兰克·加尔平，法布里斯·勒林内克，法比安·拉卡佩，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国,US