用于处理包括封装在360度虚拟现实投影布局中的至少一个投影面的基于投影的帧的方法技术

一种视频处理方法，包括：从球体的全向内容中获取多个投影面，其中，球体的全向内容通过立方体投影映射到该多个投影面上，该多个投影面包括第一投影面；通过重采样电路，使用非均匀映射对第一投影面的至少一部分进行重采样，获得第一重采样投影面；根据立方体投影的投影布局生成基于投影的帧，其中基于投影的帧包括封装在投影布局中的第一重采样投影面；并对基于投影的帧进行编码以生成比特流的一部分。

A method for processing projection-based frames including at least one projection surface encapsulated in a 360-degree virtual reality projection layout

A video processing method includes: obtaining a plurality of projection surfaces from the omnidirectional content of a sphere, in which the omnidirectional content of a sphere is mapped to the plurality of projection surfaces through a cube projection, and the plurality of projection surfaces includes the first projection surface; resampling circuit is used to resample at least a portion of the first projection surface using non-uniform mapping to obtain the first resampling projection surface root; Projection-based frames are generated from the projection layout of cube projection, in which the projection-based frames include the first resampled projection plane encapsulated in the projection layout, and the projection-based frames are coded to generate a part of the bit stream.

【技术实现步骤摘要】
【国外来华专利技术】用于处理包括封装在360度虚拟现实投影布局中的至少一个投影面的基于投影的帧的方法相关申请的交叉引用本申请是在2008年12月3日提交的第15/917,844号的美国专利申请的部分延续申请，并要求在2017年9月27日提交的第62/563,787号的美国临时申请，在2017年11月8日提交的第62/583,078号的美国临时申请，和在2017年11月9日提交的第62/583,573号的美国临时申请的优先权，其中第15/917,844号的美国专利申请要求在2017年3月13日提交的第62/470,425号的美国临时申请的优先权。相关申请的全部内容，包括第15/917,844号的美国专利申请，第62/563,787号的美国临时申请，第62/583,078号的美国临时申请，第62/583,573号的美国临时申请和第62/470,425号的美国临时申请，在此合并参考上述申请案的申请标的。
本专利技术有关于处理全向图像/视频内容。更具体地，本专利技术涉及一种用于处理基于投影的帧的方法，该基于投影的帧包括至少一个封装在360度虚拟现实(360-degreevirtualreality，360VR)投影布局中的投影面。
技术介绍
具有头戴式显示器(head-mounteddisplays，HMDs)的虚拟现实(VR)与各种应用相关联。向用户显示宽视野内容的能力可用于提供沉浸式视觉体验。必须在所有方向上捕获真实世界环境，从而产生对应于球体的全向图像/视频内容。随着摄像机装备和HMDs的进步，由于表示这种360度图像/视频内容所需的高比特率，VR内容的传送可能很快成为瓶颈。当全向视频的分辨率为4K或更高时，资料压缩/编码对于降低比特率至关重要。通常，对应于球体的全向图像/视频内容被转换为图像序列，每个图像是基于投影的帧，其具有由在360度虚拟现实(360VR)投影布局中排列的一个或多个投影面表示的360度图像/视频内容，然后基于投影的帧的序列被编码成比特流以进行传输。基于投影的帧在布局边界和/或面边界处可能具有图像内容不连续性。因此在压缩之后，布局边界和/或面边界周围的图像质量可能较差。此外，通过解码的基于投影的帧的投影布局转换可能引入伪影，从而导致转换的基于投影的帧的图像质量劣化。
技术实现思路
本专利技术的目的之一是提供一种用于处理基于投影的帧的方法，该基于投影的帧包括封装在360度虚拟现实(360VR)投影布局中的至少一个投影面。根据本专利技术的第一方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：从球体的全向内容获得多个投影面，其中球体的全向内容通过立方体投影被映射到投影面上，并且该多个投影面包括第一投影面；通过重采样电路，通过非均匀映射对第一投影面的至少一部分进行重采样，获得第一重采样投影面，其中第一投影面具有第一源区域和第二源区域，第一重采样投影面具有第一重采样区域和第二重采样区域，第一重采样区域是从第一源区域以第一采样密度进行重采样得到的，第二重采样区域是从第二源区域以第二重采样密度进行重采样得到的，第一采样密度不同于第二采样密度；根据立方体投影的投影布局生成基于投影的帧，其中基于投影的帧包括封装在投影布局中的第一重采样投影面；以及对基于投影的帧进行编码以生成比特流的一部分。根据本专利技术的第二方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：根据立方体投影从球体的全向内容获得多个投影面；通过填充电路产生至少一个填充区域；通过封装在立方体投影的投影布局中的该多个投影面和该至少一个填充区域来生成基于投影的帧，其中，封装在投影布局中的该多个投影面包括第一投影面；封装在投影布局中的该至少一个填充区域包括第一填充区域；第一填充区域至少与第一投影面连接，并形成投影布局的一个边界的至少一部分；以及对基于投影的帧进行编码以生成比特流的一部分。根据本专利技术的第三方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：接收比特流的一部分，以及解码比特流的一部分以生成解码的基于投影的帧，其中基于投影的帧具有封装在360度虚拟现实(360VR)投影布局中的至少一个投影面和至少一个填充区域。解码比特流的一部分以生成解码的基于投影的帧的步骤包括：通过混合包括在该至少一个填充区域中的第一像素获得的解码像素值和包括在该至少一个投影面中的第二像素获得的解码像素值，重建包括在该至少一个填充区域中的该第一像素。在阅读了在以下详细描述的各个附图和附图中示出的优选实施例之后，对所属领域中具有通常知识者而言，本专利技术的这些和其他目的无疑将显而易见。附图说明图1是根据本专利技术的实施例的第一种360度虚拟现实(360VR)系统的示意图。图2是从球体到未经旋转的八面体(octahedron)的投影获得的基于八面体投影格式中的三角形投影面的示意图。图3是根据本专利技术的实施例的第一种紧凑八面体投影布局(compactoctahedronprojectionlayout)的示意图。图4是从球体到经过旋转的八面体的投影获得的基于八面体投影格式中的三角形投影面的示意图。图5是根据本专利技术的实施例的第二种紧凑八面体投影布局的示意图。图6是根据本专利技术的实施例的具有填充的第一种紧凑八面体投影布局的示意图。图7是根据本专利技术的实施例的具有填充的第二种紧凑八面体投影布局的示意图。图8是由图1中所示的填充电路执行的插值的示意图。图9是由图1中所示的填充电路执行的几何填充的示意图。图10是根据本专利技术的实施例的具有填充的紧凑立方体(cubemap)投影布局的示意图。图11是根据本专利技术的实施例的具有填充的第三种紧凑八面体投影布局的示意图。图12是根据本专利技术的实施例的具有填充的第一种ERP/EAP布局的示意图。图13是根据本专利技术的实施例的具有填充的第二种ERP/EAP布局的示意图。图14是根据本专利技术的实施例的具有填充的第三种ERP/EAP布局的示意图。图15是根据本专利技术的实施例的具有填充的八面体投影布局的示意图。图16是根据本专利技术的实施例的具有填充的立方体投影布局的示意图。图17是根据本专利技术的实施例的具有填充的第四种紧凑八面体投影布局的示意图。图18是根据本专利技术的实施例的具有填充的紧凑立方体投影布局的示意图。图19是根据本专利技术的实施例的第二种360VR系统的示意图。图20是根据从球体经过立方体投影(cubemapprojection，CMP)获得的立方体投影布局中的六个正方形投影面的示意图。图21是根据本专利技术的实施例的通过均匀映射对立方体投影获得的正方形投影面进行重采样的示意图。图22是根据本专利技术的实施例的均匀映射函数曲线的示意图。图23是根据本专利技术的实施例的通过非均匀映射对立方体投影获得的正方形投影面进行重采样的第一示例的示意图。图24是根据本专利技术的实施例的通过非均匀映射对立方体投影获得的正方形投影面进行重采样的第二示例的示意图。图25是根据本专利技术的实施例的第一非均匀映射函数曲线的示意图。图26是根据本专利技术的实施例的第二非均匀映射函数曲线的示意图。图27是根据本专利技术的实施例的第三种360VR系统的示意图。图28是根据本专利技术的实施例的对立方体投影布局进行内部边界填充(edgepadding)的示意图。图29是根据本专利技术的实施例的对立方体投影布局进行外部边界填充(boundar本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，包括：从球体的全向内容获得多个投影面，其中通过立方体投影将该球体的全向内容映射到该多个投影面上，并且该多个投影面包括第一投影面；通过重采样电路，通过非均匀映射对该第一投影面的至少一部分进行重采样，以获得第一重采样投影面，其中该第一投影面具有第一源区域和第二源区域，该第一重采样投影面具有第一重采样区域和第二重采样区域，该第一重采样区域是从该第一源区域以第一采样密度进行重采样得到的，该第二重采样区域是从该第二源区域以第二采样密度进行重采样得到的，其中该第一采样密度不同于该第二采样密度；根据该立方体投影的投影布局生成基于投影的帧，其中该基于投影的帧包括封装在该投影布局中的该第一重采样投影面；以及编码该基于投影的帧以生成比特流的一部分。

【技术特征摘要】
【国外来华专利技术】2017.09.27 US 62/563,787;2017.11.08 US 62/583,078;1.一种视频处理方法，其特征在于，包括：从球体的全向内容获得多个投影面，其中通过立方体投影将该球体的全向内容映射到该多个投影面上，并且该多个投影面包括第一投影面；通过重采样电路，通过非均匀映射对该第一投影面的至少一部分进行重采样，以获得第一重采样投影面，其中该第一投影面具有第一源区域和第二源区域，该第一重采样投影面具有第一重采样区域和第二重采样区域，该第一重采样区域是从该第一源区域以第一采样密度进行重采样得到的，该第二重采样区域是从该第二源区域以第二采样密度进行重采样得到的，其中该第一采样密度不同于该第二采样密度；根据该立方体投影的投影布局生成基于投影的帧，其中该基于投影的帧包括封装在该投影布局中的该第一重采样投影面；以及编码该基于投影的帧以生成比特流的一部分。2.如权利要求1所述的视频处理方法，其特征在于，该第一投影面和该第一重采样投影面具有相同的形状类型。3.如权利要求1所述的视频处理方法，其特征在于，该多个投影面还包括第二投影面，该视频处理方法还包括：通过非均匀映射对该第二投影面的至少一部分进行重采样，以获得第二重采样投影面，其中，该基于投影的帧还包括封装在该投影布局中的该第二重采样投影面；以及用于重采样该第一投影面的至少一部分的至少一个非均匀映射函数不同于用于重采样该第二投影面的至少一部分的至少一个非均匀映射函数。4.如权利要求1所述的视频处理方法，其特征在于，该非均匀映射包括用于在第一方向上重采样该第一投影面的至少一部分的第一非均匀映射函数，以及用于在不同于该第一方向的第二方向上重采样该第一投影面的至少一部分的第二非均匀映射函数，并且该第二非均匀映射函数与该第一非均匀映射函数不同。5.如权利要求1所述的视频处理方法，其特征在于，该非均匀映射包括用于重采样该第一投影面的至少一部分的非均匀映射函数，并且该非均匀映射函数由以下表示：f(p)＝A*p2+B*p，其中A+B＝1，p表示在所选方向上的该第一投影面内的像素位置，f(p)表示在该所选方向上的该第一重采样投影面内的像素位置。6.如权利要求5所述的视频处理方法，其中A＝-0.385且B＝1.385。7.一种视频处理方法，其特征在于，包括：根据立方图投影从球体的全向内容中获得多个投影面；通过填充电路生成至少一个填充区域；通过封装在该立方体投影的投影布局中的该多个投影面和该至少一个填充区域来生成基于投影的帧，其中，封装在该投影布局中的该多个投影面包括第一投影面；封装在该投影布局中的该至少一个填充区域包括第一填充区域；该第一填充区域至少与该第一投影面连接，并且该第一填充区域形成该投影布局的一个边界的至少一部分；以及编码该基于投影的帧以生成比特流的一部分。8.如权利要求7所述的视频处理方法，其特征在于，封装在该投影布局中的该至少一个填充区域还包括第二填充区域，第三填充区域和第四填充区域，以及该第一填充区域，该第二填充区域，该第三填充区域和该第四填充区域分别形成该投影布局的四个边界。9.如权利要求7所述的视频处理方法，其特征在于，该多个投影面还包括第二投影面；如果该第一投影面的一边与该第二投影面的一边连接，则在该第一投影面的该一边与该第二投影面的该一边之间存在图像内容不连续边界；该至少一个填充区域还包括第二填充区域；该第...

【专利技术属性】
技术研发人员：林建良，王鹏，刘琳，李亚璇，林鸿志，张胜凯，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71