用于处理包括以360度虚拟现实投影布局封装的至少一个投影面和至少一个填充区域的基于投影的帧的方法技术

一种视频处理方法包括以下步骤：接收比特流的一部分；对比特流的该部分进行解码，以生成重构的基于投影的帧，该重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；获得经由比特流用信号传送的色度采样位置信息；以及执行混合处理，以通过将针对至少一个投影面中的第一色度样本位置获得的第一色度样本值与针对至少一个填充区域中的第二色度样本位置获得的第二色度样本值进行混合来生成目标色度样本位置处的混合色度样本值。根据色度采样位置信息确定目标色度样本位置、第一色度样本位置和第二色度样本位置中的至少一个。

【技术实现步骤摘要】
【国外来华专利技术】用于处理包括以360度虚拟现实投影布局封装的至少一个投影面和至少一个填充区域的基于投影的帧的方法交叉申请本申请要求于2019年1月2日提交的第62/787,449号美国临时申请的权益，并且该美国临时申请通过引用并入本文中。
本专利技术涉及处理全向图像(omnidirectionalimage)/视频内容，并且更具体地涉及用于处理基于投影的帧的方法，该基于投影的帧包括以360度虚拟现实(360VR)投影布局封装(pack)的至少一个投影面和至少一个填充(padding)区域。
技术介绍
具有头戴式显示器(head-mounteddisplays，HMD)的虚拟现实(VR)与多种应用相关联。向用户显示宽视野内容的能力可以用于提供沉浸式视觉体验。必须在所有方向上捕获真实世界环境，以产生对应于球面的全向图像/视频内容。随着摄像机装备和HMD的进步，由于表示这种360度图像/视频内容所需要的高比特率，VR内容的传送可能很快变成瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。通常，对应于球面的全向图像/视频内容被变换成图像序列，图像中的各个是基于投影的帧，其具有由布置在360度虚拟现实(360VR)投影布局中的一个或更多个投影面表示的360度图像/视频内容，并然后基于投影的帧的序列被编码成比特流以进行传输。基于投影的帧在布局边界和/或面边缘处可能具有图像内容不连续性。因此，在压缩之后，布局边界和/或面边缘周围的图像质量可能较差。此外，通过重构的基于投影的帧的投影布局转换可能引入伪影，从而导致转换的帧的图像质量劣化。
技术实现思路
所要求保护的专利技术的目的中的一个是提供用于处理基于投影的帧的方法，该基于投影的帧包括以360度虚拟现实(360VR)投影布局封装的至少一个投影面和至少一个填充区域。根据本专利技术的第一方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括以下步骤：接收比特流的一部分；对比特流的该部分进行解码，以生成重构的基于投影的帧，该重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；获得经由比特流用信号传送的色度采样位置信息；以及执行混合处理，以通过将针对在重构的基于投影的帧的所述至少一个投影面中的第一色度样本位置获得的第一色度样本值与针对在重构的基于投影的帧的所述至少一个填充区域中的第二色度样本位置获得的第二色度样本值进行混合来生成目标色度样本位置处的混合色度样本值，其中，根据色度采样位置信息来确定目标色度样本位置、第一色度样本位置和第二色度样本位置中的至少一个。根据本专利技术的第二方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括以下步骤：接收比特流；对比特流的一部分进行解码，以生成第一重构的基于投影的帧，该第一重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；对第一重构的基于投影的帧执行混合处理，该混合处理包括：通过将针对第一重构的基于投影的帧的所述至少一个投影面中的第一像素位置获得的第一像素值与针对第一重构的基于投影的帧的所述至少一个填充区域中的第二像素位置获得的第二像素值进行混合来生成混合像素值；以及对比特流的另一部分进行解码，以生成第二重构的基于投影的帧，其中，混合像素值由生成第二重构的基于投影的帧所涉及的帧间预测使用。根据本专利技术的第三方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括以下步骤：接收比特流；对比特流的一部分进行解码，以生成第一重构的基于投影的帧，该第一重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；对第一重构的基于投影的帧执行混合处理，所述混合处理包括：通过将针对第一重构的基于投影的帧的所述至少一个投影面中的第一像素位置获得的第一像素值与针对第一重构的基于投影的帧的所述至少一个填充区域中的第二像素位置获得的第二像素值进行混合来生成混合像素值；以及对比特流的另一部分进行解码，以生成第二重构的基于投影的帧，其中，第一重构的基于投影的帧用作由帧间预测所使用的参考帧，而混合像素值不被生成第二重构的基于投影的帧所涉及的帧间预测使用。根据本专利技术的第四方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括以下步骤：接收比特流的一部分；对比特流的该部分进行解码，以生成重构的基于投影的帧，该重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；关于目标像素，在重构的基于投影的帧中找到多个对应像素，其中，目标像素和对应像素皆映射到球面上的同一点，对应像素包括第一像素和第二像素，第一像素位于重构的基于投影的帧的所述至少一个投影面内，而第二像素位于重构的基于投影的帧的所述至少一个填充区域内；通过将对应像素的像素值进行混合来生成混合像素值；以及通过混合像素值设置目标像素的像素值。在阅读了以下在多个附图和图片中例示的优选实施方式的详细说明之后，本专利技术的这些和其它目的对于本领域的普通技术人员无疑将变得显而易见。附图说明图1是例示了根据本专利技术的实施方式的第一360度虚拟现实(360VR)系统的图。图2是例示了从球面的立方体贴图(cubemap)投影获得的立方体贴图投影布局的六个正方形投影面的图。图3是例示了根据本专利技术的实施方式的具有边缘填充的立方体贴图投影布局的图。图4是例示了根据本专利技术的实施方式的具有边界填充和边缘填充的立方体贴图投影布局的图。图5是例示了根据本专利技术的实施方式的具有边界填充和边缘填充的另一立方体贴图投影布局的图。图6是例示了从投影面中的像素到填充区域中的其对应填充像素的映射的示例的图。图7是例示了从填充区域中的填充像素到投影面中的其对应像素的映射的示例的图。图8是例示了根据本专利技术的实施方式的具有环内混合的视频解码电路的图。图9是例示了根据本专利技术的实施方式的具有环外混合的视频解码电路的图。图10是例示了根据本专利技术的实施方式的第二360VR系统的图。图11是例示了混合同一源帧中的多个对应像素以得到目标像素的示例的图。图12是例示了根据本专利技术的实施方式的第三360VR系统的图。图13是例示了4：2：0色度格式和四种色度样本位置类型的图。图14是例示了从投影面中的色度样本映像到填充区域中的其对应色度样本的示例的图。图15是例示了从填充区域中的色度样本映像到投影面中的其对应色度样本的示例的图。图16是例示了混合同一源帧中的多个对应色度样本以得到渲染处理或投影格式转换处理所需要的目标色度样本的示例的图。图17是例示了通过色度格式转换处理中的色度采样位置来设置混合处理中的色度采样位置的示例的图。图18是例示了通过投影格式转换处理中的色度采样位置来设置混合处理中的色度采样位置的示例的图。具体实施方式在以下描本文档来自技高网...

【技术保护点】
1.一种视频处理方法，所述视频处理方法包括以下步骤：/n接收比特流的一部分；/n对所述比特流的所述部分进行解码，以生成重构的基于投影的帧，所述重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；/n获得经由所述比特流用信号传送的色度采样位置信息；以及/n由混合电路执行混合处理，以通过将针对在所述重构的基于投影的帧的所述至少一个投影面中的第一色度样本位置获得的第一色度样本值与针对在所述重构的基于投影的帧的所述至少一个填充区域中的第二色度样本位置获得的第二色度样本值进行混合来生成目标色度样本位置处的混合色度样本值，其中，根据所述色度采样位置信息确定所述目标色度样本位置、所述第一色度样本位置和所述第二色度样本位置中的至少一个。/n

【技术特征摘要】
【国外来华专利技术】20190102 US 62/787,449;20191230 US 16/729,5141.一种视频处理方法，所述视频处理方法包括以下步骤：
接收比特流的一部分；
对所述比特流的所述部分进行解码，以生成重构的基于投影的帧，所述重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；
获得经由所述比特流用信号传送的色度采样位置信息；以及
由混合电路执行混合处理，以通过将针对在所述重构的基于投影的帧的所述至少一个投影面中的第一色度样本位置获得的第一色度样本值与针对在所述重构的基于投影的帧的所述至少一个填充区域中的第二色度样本位置获得的第二色度样本值进行混合来生成目标色度样本位置处的混合色度样本值，其中，根据所述色度采样位置信息确定所述目标色度样本位置、所述第一色度样本位置和所述第二色度样本位置中的至少一个。


2.根据权利要求1所述的视频处理方法，其特征在于，经由所述比特流用信号传送并且所述混合处理所参考的所述色度采样位置信息是所述混合处理的标志。


3.根据权利要求1所述的视频处理方法，其特征在于，经由所述比特流用信号传送并且所述混合处理所参考的所述色度采样位置信息是色度格式转换处理的标志。


4.根据权利要求1所述的视频处理方法，其特征在于，经由所述比特流用信号传送并且所述混合处理所参考的所述色度采样位置信息是投影格式转换处理的标志。


5.根据权利要求1所述的视频处理方法，其特征在于，所述目标色度样本位置与所述第一色度样本位置相同，并且所述混合处理通过所述混合色度样本值来更新所述第一色度样本值。


6.根据权利要求1所述的视频处理方法，其特征在于，所述目标色度样本位置与所述第二色度样本位置相同，并且所述混合处理通过所述混合色度样本值来更新所述第二色度样本值。


7.根据权利要求1所述的视频处理方法，其特征在于，所述目标色度样本位置与所述第一色度样本位置和所述第二色度样本位置不同。


8.一种视频处理方法，所述视频处理方法包括以下步骤：
接收比特流；
对所述比特流的一部分进行解码，以生成第一重构的基于投影的帧，所述第一重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个...

【专利技术属性】
技术研发人员：施正轩，李亚璇，林建良，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71