使用半球立方体贴图投影布局将基于投影的帧中的样本位置重新映射到球体上的位置的视频处理方法和相关的视频处理装置制造方法及图纸

一种视频处理方法，包括：对比特流的一部分进行解码以生成解码帧，其中，解码帧是基于投影的帧，其包括半球立方体贴图投影布局中的投影面；将基于投影的帧的样本位置重新映像到球体上的位置，其中基于投影的帧内的样本位置被转换为被打包在基于投影的帧中的投影面内的局部样本位置；针对调整准则被满足时，通过将调整应用于投影面内的局部样本位置的坐标值来生成投影面内的调整后的局部样本位置，以及投影面内的调整后的局部样本位置被重新映像到球体上的位置；以及针对调整准则不被满足时，投影面内的局部样本位置被重新映像到球体上的位置。上的位置。上的位置。

【技术实现步骤摘要】
【国外来华专利技术】使用半球立方体贴图投影布局将基于投影的帧中的样本位置重新映射到球体上的位置的视频处理方法和相关的视频处理装置
[0001]相关交叉引用
[0002]本申请要求以下申请的优先权：2020年6月10日提交的，申请号为63/037,063的美国临时申请，2020年8月31日提交的，申请号为63/072,278的美国临时申请，以及2021年1月7日提交的，申请号为17/143,164的美国申请。包括美国临时申请63/037,063，美国临时申请63/072,278和美国申请17/143,164在内的相关申请的全部内容通过引用并入本文。


[0003]本专利技术涉及视频处理，更具体地，涉及用于将具有半球立方体贴图投影布局的基于投影的帧中的样本位置重新映射到球体上的位置的视频处理方法以及相关的视频处理装置。

技术介绍

[0004]具有头戴式显示器(head
‑
mounted display，简称HMD)的虚拟现实(virtual reality，简称VR)与多种应用相关联。向用户显示宽视场内容的能力可用于提供身临其境的视觉体验。必须从各个方向捕获真实世界环境，从而产生对应于视野范围的全向视频。随着摄像机设备和HMD的进步，由于表示这种360度内容所需的高比特率，VR内容的传送可能很快就会成为瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。
[0005]一般而言，球体对应的全向视频被转换为具有360度图像内容的帧，具有360度图像内容的帧以360度虚拟现实(360VR)投影布局排列的一个或多个投影面表示，然后生成的帧被编码成比特流进行传输。从编码器侧生成的比特流由解码器侧接收和解码。此外，所采用的360VR投影布局的配置也可以从编码器侧发送到解码器侧。需要一种创新设计，使解码器端渲染过程和后处理(post
‑
processsing)过程能够使用发送的帧布局信息以用于将二维(two
‑
dimensional，简称2D)平面上基于投影的帧中的样本位置正确地重新映射到三维(three
‑
diemnsional，简称3D)空间中球体上的位置。

技术实现思路

[0006]要求保护的专利技术的一个目的是提供一种视频处理方法以及相关的视频处理设备，该视频处理方法以及相关的视频处理设备用于将具有半球立方体贴图投影布局的基于投影的帧中的样本位置重新映射到球体上的位置。
[0007]根据本专利技术的第一方面，一种示例性视频处理方法被公开。示例性视频处理方法包括：对比特流的一部分进行解码以生成解码帧，其中解码帧是基于投影的帧，其包括半球立方体贴图投影布局中的多个投影面，以及球体的360度内容的一部分通过半球立方体贴图投影映射到多个投影面；以及通过转换电路将基于投影的帧在二维(2D)平面上的样本位
置重新映射到球面上在三维(3D)空间中的位置，其中基于投影的帧内的样本位置被转换为在基于投影的帧中打包的投影面内的局部样本位置；投影面内的局部样本位置包括第一轴上的第一坐标值和第二轴上的第二坐标值；针对调整准则被满足时，通过对投影面内的局部样本位置的第一坐标值和第二坐标值之一进行调整，投影面内的局部调整后的样本位置被生成，以及投影面内的调整后的局部样本位置被重新映像到球体上的位置；以及针对调整准则不被满足时，投影面内的局部样本位置被重新映射到球体上的位置。
[0008]根据本专利技术的第二方面，一种示例性视频处理装置被公开。示例性视频处理装置包括解码电路和转换电路。解码电路用于对比特流的一部分进行解码以生成解码帧，其中解码帧是基于投影的帧，其包括半球立方体贴图投影布局中的多个投影面，以及球体的360度内容的一部分通过半球立方体贴图投影映射到多个投影面。转换电路被布置为将二维(2D)平面上的基于投影的帧的样本位置重新映射到三维(3D)空间中的球体上的位置。转换电路将基于投影的帧内的样本位置转换为打包在基于投影的帧中的投影面内的局部样本位置，其中投影面内的局部样本位置包括第一轴上的第一坐标值和第二轴上的第二坐标值。转换电路检查调整准则是否被满足。针对调整准则被满足时，转换电路通过将调整应用于投影面内的局部样本位置的第一坐标值和第二坐标值之一来生成投影面内的调整后的局部样本位置，以及将投影面内调整后的局部样本位置重新映像到球体上的位置。针对调整准则不被满足时，转换电路将投影面内的局部样本位置重新映像到球体上的位置。
[0009]在阅读了在各种附图和附图中示出的优选实施例的以下详细描述之后，本专利技术的这些和其他目的无疑将对于本领域普通技术人员变得显而易见。
附图说明
[0010]图1示出根据本专利技术实施例的360度虚拟现实(360VR)系统的图。
[0011]图2示出根据本专利技术实施例的立方体贴图投影(CMP)的图。
[0012]图3示出根据本专利技术实施例的半球立方体贴图投影的图。
[0013]图4
‑
6示出根据本专利技术实施例的两个语法元素gcmp_packing_type和gcmp_guard_band_boundary_exterior_flag的组合的一种规范的图。
[0014]图7示出根据本专利技术实施例的基于立方体的投影重映射方法的流程图。
[0015]图8示出根据本专利技术实施例的坐标定义的图。
[0016]图9示出在正面被选择为全面的情况下四个半面被选择用于半球CMP布局的图。
[0017]图10示出在背面被选为全面的情况下四个半面被选择用于半球CMP布局的图。
[0018]图11示出在左面被选为全面的情况下四个半面被选择用于半球CMP布局的图。
[0019]图12示出在右面被选为全面的情况下四个半面被选择用于半球CMP布局的图。
[0020]图13示出在顶面被选为全面的情况下四个半面被选择用于半球CMP布局的图。
[0021]图14示出在底面被选为全面的情况下四个半面被选择用于半球CMP布局的图。
[0022]图15示出在一个半球CMP布局(gcmp_packing_type＝＝4)中的半面内的样本位置分布的图，该样本位置从步骤704计算和输出。
[0023]图16示出在另一个半球CMP布局(gcmp_packing_type＝＝5)中的半面内的样本位置分布的图，该样本位置从步骤704计算和输出。
具体实施方式
[0024]特定术语在以下描述和权利要求中使用，它们指代特定元件。如本领域技术人员将理解的，电子设备制造商可以用不同的名称来指代一个元件。本文档无意区分名称不同但功能相同的元件。在以下描述和权利要求中，术语“包括”和“包含”以开放式方式使用，因此应解释为意味着“包括但不限于
……”
。此外，术语“耦合”旨在表示间接或直接电连接。因此，如果一个设备耦合到另一个设备，则该连接可以是通过直接电连接，或通过经由其他设备和连接的间接电连接。
[0025]图1示出根据本专利技术实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频处理方法，包括：解码比特流的一部分以生成解码帧，其中解码帧是基于投影的帧，所述基于投影的帧包括半球立方体贴图投影布局中的多个投影面，以及球体的360度内容的一部分通过半球立方体贴图投影被映射到所述多个投影面；以及通过转换电路，将二维平面上所述基于投影的帧的多个采样位置重新映射到三维空间中所述球体上的多个位置，包括：将所述基于投影的帧内的样本位置转换为被打包在所述基于投影的帧中的投影面内的局部样本位置，其中所述投影面内的所述局部样本位置包括第一轴上的第一坐标值和第二轴上的第二坐标值；检查调整准则是否被满足；针对所述调整准则被满足时，通过将调整应用于所述投影面内的所述局部样本位置的第一坐标值和第二坐标值之一来生成所述投影面内的调整后的局部样本位置，以及将所述投影面内的所述调整后的局部样本位置重新映像到所述球体上的位置；以及针对所述调整准则不被满足时，将所述投影面内的所述局部样本位置重新映像到所述球体上的位置。2.如权利要求1所述的视频处理方法，其特征在于，具有旋转角度的面旋转涉及将所述基于投影的帧内的所述样本位置转换为被打包在所述基于投影的帧中的所述投影面内的所述局部样本位置。3.如权利要求1所述的视频处理方法，其特征在于，所述第一轴为所述投影面的宽度方向，所述投影面为立方体的一半中的半面，检查所述调整准则是否被满足包括：检查所述投影面是否来自所述立方体的正方形面的左半部分；以及检查所述投影面内的所述局部样本位置的所述第一坐标值是否不小于所述立方体的所述一半中的全面的面宽的一半。4.如权利要求3所述的视频处理方法，其特征在于，生成所述投影面内所述调整后的局部样本位置的步骤包括：从所述第一坐标值中减去偏移值，其中所述偏移值等于所述全面的所述面宽的一半。5.如权利要求1所述的视频处理方法，其特征在于，所述第一轴为所述投影面的宽度方向，所述投影面为立方体的一半中的半面，检查所述调整准则是否被满足包括：检查所述投影面是否来自所述立方体的正方形面的右半部分；以及检查所述投影面内的所述局部样本位置的所述第一坐标值是否小于所述立方体的所述一半中的全面的面宽的一半。6.如权利要求5所述的视频处理方法，其特征在于，生成所述投影面内的所述调整后的局部样本位置的步骤包括：在所述第一坐标值上加上偏移值，其中所述偏移值等于所述全面的所述面宽的一半。7.如权利要求1所述的视频处理方法，其特征在于，所述第二轴为所述投影面的高度方向，所述投影面为立方体的一半中的半面，检查所述调整准则是否被满足包括：检查所述投影面是否来自所述立方体的正方形面的上半部分；以及检查所述投影面内的所述局部样本位置的所述第二坐标值是否不小于所述立方体的所述一半中的全面的面高的一半。
8.如权利要求7所述的视频处理方法，其特征在于，生成所述投影面内所述调整后的局部样本位置的步骤包括：从所述第二坐标值中减去偏移值，其中所述偏移值等于所述全面的所述面高的一半。9.如权利要求1所述的视频处理方法，其特征在于，所述第二轴为所述投影面的高度方向，所述投影面为立方体的一半中的半面，检查所述调整准则是否被满足包括：检查所述投影面是否是所述立方体的正方形面的下半部分；以及检查所述投影面内的所述局部样本位置的所述第二坐标值是否小于所述立方体的所述一半中的全面的面高的一半。10.如权利要求9所述的视频处理方法，其特征在于，生成所述投影面内的所述调整后的局部样本位置的步骤包括：在所述第二坐标值上加上偏移值，其中所述偏移值等于所述全面的所述面高的一半。11.一种视频处理装置，包括：解码电路，用于解码比特流的一部分以生成解码帧，其中所述解码帧是基于投影的帧，所...

【专利技术属性】
技术研发人员：李亚璇，林建良，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：