不同的映射函数应用于不同的正方形投影面，不同的轴和/或轴的不同位置的基于立方体的投影方法技术

基于立方体的投影方法包括生成与球体的360度图像内容的基于立方体的投影相关联的不同方形投影面的像素。第一正方形投影面的像素通过利用第一映射函数集合生成。第二正方形投影面的像素通过利用第二映射函数集合生成。不同的方形投影面包括第一正方形投影面和第二正方形投影面。第二映射函数集合与第一映射函数集合不同。

【技术实现步骤摘要】
【国外来华专利技术】不同的映射函数应用于不同的正方形投影面，不同的轴和/或轴的不同位置的基于立方体的投影方法相关引用本专利技术主张2018年3月2日提出的第62/637,425号美国临时专利申请，以及2019年2月26日提出的第16/285,215号美国专利申请的优先权，上述申请案以引用的方式并入本文。
本专利技术涉及处理全向视频帧，且更具体而言，涉及基于立方体的投影方法，将不同的映射函数应用于不同方形投影面，不同轴和/或轴的不同位置。
技术介绍
具有头戴式显示器(Head-mounteddisplay,简称HMD)的虚拟现实(virtualreality,简称VR)与各种应用相关联。向用户显示宽视野内容的能力可用于提供沉浸式视觉体验。真实世界环境必须在所有方向上捕获，从而产生对应于球体的全向视频。随着摄像机装备和HMD的进步，由于表示这种360度图像内容所需的高比特率，VR内容的传送可能很快成为瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。通常，对应于球体的全向视频被变换为基于投影的帧，其具有由以360度虚拟现实(360VR)投影布局打包的投影面所表示的360度图像内容，然后基于投影的帧被编码成比特流以进行传输。然而，如果球体和投影面之间的映射/投影未被正确设计，则由于采样率不均匀，编码/解码质量可能会降低。
技术实现思路
本专利技术的目的之一是提供一种基于立方体的投影方法，其将不同的映射函数应用于不同方形投影面，不同轴和/或轴的不同位置。例如，更均匀的采样率可通过所提出的映射函数实现。根据本专利技术的第一方面，公开了一种示例性的基于立方体的投影方法。该示例性基于立方体的投影方法包括：通过转换电路生成与球体的360度图像内容的基于立方体的投影相关联的不同正方形投影面的像素。第一正方形投影面的像素通过利用第一映射函数集合生成。第二正方形投影面的像素通过利用第二映射函数集合生成。不同的方形投影面包括第一正方形投影面和第二正方形投影面。第二映射函数集合与第一映射函数集合不同。根据本专利技术的第二方面，公开了一种示例性的基于立方体的投影方法。该示例性基于立方体的投影方法包括：通过转换电路生成与球体的360度图像内容的基于立方体的投影相关联的不同正方形投影面的像素。不同正方形投影面之一的像素通过利用包括分别应用于不同轴的不同映射函数的映射函数集合来生成。根据本专利技术的第三方面，公开了一种示例性的基于立方体的投影方法。该示例性基于立方体的投影方法包括：通过转换电路生成与球体的360度图像内容的基于立方体的投影相关联的不同正方形投影面的像素。不同正方形投影面之一的像素通过利用包括应用于相同轴的不同映射函数的映射函数集合生成。不同的映射函数包括第一映射函数和第二映射函数。不同的正方形投影面之一具有根据相同轴上的第一位置和第一映射函数设置的第一像素，并且具有根据相同轴上的第二位置和第二映射函数设置的第二像素，其中第二位置与第一位置不同。在结合下面附图阅读本专利技术的推荐实施例的以下详细描述之后，本专利技术之内容无疑将对本领域技术人员变得显而易见。附图说明结合在本说明书中并构成本说明书一部分的附图示出了本专利技术的实施例，并且与说明书一起用于解释本专利技术的原理：图1示出根据本专利技术的实施例360度虚拟现实系统的示意图；图2示出根据本专利技术的实施例基于立方体投影的示意图；图3示出根据本专利技术的实施例在3D空间中的立方体的正方形投影面与2D平面上的正方形投影面之间的映射的示意图；图4示出根据3D空间中的立方体的正方形投影面使用不同映射函数以在2D平面上设置方形投影面的示例的图；图5示出根据2D平面上的方形投影面的像素使用不同的映射函数以在3D空间中设置立方体的正方形投影面的像素的示例的图；图6示出根据本专利技术的实施例用于从2D平面到3D空间的逆变换使用的混合等角立方体贴图投影的示意图；图7示出根据本专利技术的实施例用于从3D空间到2D平面的前向变换使用的混合等角立方体贴图投影的示意图。图8示出根据本专利技术的实施例应用于相同轴的不同映射函数的示意图。图9示出根据本专利技术的实施例映射函数集合的组合的示意图。具体实施方式贯穿以下描述和权利要求使用的特定术语，其涉及特定组件。如本领域技术人员将理解的，电子设备制造商可通过不同的名称来指涉同一组件。本文文件无意区别名称不同但功能相同的组件。在以下描述和权利要求中，术语“包括”和“包含”以开放式的方式使用，因此应该被解释为表示“包括但不限于......”。而且，术语“耦合”旨在表示间接或直接电子连接。因此，如果一个装置耦合到另一个装置，则该连接可以通过直接电子连接，或通过经由其他装置和连接的间接电子连接。图1是示出根据本专利技术的实施例360度虚拟现实(360-degreeVirtualReality，简称360VR)系统的示意图。360VR系统100包括源电子装置102和目的地电子装置104。源电子设备102包括视频捕获设备112，转换电路114和视频编码器116。例如，视频捕获设备112可以是全向摄影机。转换电路114根据对应于球体的全向视频帧S_IN生成具有360VR投影布局L_VR的基于投影的帧IMG，其中全向视频帧S_IN包含球体的360度图像内容。视频编码器116是编码电路，其对基于投影的帧IMG(其具有打包在360VR投影布局L_VR中的投影面)进行编码以生成比特流BS的一部分，并通过诸如有线/无线通信链路或存储介质的传输装置103将比特流BS输出到目的地电子装置104。目的地电子装置104可以是头戴式显示器(head-mounteddisplay,简称HMD)设备。如图1所示，目的地电子装置104包括视频解码器122，图形渲染电路124和显示设备126。视频解码器122是从发送装置103(例如，有线/无线通信链路或存储介质)接收比特流BS的解码电路，并对接收的比特流BS的一部分进行解码以生成解码帧IMG'。在该实施例中，由视频编码器116编码的帧IMG具有360VR投影布局L_VR。因此，在视频解码器122对比特流BS的一部分进行解码之后，解码帧(即，重构帧)IMG'具有相同的360VR投影布局L_VR。换句话说，解码帧IMG'也是基于投影的帧，其具有打包在360VR投影布局L_VR中的投影面。图形渲染电路124被布置为驱动显示设备126以显示由用户选择的视端口区域的图像内容。图形渲染电路124包括转换电路125，其被布置为处理由解码帧IMG'承载的360度图像内容的一部分，以获得与视端口区域的图像内容相关联的像素数据。在该实施例中，360VR投影布局L_VR是基于立方体的投影布局。因此，从立方体的不同面导出的六个正方形投影面被打包在基于投影的帧IMG/解码帧IMG'所采用的基于立方体的投影布局中。关于源电子装置102的转换电路114，基于立方体的投影被用来在三维(three-dimensional,简称3D)空间中生成立方体的正方形投本文档来自技高网...

【技术保护点】
1.一种基于立方体投影的方法，包括：/n通过转换电路产生与球体的360度图像内容的基于立方体投影有关联的不同正方形投影面的像素，包括：/n通过使用第一映射函数集合产生第一正方形投影面的像素；/n通过使用第二映射函数集合产生第二正方形投影面的像素，其中该不同正方形投影面包括该第一正方形投影面和该第二正方形投影面，以及该第二映射函数集合不同于该第一映射函数集合。/n

【技术特征摘要】
【国外来华专利技术】20180302 US 62/637,425;20190226 US 16/285,2151.一种基于立方体投影的方法，包括：
通过转换电路产生与球体的360度图像内容的基于立方体投影有关联的不同正方形投影面的像素，包括：
通过使用第一映射函数集合产生第一正方形投影面的像素；
通过使用第二映射函数集合产生第二正方形投影面的像素，其中该不同正方形投影面包括该第一正方形投影面和该第二正方形投影面，以及该第二映射函数集合不同于该第一映射函数集合。


2.如权利要求1所述的基于立方体投影的方法，其特征在于，进一步包括：
通过将该基于立方体投影应用于该球体的该360度图像内容产生在三维空间中的立方体的多个正方形投影面；
其中，产生该第一正方形投影面的像素包括：
根据在该三维空间中的该立方体的正方形投影面的像素以及该第一映射函数集合设置在二维平面中的该第一正方形投影面的该像素；以及
其中，产生该第二正方形投影面的像素包括：
根据在该三维空间中的该立方体的另一正方形投影面的像素以及该第二映射函数集合设置在该二维平面中的该第二正方形投影面的该像素。


3.如权利要求2所述的基于立方体投影的方法，其特征在于，该第一映射函数集合包括是等角映射函数的映射函数，以及该第二映射函数集合包括不是等角映射函数的映射函数。


4.如权利要求3所述的基于立方体投影的方法，其特征在于，该三维空间中的该立方体的该多个正方形投影面包括顶面、底面、左面、正面、右面和背面，其中该球体的北极区域的图像内容被投影到该顶面，该球体的南极区域的图像内容被投影到该底面，以及该球体的赤道区域的图像内容被投影到该左面、该正面、该右面和该背面；以及该三维空间中的该立方体的该正方形投影面是该顶面和该底面其中之一。


5.如权利要求3所述的基于立方体投影的方法，其特征在于，该三维空间中的该立方体的该多个正方形投影面包括顶面、底面、左面、，正面、右面和背面，其中该球体的北极区域的图像内容被投影到该顶面，该球体的南极区域的图像内容被投影到该底面，并且该球体的赤道区域的图像内容被投影到该左面、该正面、该右面和该背面；以及该三维空间中的该立方体的该另一正方形投影面是该左面、该正面、该右面和该背面其中之一。


6.如权利要求3所述的基于立方体投影的方法，其特征在于，该第一映射函数集合包括：

和以及
该第二映射函数集合包括：

和


7.如权利要求1所述的基于立方体投影的方法，其特征在于，进一步包括：
对比特流的一部分进行解码以获得具有在二维平面上以立方体贴图投影布局打包的多个正方形投影面的基于投影的帧；
其中通过该球体的该基于立方体投影，将该球体的该360度图像内容投影在三维空间中的立方体的不同正方形投影面上；
其中产生该第一正方形投影面的像素包括：
根据在该二维平面上打包在该基于投影的帧的正方形投影面的像素设置在该三维空间中的该立方体的该第一正方形投影面的像素；以及
其中产生该第二正方形投影面的像素包括：
根据在该二维平面上打包在该基于投影的帧的另一正方形投影面的像素设置在该三维空间中的该立方体的该第二正方形投影面的像素。


8.如权利要求7所述的基于立方体投影的方法，其特征在于，该第一映射函数集合包括等角...

【专利技术属性】
技术研发人员：李亚璇，林建良，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71