用于生成且编码具有由包装在金字塔投影布局内的基底投影面与侧向投影面来表现的360度内容的基于投影的帧的方法及设备技术

一种视频处理方法，其包括接收对应于球体的全向内容，根据该全向内容和金字塔投影布局生成基于投影的帧，以及透过视频编码器编码该基于投影的帧以便生成比特位流的一部分。该基于投影的帧具有由包装在该金字塔投影布内局的基底投影面和多个侧向投影面表现的360度内容。该基底投影面和该侧向投影面至少根据在金字塔和该球体之间的投影关系而获得。

【技术实现步骤摘要】
【国外来华专利技术】用于生成且编码具有由包装在金字塔投影布局内的基底投影面与侧向投影面来表现的360度内容的基于投影的帧的方法及设备【交叉引用】本申请要求申请日为2017年1月3日，美国临时申请号为62/441,607的美国临时申请案和申请日为2017年8月15日，美国临时申请号为62/545,596的专利申请案的优先权，上述临时申请案的内容一并并入本申请。
本专利技术涉及对全向内容的处理(例如，图像内容或视频内容)，并且更具体地涉及一种用于生成且编码具有360度内容(例如，360度图像内容或360度视频内容)的基于投影的帧(projection-basedframe)的方法及设备，该360度内容由包装(packed)在金字塔投影布局(例如，紧凑的基于视口的金字塔投影布局(compactviewport-basedpyramidprojectionlayout))内的基底投影面和多个侧向投影面来表现。
技术介绍
具有头盔式显示器(HMD)的虚拟现实(VR)与多种应用相关联。向用户展示查看内容的宽视场的能力可用来提供沉浸式视觉体验。现实世界环境必须在导致对应于球体的全向图像/视频内容的所有方向上进行捕捉。随着相机装置和HMD的发展，VR内容的传送会很快成为瓶颈，这是由于用来表现这种360度图像/视频内容所需的高比特位速率的缘故。当该全向视频的分辨率是4K或更高时，数据压缩/编码对比特位速率减少来说是关键的。
技术实现思路
所要求保护的专利技术的其中一个目的在于提供一种用于生成且编码具有360度内容(例如，360度图像内容或360度视频内容)的基于投影的帧的方法及设备，该360度内容由包装在金字塔投影布局(例如，紧凑的基于视口(viewport)的金字塔投影布局)内的基底投影面和多个侧向投影面来表现。透过该金字塔投影布局的适当设计，该基于投影的帧可具有紧凑的形式，并且/或者用户的视口的图像内容(即，视口区域)可被保持在主投影面(例如，基底投影面)内。根据本专利技术的第一方面，揭露了一种示范性的视频处理方法。该示范性的视频处理方法包括：接收对应于球体(sphere)的全向内容；根据该全向内容和金字塔投影布局生成基于投影的帧，其中该基于投影的帧具有360度内容，该360度内容由包装在该金字塔投影布局内的基底投影面和多个侧向投影面来表现，并且至少根据在金字塔和该球体之间的投影关系获得该基底投影面和该侧向投影面；并且透过视频编码器编码该基于投影的帧以便生成比特位流的一部分。根据本专利技术的第二方面，揭露了一种示范性的视频处理设备。该示范性的视频处理设备包括转换电路和视频编码器。该转换电路布置成接收对应于球体的全向内容，并且根据该全向内容和金字塔投影布局生成基于投影的帧，其中该基于投影的帧具有360度内容，该360度内容由包装在该金字塔投影布局内的基底投影面和多个侧向投影面来表现，并且至少根据在金字塔和该球体之间的投影关系获得该基底投影面和该侧向投影面。该视频编码器布置成编码该基于投影的帧以便生成比特位流的一部分。在阅读了在各种图表和图形中所图示的优选实施例的下述详细说明书之后，本专利技术的这些和其他目的对本领域普通技术人员来说无疑将变得明显。【附图说明】图1是图示了根据本专利技术的实施例的360度虚拟现实(360VR)系统的简图。图2是图示了根据本专利技术的实施例的第一金字塔投影类型的简图。图3是图2中所示的金字塔和球体的侧视图。图4是图示了根据本专利技术的实施例的从球体的金字塔投影获得的金字塔投影布局的投影面的简图。图5是图示了根据本专利技术的实施例的第二金字塔投影类型的简图。图6是图5中所示的金字塔和球体的侧视图。图7是图示了根据本专利技术的实施例的第三金字塔投影类型的简图。图8是图7中所示的金字塔和球体的侧视图。图9是图示了根据本专利技术的实施例的第四金字塔投影类型的简图。图10是图9中所示的金字塔和球体的侧视图。图11是图示了根据本专利技术的实施例的第一提议性基于视口的金字塔投影布局的简图。图12是图示了根据本专利技术的实施例的第二提议性基于视口的金字塔投影布局的简图。图13是图示了根据本专利技术的实施例的第三提议性基于视口的金字塔投影布局的简图。图14是图示了透过均匀映射来重新取样三角形投影面的例子的简图。图15是图示了根据本专利技术的实施例的均匀映射函数的曲线的简图。图16是图示了透过非均匀映射来重新取样三角形投影面的例子的简图。图17是图示了根据本专利技术的实施例的非均匀映射函数的曲线的简图。图18是图示了根据本专利技术的实施例的第五金字塔投影类型的简图。图19是图示了根据本专利技术的实施例的第六金字塔投影类型的简图。图20是图示了根据本专利技术的实施例的第七金字塔投影类型的简图。【具体实施方式】贯穿下述的说明书和权利要求书而使用了某些术语，其涉及特定的元件。如本领域技术人员将理解的那样，电子装备制造商可能透过不同的名称提及元件。本说明书并不打算在那些名称不同但不是在功能上不同的元件之间进行区分。在下述的说明书中并且在权利要求书中，术语"包含"和"包括"以开放的方式进行使用，并且因此应被解释成意味着“包括，但不限于……”。同样，术语"结合"旨在意味着或者间接的或者直接的电连接。因此，如果一个装置结合至另一装置，则此连接可透过直接的电连接，或者透过藉由其他装置和连接的间接的电连接。图1是图示了根据本专利技术的实施例的360度虚拟现实(360VR)系统的简图。该360VR系统100包括两个视频处理设备(例如，源电子装置102和目标电子装置104)。该源电子装置102包括视频捕获装置112、转换电路114和视频编码器116。例如，该视频捕获装置112可为用以提供对应于球体的全向图像/视频内容(例如，覆盖全部环境的多种图像)S_IN的一组摄像机。该转换电路114结合在该视频捕获装置112和该视频编码器116之间。该转换电路114根据该全向图像/视频内容S_IN生成具有360度虚拟现实(360VR)投影布局的基于投影的帧IMG。例如，该基于投影的帧IMG可为包含在由该转换电路114生成的一系列的基于投影的帧内的一个帧。该视频编码器116是编码电路，其用以编码/压缩该基于投影的帧IMG以便生成比特位流BS的一部分，并且藉由传送元件103将该比特位流BS输出至该目标电子装置104。例如，该一系列的基于投影的帧可被编码成该比特位流BS，并且该传送元件103可为有线/无线通讯链路或存储介质。该目标电子装置104可为头盔式显示器(HMD)装置。如图1中所示，该目标电子装置104包括视频解码器122、图形渲染电路124和显示萤幕126。该视频解码器122是解码电路，其用以接收来自该传送元件103(例如，有线/无线通讯链路或存储介质)的比特位流BS，并且将所接收的比特位流BS解码而生成经解码的帧IMG’。例如，该视频解码器122透过解码所接收的比特位流BS而生成一系列的经解码的帧，其中该经解码的帧IMG’是被包括在该一系列的经解码的帧内的的一个帧。在这一实施例中，待由该视频编码器116编码的该基于投影的帧IMG包括具有投影布局的360VR投影格式。因此，在该比特位流BS由该视频解码器122解码之后，该经解码的帧IMG’具有相同的360VR投影格式和相同的投影布局。该图形渲染电路124被结合在该视频解本文档来自技高网...

【技术保护点】
1.一种视频处理方法，包括：接收对应于球体的全向内容；根据该全向内容和金字塔投影布局生成基于投影的帧，其中该基于投影的帧具有由包装在该金字塔投影布局内的基底投影面和多个侧向投影面表现的360度内容，并且该基底投影面和该侧向投影面至少根据在金字塔和该球体之间的投影关系来获得；以及透过视频编码器编码该基于投影的帧，以便生成比特位流的一部分。

【技术特征摘要】
【国外来华专利技术】2017.01.03 US 62/441,607;2017.08.15 US 62/545,5961.一种视频处理方法，包括：接收对应于球体的全向内容；根据该全向内容和金字塔投影布局生成基于投影的帧，其中该基于投影的帧具有由包装在该金字塔投影布局内的基底投影面和多个侧向投影面表现的360度内容，并且该基底投影面和该侧向投影面至少根据在金字塔和该球体之间的投影关系来获得；以及透过视频编码器编码该基于投影的帧，以便生成比特位流的一部分。2.根据权利要求1所述的视频处理方法，其特征在于，该球体全部位于该金字塔内部。3.根据权利要求2所述的视频处理方法，其特征在于，该球体是该金字塔的内切球体。4.根据权利要求1所述的视频处理方法，其特征在于，该金字塔全部位于该球体内部。5.根据权利要求4所述的视频处理方法，其特征在于，该球体是该金字塔的外接球体。6.根据权利要求4所述的视频处理方法，其特征在于，该球体接触该金字塔的全部顶点，除了该金字塔的尖端。7.根据权利要求6所述的视频处理方法，其特征在于，该金字塔的在该金字塔的尖端和该金字塔的基底之间的高度等于或小于该基底的边长。8.根据权利要求1所述的视频处理方法，其特征在于，根据该全向内容和该金字塔投影布局生成该基于投影的帧包括：将该球体的全向内容映射到该金字塔的基底和多个侧向面上，以便分别生成第一投影面和多个第二投影面；从该第一投影面衍生出该基底投影面；以及从该第二投影面分别衍生出该侧向投影面，其中各个侧向投影面透过对相应的第二投影面在其高度方向上进行重新取样而衍生出来。9.根据权利要求8所述的视频处理方法，其特征在于，对相应的第二投影面进行重新取样包括：透过非均匀映射对相应的第二投影面进行重新取样，其中该相应的第二投影面具有第一源区域和第二源区域，所述的各个侧向投影面具有第一经重新取样的区域和第二经重新取样的区域，该第一经重新取样的区域透过用第一取样密度对该第一源区域进行重新取样而衍生出来，并且该第二经重新取样的区域透过用不同于该第一取样密度的第二取样密度对该第二源区域进行重新取样而衍生出来。10.根据权利要求9所述的视频处理方法，其特征在于，该第一投影面对应于用户的视口，该第一源区域更靠近该用户的视口的中心，并且该第一取样密度高于该第二取样密度。11.根据权利要求1所述的视频处理方法，其特征在于，根据该全向内容和该金字塔投影布局生成该基于投影的帧包括：根据在该金字塔和该球体之间的投影关系将该球体的全向内容分区成第一局部区域和多个第二局部区域；将该第一局部区域直接转换成该基底投影面；以及将该第二局部区域分别直接转换成该侧向投影面。12.根据权利要求11所述的视频处理方法，其特征在于，各个第二局部区域直接转换成该侧向投影面的中的一个，所述的各个第二局部区域具有第一源区域和第二源区域，该侧向投影面中的所述的一个具有第一重取样区域和第二重取样区域，该第一重取样区域透过用第一取样密度对该第一源区域进行转换而衍生出来，并且该第二重取样区域透过用不同于该第一取样密度的第二取样密度对该第二源区域进行转换而衍生出来。13.根据权利要求12所述的视频处理方法，其特征在于，该第一局部区域对应于用户的视口，该第一源区域更靠近该用户的视口的中心，并且该第一取样密度高于该第二取样密度。14.根据权利要求1所述的视频处理方法，其特征在于，该金字塔投影布局的形状是正方形，该基底投影面的形状是正方形，各个侧向投影面的形状是直角三角形，该侧向投影面包括第一侧向投影面、第二侧向投影面、第三侧向投影面和第四侧向投影面，该第一侧向投影面的斜边与该基底投影面的第一边连接，该第二侧向投影面的斜边与该基底投影面的第二边连...

【专利技术属性】
技术研发人员：林建良，王鹏，林鸿志，张胜凯，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71