用于生成具有由组合在八面体投影布局的多个三角形投影面表示的360°图像内容的基于投影的帧的方法以及装置制造方法及图纸

根据全景视频帧以及八面体投影布局生成基于投影的帧，所述基于投影的帧具有由组合在所述八面体投影布局中的多个三角形投影面表示的360°图像内容，观察球的360°图像内容通过所述观察球的八面体投影被映射到所述多个三角形投影面。第一三角形投影面的一边与第二三角形投影面的一边接触，第三三角形投影面的一边与所述第二三角形投影面的另一边接触，在所述第一三角形投影面的一边与所述第二三角形投影面的一边存在图像内容连续性边界，以及在所述第三三角形投影面的所述一边以及所述第二三角形投影面的所述另一边存在另一个图像内容连续性边界。

\u7528\u4e8e\u751f\u6210\u5177\u6709\u7531\u7ec4\u5408\u5728\u516b\u9762\u4f53\u6295\u5f71\u5e03\u5c40\u7684\u591a\u4e2a\u4e09\u89d2\u5f62\u6295\u5f71\u9762\u8868\u793a\u7684360\u00b0\u56fe\u50cf\u5185\u5bb9\u7684\u57fa\u4e8e\u6295\u5f71\u7684\u5e27\u7684\u65b9\u6cd5\u4ee5\u53ca\u88c5\u7f6e

Projection-based frames are generated from panoramic video frames and octahedral projection layouts. The projection-based frames have 360 degree image content represented by a plurality of triangular projection surfaces combined in the octahedral projection layouts. The 360 degree image content of the observation sphere is mapped to the plurality of triangular projection surfaces through the octahedral projection of the observation sphere. One side of the first triangle projection surface is in contact with one side of the second triangle projection surface, the other side of the third triangle projection surface is in contact with the other side of the second triangle projection surface. On one side of the first triangle projection surface and on the other side of the second triangle projection surface, there is a continuity boundary of image content, and on the said side and on the other side of the third triangle projection surface. Another image content continuity boundary exists on the other side of the second triangle projection surface.

【技术实现步骤摘要】
【国外来华专利技术】用于生成具有由组合在八面体投影布局的多个三角形投影面表示的360°图像内容的基于投影的帧的方法以及装置相关引用本专利技术要求递交于2016年10月7日，号码为62/405,290的美国临时申请，递交于2016年12月7日，号码为62/430,968的临时申请的优先权。相关申请的全部内容包括号码为62/405,290以及号码为62/430,968的美国临时申请，通过引用纳入本申请中。
技术介绍
本专利技术涉及处理全景视频帧，尤其涉及用于生成具有360°图像/视频内容的基于投影的帧(projection-basedframe)的方法及装置，其中所述360°图像/视频内容由组合在八面体投影(octahedronprojection，简称OHP)布局中的多个三角形投影面表示。具有多个头戴式显示器(head-mounteddisplays，简称HMDs)的虚拟现实(VR)与各种各样的应用相关联，其向使用者提供宽视场内容(widefieldofviewcontent)的能力可以用来提供沉浸式的视觉体验(immersivevisualexperiences)。必须在所有方向上捕获真实世界环境以生成对应于观察球(viewingsphere)的全景视频(omnidirectionalvideo)。随着多个相机平台(camerarig)和多个HMD的发展，由于展示如360°图像内容所需要的高比特率，VR内容的递送可能很快成为瓶颈。当全景视频的分辨率是4K或者更高的时候，数据压缩/编码对比特率的减小是关键的。通常，对应于观察球的全景视频被转换成具有由排列在360°虚拟现实(360VR)投影布局的多个投影面所表示的360°图像内容的基于投影的帧，然后将基于投影的帧编码成比特流用于传输。然而，如果所采用的360VR投影布局设计不合理，基于投影的帧可能会具有因多个投影面的组合而产生图像内容不连续性边界(imagecontentdiscontinuityboundary)，由于图像内容不连续性边界，编码/解码的质量可能会降低。
技术实现思路
本专利技术目的之一是提供一种用于生成具有360°图像/视频内容的基于投影的帧的方法及装置，实施360°图像/视频内容由组合在八面体投影布局中的多个三角形投影面表示。由于八面体投影布局的合理设计，可减少因组合多个三角形投影面而导致的图像内容不连续性边界的数量。根据本专利技术的第一方面，公开了一种示例性生成基于投影的帧的方法，所述示例性方法包括：接收对应于观察球的全景视频帧，并且根据所述全景视频帧以及八面体投影布局生成所述基于投影的帧，其中所述基于投影的帧具有由组合在所述八面体投影布局中的多个三角形投影面表示的360°图像内容，并且所述观察球的360°图像内容通过所述观察球的八面体投影映射到所述多个三角形投影面。组合在所述八面体投影布局中的所述多个三角形投影面包括：第一三角形投影面，第二三角形投影面以及第三三角形投影面，所述第一三角形投影面的一边与所述第二三角形投影面的一边接触，所述第三三角形投影面的一边与所述第二三角形投影面的另一边接触，在所述第一三角形投影面的所述一边以及所述第二三角形投影面的所述一边之间有图像内容连续性边界，以及在所述第三三角形投影面的所述一边与所述第二三角形投影面的所述另一边之间有图像内容连续性边界。根据本专利技术的第二方面，公开了一种用于生成基于投影的帧的示例性处理电路，所述示例性处理电路包括输入接口以及转换电路。所述输入接口用于接收对应于观察球的全景视频帧。所述转换电路用于根据所述全景视频帧以及八面体投影布局生成所述基于投影的帧，其中所述基于投影的帧具有由组合在所述八面体投影布局中的多个三角形投影面表示的360°图像内容，并且所述观察球的360°图像内容通过所述观察球的八面体投影映射到所述多个三角形投影面。组合在所述八面体投影布局中的所述多个三角形投影面包括：第一三角形投影面，第二三角形投影面以及第三三角形投影面，所述第一三角形投影面的一边与所述第二三角形投影面的一边接触，所述第三三角形投影面的一边与所述第二三角形投影面的另一边接触，在所述第一三角形投影面的一边以及所述第二三角形投影面的一边之间有图像内容连续性边界，以及在所述第三三角形投影面的一边与所述第二三角形投影面的另一边之间有图像内容连续性边界。在阅读下面的附图及附图中所示的优选实施例的详细描述后，本专利技术的上述目的及其他目的对本领域普通技术人员毫无疑问是显而易见的。附图说明图1示出了根据本专利技术实施例的360°虚拟现实(360VR)系统。图2示出了根据非旋转八面体(unrotatedoctahedron)从观察球的八面体投影获得的原始八面体投影布局的多个三角形投影面。图3示出了根据本专利技术实施例的第一提出的八面体投影布局。图4示出了根据本专利技术实施例的第二提出的八面体投影布局。图5示出了根据本专利技术实施例的重塑的(reshaped)三角形的两种类型。图6示出了根据本专利技术实施例的第一重塑的八面体投影布局。图7示出了根据本专利技术实施例的第二重塑的八面体投影布局。图8示出了根据本专利技术实施例的第三提出的八面体投影布局。图9示出了根据本专利技术实施例的第四提出的八面体投影布局。图10示出了根据旋转八面体从观察球的八面体投影获得原始八面体投影布局的多个三角形投影面。图11示出了根据本专利技术实施例的第五提出的八面体投影布局。图12示出了根据本专利技术实施例的第六提出的八面体投影布局。图13示出了根据本专利技术实施例的第三重塑的八面体投影布局。图14示出了根据本专利技术实施例的第四重塑的八面体投影布局。图15示出了根据本专利技术实施例的第七提出的八面体投影布局。图16示出了根据本专利技术实施例的第八提出的八面体投影布局。图17示出了根据本专利技术实施例的提出的八面体投影布局与等矩形投影布局之间的单相映射(single-phasemapping)。图18示出了根据本专利技术实施例的提出的八面体投影布局与等矩形投影布局之间的多相映射(multi-phasemapping)。图19示出了根据本专利技术实施例的第一像素填充设计。图20示出了根据本专利技术实施例的第二像素填充设计。图21示出了根据本专利技术实施例的第三像素填充设计。图22示出了根据本专利技术实施例的第四像素填充设计。图23示出了根据本专利技术实施例的具有每一缺口(jag)是偶数像素宽的60°边界。图24示出了根据本专利技术实施例的具有每一缺口是偶数像素宽的45°边界。具体实施方式以下的描述和权利要求中使用了某些术语，其指的是具体的元件，本领域技术人员能够理解的是，电子装置制造商可以用不同的名称指同一个元件。本专利技术不旨在区分名称不同但功能相同的元件。在下面的描述和权利要求中，以开放式的形式使用术语“包括”，因此应当解释为“包括但不限于”。同样地，术语“耦合”意思是间接或直接电性连接。因此，如果装置耦合到另一个装置，所述连接可以是直接电性连接或者通过其他装置和连接的间接电性连接。图1是根据本专利技术实施例的360°虚拟现实(360VR)系统。所述360VR系统100包括源电子装置(sourceelectronicdevice)102和目标装置104，所述源电子装置102包括视频捕获装置110，预处理电路112以及编码电路114，例如，所述视频捕获装置110可以是本文档来自技高网...

【技术保护点】
1.一种用于生成基于投影的帧的方法，其特征在于，包括：接收对应于观察球的全景视频帧；以及根据所述全景视频帧以及八面体投影布局，由转换电路生成所述基于投影的帧，其中所述基于投影的帧具有由组合在所述八面体投影布局中的多个三角形投影面表示的360°图像内容，并且所述观察球的360°图像内容通过所述观察球的八面体投影映射到所述多个三角形投影面；其中组合在所述八面体投影布局中的所述多个三角形投影面包括：第一三角形投影面，第二三角形投影面以及第三三角形投影面，所述第一三角形投影面的一边与所述第二三角形投影面的一边接触，所述第三三角形投影面的一边与所述第二三角形投影面的另一边接触，在所述第一三角形投影面的所述一边以及所述第二三角形投影面的所述一边之间有图像内容连续性边界，以及在所述第三三角形投影面的所述一边与所述第二三角形投影面的所述另一边之间有图像内容连续性边界。

【技术特征摘要】
【国外来华专利技术】2016.10.07 US 62/405,290;2016.12.07 US 62/430,9681.一种用于生成基于投影的帧的方法，其特征在于，包括：接收对应于观察球的全景视频帧；以及根据所述全景视频帧以及八面体投影布局，由转换电路生成所述基于投影的帧，其中所述基于投影的帧具有由组合在所述八面体投影布局中的多个三角形投影面表示的360°图像内容，并且所述观察球的360°图像内容通过所述观察球的八面体投影映射到所述多个三角形投影面；其中组合在所述八面体投影布局中的所述多个三角形投影面包括：第一三角形投影面，第二三角形投影面以及第三三角形投影面，所述第一三角形投影面的一边与所述第二三角形投影面的一边接触，所述第三三角形投影面的一边与所述第二三角形投影面的另一边接触，在所述第一三角形投影面的所述一边以及所述第二三角形投影面的所述一边之间有图像内容连续性边界，以及在所述第三三角形投影面的所述一边与所述第二三角形投影面的所述另一边之间有图像内容连续性边界。2.如权利要求1所述的生成基于投影的帧的方法，其特征在于，组合在所述八面体投影布局中的所述多个三角形投影面进一步包括第四三角形投影面，所述第四三角形投影面的一边与所述第二三角形投影面的又一边接触，并且在所述第四三角形投影面的所述一边与所述第二三角形投影面的所述又一边之间有图像内容连续性边界。3.如权利要求1所述的生成基于投影的帧的方法，其特征在于，每一所述多个三角形投影面的形状是等边三角形。4.如权利要求3所述的生成基于投影的帧的方法，其特征在于，每一所述多个三角形投影面具有第一边，第二边以及第三边，并且所述观察球的赤道沿着所述多个三角形投影面的多个第一边映射。5.如权利要求3所述的生成基于投影的帧的方法，其特征在于，所述观察球的赤道不沿着每一所述多个三角形投影面的任一边映射。6.如权利要求3所述的生成基于投影的帧的方法，其特征在于，所述观察球由第一半球以及第二半球组成；以及通过所述观察球的所述八面体投影，所述第一三角形投影面，所述第二三角形投影面以及所述第三三角形投影面都来自于所述第一半球。7.如权利要求6所述的生成基于投影的帧的方法，其特征在于，组合在所述八面体投影布局中的所述多个三角形投影面进一步包括第四投影面，所述第四投影面通过所述观察球的所述八面体投影来自于所述第一半球，所述第四三角形投影面的一边与所述第三三角形投影面的另一边接触，并且在所述第四三角形投影面的所述一边与所述第三三角形投影面的所述另一边之间有图像内容不连续性边界。8.如权利要求6所述的生成基于投影的帧的方法，其特征在于，所述八面体投影布局的形状是矩形，组合在所述八面体投影布局中的所述多个三角形投影面进一步包括第四投影面，所述第四投影面通过所述观察球的所述八面体投影来自于所述第一半球，所述第四三角形投影面被拆分成第一直角三角形部分与第二直角三角形部分，所述第一直角三角形部分具有是所述第四投影面的一边的第一边以及是所述第四投影面的另一边的第一部分的第二边，所述第二直角三角形部分具有是所述第四投影面又一边的第一边以及是所述第四投影面的所述另一边的第二部分的第二边，所述第二直角三角形部分的所述第一边与所述第一三角形投影面的另一边接触，所述第一直角三角形部分的所述第一边与所述第三三角形投影面的另一边接触，在所述第二直角三角形部分的所述第一边与所述第一三角形投影面的所述另一边之间有图像内容不连续性边界，以及在所述第一直角三角形部分的所述第一边与所述第三三角形投影面的所述另一边之间有图像内容不连续性边界。9.如权利要求6所述的生成基于投影的帧的方法，其特征在于，组合在所述八面体投影布局中的所述多个三角形投影面进一步包括第四投影面，所述第四投影面通过所述观察球的所述八面体投影来自于所述第一半球，从所述第四三角形投影面的一边延伸的第一填充区域与从所述第三三角形投影面的另一边延伸的第二填充区域接触，所述第一填充区域包括来自于所述第四三角形投影面的所述一边的边界像素的多个填充像素，所述第二填充区域包括来自于所述第三三角形投影面的所述另一边的多个边界像素的多个填充像素，并且在所述第一填充区域与所述第二填充区域之间有图像内容不连续性边界。10.如权利要求6所述的生成基于投影的帧的方法，其特征在于，所述八面体投影布局的形状是矩形，组合在所述八面体投影布局中的所述多个三角形投影面进一步包括第四投影面，所述第四投影面通过所述观察球的所述八面体投影来自于所述第一半球，所述第四投影面被拆分成第一直角三角形部分与第二直角三角形部分，所述第一直角三角形部分具有是所述第四投影面的一边的第一边以及是所述第四投影面的另一边的第一部分的第二边，所述第二直角三角形部分具有是所述第四投影面又一边的第一边以及是所述第四投影面的所述另一边的第二部分的第二边，从所述第二直角三角形部分的所述第一边延伸的第一填充区域与从所述第一三角形投影面的另...

【专利技术属性】
技术研发人员：林建良，林鸿志，李佳盈，张胜凯，朱启诚，黄昭智，欧阳辉，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71