用于处理360°VR帧序列的方法及装置制造方法及图纸

本发明专利技术公开了用于处理360°VR帧序列的方法以及装置。根据本发明专利技术一方法，接收与所述360°VR帧序列有关的输入数据，其中每一360°VR帧包括与多面体格式有关的一组面。将每一所述一组面重排进由前子帧以及后子帧组成的矩形的整个VR帧，其中所述前子帧对应于覆盖前180°×180°视野的第一视场的第一内容以及所述后子帧对应于覆盖后180°×180°视野的第二视场的第二内容。提供对应于包括所述矩形的整个VR帧的序列的重排的360°VR帧序列的输出数据，以致可以对前视图与后视图独立地编解码，降低编解码相关性。

【技术实现步骤摘要】
用于处理360°VR帧序列的方法及装置
本专利技术涉及360°视频，特别地，本专利技术涉及将来自360°VR视频序列的每一360°VR帧的一组多面体的多个面重排成前视图(frontview)子帧以及后视图(rearview)子帧。可以将视频编解码应用于具有约束的编解码参数的360°VR视频序列的子帧。
技术介绍
360°视频也称沉浸式视频，是一种新兴的技术，其可以提供“现场般的感受”。沉浸式的体验由用环绕的场景环绕用户来覆盖全景视野来实现，特别地，360°视场(fieldofview)。“现场般的感受”可以由立体式渲染来进一步提升。因此，全景视频正广泛地用于虚拟现实(VR)应用中。沉浸式视频涉及使用多个摄像机捕获场景来覆盖全景视野，例如360°视场。沉浸式摄像机通常使用一组摄像机，用于捕获360°视场。典型地，两个或多个摄像机用于沉浸式摄像机。所有视频必须要同时捕获并记录场景的分离片段(也称分离视角(separateperspectives))。此外，这组摄像机通常用于水平地捕获视图，而这些摄像机的其他配置也是可能的。图1示出了球面坐标中360°VR图像的示例，z轴对应于极轴(polaraxis)以及垂直于极轴的平面穿过x轴以及y轴。点P是由(r，θ，)表示的球面坐标，其中r表示点P到原点O的距离，θ表示天顶角(zenithangle)以及表示方位角(azimuthangle)，θ的范围是从0°到180°以及的范围是从0°到360°。图2示出了用于将360°球面全景图像转换成立方体面帧(cubic-faceframe)的示例性处理进程。可以使用360°球面全景摄像机捕获多个360°球面全景图像，球面图像处理单元210接收来自一个或多个3D摄像机的原始数据来形成360°球面全景图像，球面图像处理可以包括图像拼接(imagestitching)以及摄像机校准(cameracalibration)。球面图像处理在本领域是公知的技术，本专利技术中相关细节不再赘述。来自球面图像处理单元的360°球面全景图像的示例示于图像212中。如果摄像机是定向为顶部向上，360°球面全景图像的顶边对应于垂直顶部(或天空)以及底边侧指向于地面。然而，如果摄像机装配有陀螺仪(gyro)，不管摄像机如何定向，总是可以确定垂直顶部的方向。在360°球面全景格式中，场景中的内容好像是失真的，通常，球面格式被投影到立方体的表面作为可选的360°格式。可以由投影转换单元220执行转换来导出对应于立方体230的六个面的六个面图像222。在立方体的面上，这六个图像在立方体的边缘上连接。除了立方体格式，还有其他多面体格式正在被使用。图3示出了包括立方体格式310(也是六个面)、八面体格式320(也就是八个面)以及二十面体格式330(也就是二十个面)的多面体格式的示例。与各种多面体格式有关的3D图像可以被转换成2D图像。例如，连接的面图像的展开结构可以用于360°VR帧，在图3中，示出了立方体的展开结构315、八面体的展开结构325以及二十面体的展开结构335。图4示出了对应于等矩形格式410中的3D图像的立方体412、八面体414以及二十面体416相关联的展开图像的示例。如图4的示例所示，360°图像表示360°×180°环绕3D摄像机的整个视场(fieldofview，FOV)。3D图像生成用于打印以及全景虚拟旅游产品的异常高质量以及高分辨率的全景视频。360°×180°图像可以在3D显示设备上显示来使观察者观察360°×180°图像。然而，在实际使用中，观察者可以一次仅看部分视图，例如前视图中的预定的ROI(兴趣区域)或后视图中的其他区域。例如，在音乐会中，用于360VR视频中的一个单一侧(例如，前FOV＝180°×180°)的视频内容可以比另一侧(例如，后FOV＝180°×180°)更有意思。前视图主要包括表演者和或歌手以及后视图主要包括听众。在这一示例中，观察者大部分时间愿意将注意力集中于前视图上。在另一示例中，传输带宽可能是不足以传输整个360VR视频比特流，因此，需要能够递送部分360VR视频，本专利技术中360VR视频也称为360°VR视频。因此，急需开发技术来生成用于实际使用或带宽节省的可用的部分360°VR视频。
技术实现思路
本专利技术公开了用于处理360°VR帧序列的方法以及装置，使前视图与后视图能够独立地被编码，并降低他们之间的编解码相关性。根据本专利技术一方法，接收与所述360°VR帧序列有关的输入数据，其中每一360°VR帧包括与多面体格式有关的一组面。将每一所述一组面重排进由前子帧以及后子帧组成的矩形的整个VR帧，其中所述前子帧对应于覆盖前180°×180°视野的第一视场的第一内容以及所述后子帧对应于覆盖后180°×180°视野的第二视场的第二内容。提供对应于包括所述矩形的整个VR帧的序列的重排的360°VR帧序列的输出数据所述多面体格式可以对应于具有六个面的立方体格式、具有八个面的八面体格式或者具有二十个面的二十面体格式。每一所述一组面被重排进具有或不具有空白区域的所述矩形的整个VR帧中。通过将多面体的多个面的展开图像填充进目标矩形中、将在所述目标矩形之外的任何面或任何部分面移动到所述目标矩形中未使用的区域中，以及填充所述空白区域，来从所述多面体的多个面的展开图像中导出具有空白区域的每一所述矩形的整个VR帧。决定所述目标矩形中的目标紧凑矩形，以及移动具有空白区域的每一所述矩形的整个VR帧的所选择面或部分面来填充所述空白区域来形成不具有空白区域的所述矩形的整个VR帧。在一个实施例中，所述前子帧以及所述后子帧对应于所述矩形的整个VR帧的左半部分以及右半部分，或者对应于所述矩形的整个VR帧的上半部分或下半部分。在一个实施例中，所述360°VR帧序列处理可以进一步包括通过使用对应于一个或多个先前已编码前子帧的第一参考数据处理每一所述矩形的整个VR帧中的当前前子帧，以及使用对应于一个或多个先前已编码后子帧的第二参考数据处理每一所述矩形的整个VR帧中的当前后子帧来将所述重排的360°VR帧序列编码成压缩的比特流，并提供所述压缩的比特流。所述对所述重排的360°VR帧序列进行编码包括将每一所述矩形的整个VR帧分割成对应于每一所述矩形的整个VR帧中的所述前子帧以及所述后子帧的两个切片或两个方块。所述对所述重排的360°VR帧序列进行编码包括仅使用所述一个或多个先前已编码前子帧执行所述前子帧的整数运动搜索或仅使用所述一个或多个先前已编码后子帧执行所述后子帧的整数运动搜索。所述对所述重排的360°VR帧序列进行编码包括仅使用所述一个或多个先前已编码前子帧减去所述前子帧与所述后子帧之间的多个边界线来执行所述前子帧的分数像素运动搜索，或者仅使用所述一个或多个先前已编码后子帧减去所述前子帧与所述后子帧之间的所述多个边界线来执行所述后子帧的所述分数像素运动搜索。所述对所述重排的360°VR帧序列进行编码包括仅使用所述一个或多个先前已编码前子帧执行所述前子帧的运动搜索，其中用所述先前已编码前子帧的边界像素替换在所述先前已编码前子帧外的任何参考像素；或者仅使用所述一个或多个先前已编码后子帧执行所述后子帧的所述运动搜索，其中用所述先前已编码后子帧的边界像素替换本文档来自技高网...

【技术保护点】
1.一种处理360°VR帧序列的方法，其特征在于，所述方法包括：接收与所述360°VR帧序列有关的输入数据，其中每一360°VR帧包括与多面体格式有关的一组面；将每一所述一组面重排进由前子帧以及后子帧组成的矩形的整个VR帧，其中所述前子帧对应于覆盖前180°×180°视野的第一视场的第一内容以及所述后子帧对应于覆盖后180°×180°视野的第二视场的第二内容；以及提供对应于包括所述矩形的整个VR帧的序列的重排的360°VR帧序列的输出数据。

【技术特征摘要】
2017.10.02 US 15/722,7341.一种处理360°VR帧序列的方法，其特征在于，所述方法包括：接收与所述360°VR帧序列有关的输入数据，其中每一360°VR帧包括与多面体格式有关的一组面；将每一所述一组面重排进由前子帧以及后子帧组成的矩形的整个VR帧，其中所述前子帧对应于覆盖前180°×180°视野的第一视场的第一内容以及所述后子帧对应于覆盖后180°×180°视野的第二视场的第二内容；以及提供对应于包括所述矩形的整个VR帧的序列的重排的360°VR帧序列的输出数据。2.如权利要求1所述的处理360°VR帧序列的方法，其特征在于，其中所述多面体格式对应于具有六个面的立方体格式、具有八个面的八面体格式或者具有二十个面的二十面体格式。3.如权利要求1所述的处理360°VR帧序列的方法，其特征在于，其中每一所述一组面被重排进具有空白区域或不具有空白区域的所述矩形的整个VR帧中。4.如权利要求3所述的处理360°VR帧序列的方法，其特征在于，其中通过将多面体的多个面的展开图像填充进目标矩形中，将在所述目标矩形之外的任何面或任何部分面移动到所述目标矩形中未使用的区域中，以及填充所述空白区域，来从所述多面体的多个面的所述展开图像中导出具有空白区域的每一所述矩形的整个VR帧。5.如权利要求3所述的处理360°VR帧序列的方法，其特征在于，其中决定所述目标矩形中的目标紧凑矩形，以及移动具有空白区域的每一所述矩形的整个VR帧的所选择的面或部分面来填充所述空白区域来形成不具有空白区域的所述矩形的整个VR帧。6.如权利要求1所述的处理360°VR帧序列的方法，其特征在于，其中所述前子帧以及所述后子帧对应于所述矩形的整个VR帧的左半部分以及右半部分，或者对应于所述矩形的整个VR帧的上半部分或下半部分。7.如权利要求1所述的处理360°VR帧序列的方法，其特征在于，进一步包括通过使用对应于一个或多个先前已编码前子帧的第一参考数据处理每一所述矩形的整个VR帧中的当前前子帧以及使用对应于一个或多个先前已编码后子帧的第二参考数据处理每一所述矩形的整个VR帧中的当前后子帧来将所述重排的360°VR帧序列编码成压缩的比特流，并提供所述压缩的比特流。8.如权利要求7所述的处理360°VR帧序列的方法，其特征在于，其中对所述重排的360°VR帧序列进行编码包括将每一所述矩形的整个VR帧分割成对应于每一所述矩形的整个VR帧中的所述前子帧以及所述后子帧的两个切片或两个方块。9.如权利要求7所述的处理360°VR帧序列的方法，其特征在于，其中对所述重排的360°VR帧序列进行编码包括仅使用所述一个或多个先前已编码前子帧执行所述前子帧的整数运动搜索或仅使用所述一个或多个先前已编码后子帧执行所述后子帧的整数运动搜索。10.如权利要求7所述的处理360°VR帧序列的方法，其特征在于，其中对所述重排的360°VR帧序列进行编码包括仅使用所述一个或多个先前已编码前子帧减去所述前子帧与所述后子帧之间的多个边界线来执行所述前子帧的分数像素运动搜索，或者仅使用所述一个或多个先前已编码后子帧减去所述前子帧与所述后子帧之间的所述多个边界线来执行所述后子帧的所述分数像素运动搜索。11.如权利要求7所述的处理360°VR帧序列的方法，其特征在于，其中对所述重排的360°VR帧序列进行编码包括仅使用所述一个或多个先前已编码前子帧执行所述前子帧的运动搜索，其中用所述先前已编码前子帧的边界像素替换在所述先前已编码前子帧外的任何参考像素；或者仅使用所述一个或多个先前已编码后子帧执行所述后子帧的所述运动搜索，其中用所述先前已编码后子帧的边界像素替换所述先前已编码后子帧外的任何参考像素。12.如权利要求7所述的处理360°VR帧序列的方法，其特征在于，其中对所述重排的360°VR帧序列进行编码包括对所述前子帧或所述后...

【专利技术属性】
技术研发人员：林鸿志，林建良，张胜凯，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71