360度全景显示的立方体图像的图像形成与压缩的方法及装置制造方法及图纸

技术编号:18737964 阅读:19 留言:0更新日期:2018-08-22 06:12
本发明专利技术公开了一种处理立方体面图像的方法及装置。根据一个方法,通过将每六个立方体面图像的集合进行组装,每六个立方体面图像的集合被转换成一个矩形组装图像,以最大化连续边界的数量并最小化不连续边界的数量。每个连续边界对应于具有从一个面到另一个面的连续内容的两个面之间的一个边界。每个不连续边界对应于具有从一个面到另一个面的不连续内容的两个面之间的一个边界。该方法还可以包括:将视频编解码应用于视频序列,并输出视频序列的已压缩数据。根据另一方法,表示来自于立方体的六个面的展开图像的全部连接立方体面图像被生成,并且空白区域用填充数据进行填充以形成矩形组装图像。

【技术实现步骤摘要】
【国外来华专利技术】360度全景显示的立方体图像的图像形成与压缩的方法及装置优先权声明本专利技术主张在2016年01月07日提出的申请号为62/275,818的美国临时专利申请的优先权。该美国临时专利申请整体以引用方式并入本文中。
本专利技术涉及图像和视频编解码。具体地,本专利技术涉及自360度全景视频转换的立方体面图像的图像处理与视频压缩的技术。
技术介绍
360度视频,也称为沉浸式视频,是一种新兴技术,其可提供“身临其境的感觉”。沉浸感通过用覆盖全景视图的环绕场景来围绕使用者来实现,具体是用360度视场。“身临其境的感觉”还可以通过立体渲染来提升。因此,全景视频正被广泛应用于虚拟现实(VirtualReality,VR)应用中。沉浸式视频涉及使用多个摄像机捕捉场景以覆盖全景视图,例如360度视场。沉浸式摄像机通常使用用于捕捉360度视场的一组摄像机。通常,两个或以上摄像机用于沉浸式摄像机。所有视频必须同时被捕捉,以及场景的单独段(也称为单独透视图)被记录。此外,一组摄像机常常被设置成水平地捕捉视图,而这些摄像机的其他设置也是可能的。图1示出了360度球面全景图像的示例性处理链。360度球面全景图像可以采用360度球面全景摄像机来捕捉。球面图像处理单元110自摄像机接收原始图像数据,以形成360度球面全景图像。球面图像处理可包括图像缝合和摄像机校准。球面图像处理在本
中是熟知的,且在本公开中省略其细节。来自于球面图像处理单元110的360度球面全景图像的示例在图像112中示出。如果摄像机被定位以使得顶端朝上,则360度球面全景图像的顶端对应于垂直上方(或天空),且底端指向大地。然而,如果摄像机被配置有陀螺仪,则垂直顶端可以总是被确定而无论摄像机如何被定位。在360度球面全景格式中,场景中的内容似乎是失真的。通常,球面格式被投影到立方体的表面,作为可选的360度格式。转换可以由投影变换单元120来执行,以推导出对应于立方体的六个面的六面图像122。在立方体的面上,这六个图像被连接于立方体的边缘处。由于360度图像序列可能需要较大存储空间或者需要较高带宽以用于传输,视频编码器130的视频编码可以被应用于包括六面图像序列的视频序列。在接收器侧或显示侧处,已压缩视频数据使用视频解码器140来解码以恢复六面图像序列,以在显示设备150(例如,VR显示)上进行显示。图2A示出了投影转换的示例,其中球面图像被投影到立方体的六个面上。立方体的六个面从1到6进行编号。三个可见侧210(即1、4和5)和三个不可见侧220在图2A中示出。每侧的方向由其相应的侧编号来表示。虚线圈中的侧编号表示透视图像,是由于这些图像位于立方体的后侧。这六个立方面从一个面到连接面连续于连接边缘处。例如,面1与面5连接于边缘214处。因此,如图2B所示,面1的顶端边缘连续地延伸到面5的底端边缘,又例如,面4与面5的右侧连接与边缘212。因此,如图2C所示,面4的顶端边缘连续地延伸到面5的右侧。面1与面5之间以及面4与面5之间的细缝隙旨在示出两个面之间的图像边界。为了允许图像处理系统或视频处理系统采用六个立方体面之间的空间和/或时间相关性或冗余,需要开发将这六个立方体面组装成已组装矩形图像的方法,以用于有效的处理或压缩。
技术实现思路
本专利技术公开了一种处理立方体面图像的方法及装置。根据一个方法,通过将每六个立方体面图像的集合进行组装,每六个立方体面图像的集合被转换成一个矩形组装图像,以最大化连续边界的数量并最小化不连续边界的数量,其中每个连续边界对应于具有从一个面到另一个面的连续内容的两个面之间的一个边界,并且每个不连续边界对应于具有从一个面到另一个面的不连续内容的两个面之间的一个边界。该方法还包括:将视频编解码应用于视频序列。在这种情况下,输出数据对应于视频序列的已压缩数据。矩形组装图像可以对应于6x1组装图像。在这种情况下,6x1组装图像包括两个3x1连接图像,每个3x1连接图像具有两个连续边界,并且6x1组装图像具有两个3x1连接图像的边界之间的一个不连续边界。矩形组装图像可以对应于1x6组装图像。在这种情况下,1x6组装图像包括两个1x3连接图像,每个1x3连接图像具有两个连续边界,并且1x6组装图像具有两个1x3连接图像的边界之间的一个不连续边界。矩形组装图像可以对应于3x2组装图像。在这种情况下,3x2组装图像包括对接于两个3x1连接图像的长边缘处的两个3x1连接图像,每个3x1连接图像具有两个连续边界,并且3x2组装图像具有两个3x1连接图像的边界之间的三个不连续边界。矩形组装图像可以对应于2x3组装图像。在这种情况下,2x3组装图像包括对接于两个1x3连接图像的长边缘处的两个1x3连接图像,每个1x3连接图像具有两个连续边界,并且2x3组装图像具有两个1x3连接图像的边界之间的三个不连续边界。通过如下流程,每六个立方体面图像的集合可以被转换成矩形组装图像:将每六个立方体面图像的集合展开成连接网格;旋转连接网格的一个或多个立方体面图像,以形成两个连接尺寸为3的图像、三个尺寸为2的连接图像或一个尺寸为4的连接图像加两个尺寸为1的图像,其中尺寸为3的图像包括三个连续面图像,且每个尺寸为2的图像包括两个连续面图像;以及将两个连接尺寸为3的图像或三个尺寸为2的连接图像组装成一个6x1矩形组装图像、一个1x6矩形组装图像、一个3x2矩形组装图像或一个2x3矩形组装图像,或者将一个尺寸为4的连接图像加两个尺寸为1的图像组装成一个6x1矩形组装图像或一个1x6矩形组装图像。根据另一方法,生成表示来自于立方体的六个面的展开图像的全部连接立方体面图像,其中所有六个立方体面在全部连接立方体面图像内连接,且全部连接立方体面图像的两个连接立方体面之间的任何边界穿过该边界是连续的。通过用填充数据填充任何空白区域,生成覆盖全部连接立方体面图像的矩形组装图像。提供对应于包括矩形组装图像序列的视频序列的输出数据。此外,视频编解码可以被应用于视频序列。在这种情况下,输出数据包括视频序列的已压缩数据。在一个实施例中,填充数据可以具有对应于0(黑色)、2BitDepth-1(灰色)或2BitDepth–1(白色)的像素值,其中BitDepth是用于表示像素的每个颜色分量的比特数。附图说明图1示出了360度球面全景帧的示例性处理链。图2A示出了投影转换的示例,其中球面图像被投影到立方体的六个表面。图2B-图2C示出了穿过边界具有连续内容的两个连接面的示例。图3A示出了根据本专利技术实施例的示例性360度全景系统处理链,其中立方体面组装器用于将六个立方体面组装成已组装图像。图3B示出了立方体组装器的示例性实施方式,其中展开面可以被部分连接或全部连接。图4示出了立方体图像展开的11种示例,其中每个展开类型称为一种立方体网格。图5A-图5K示出了对应于图2A中所示的六个立方体面的11种示例性展开图像。图6示出了通过用已知的像素数据修补(patching)异型(odd-shaped)的立方体网格图像来推导出360度球面图像的矩形图像的示例。图7A-图7K示出了根据图6中的流程的11种示例性已修补图像。图8示出了通过形成多个部分连接矩形图像来推导出360度球面图像的矩形组装图像的另一示例。图9A-图本文档来自技高网
...

【技术保护点】
1.一种处理立方体面图像的方法,其特征在于,该方法包括:接收通过投影转换自360度全景视频序列中的每个球面图像转换的每六个立方体面图像的集合,其中每六个立方体面图像的集合对应于自每个球面图像投影到一立方体的六个面的六个子图像,以用于渲染360度虚拟现实;通过将每六个立方体面图像的集合进行组装,从而将每六个立方体面图像的集合转换成一个矩形组装图像,以最大化连续边界的数量并最小化不连续边界的数量,其中每个连续边界对应于具有从一个面到另一个面的连续内容的两个面之间的一个边界,并且每个不连续边界对应于具有从一个面到另一个面的不连续内容的两个面之间的一个边界;以及提供对应于包括矩形组装图像序列的视频序列的输出数据。

【技术特征摘要】
【国外来华专利技术】2016.01.07 US 62/275,818;2016.12.27 US 15/390,9541.一种处理立方体面图像的方法,其特征在于,该方法包括:接收通过投影转换自360度全景视频序列中的每个球面图像转换的每六个立方体面图像的集合,其中每六个立方体面图像的集合对应于自每个球面图像投影到一立方体的六个面的六个子图像,以用于渲染360度虚拟现实;通过将每六个立方体面图像的集合进行组装,从而将每六个立方体面图像的集合转换成一个矩形组装图像,以最大化连续边界的数量并最小化不连续边界的数量,其中每个连续边界对应于具有从一个面到另一个面的连续内容的两个面之间的一个边界,并且每个不连续边界对应于具有从一个面到另一个面的不连续内容的两个面之间的一个边界;以及提供对应于包括矩形组装图像序列的视频序列的输出数据。2.如权利要求1中所述的处理立方体面图像的方法,其特征在于,包括:将视频编解码应用于所述视频序列,其中所述输出数据包括所述视频序列的已压缩数据。3.如权利要求1中所述的处理立方体面图像的方法,其特征在于,所述矩形组装图像对应于6x1组装图像,其中所述6x1组装图像包括两个3x1连接图像,每个3x1连接图像具有两个连续边界,并且所述6x1组装图像具有所述两个3x1连接图像的边界之间的一个不连续边界。4.如权利要求1中所述的处理立方体面图像的方法,其特征在于,所述矩形组装图像对应于1x6组装图像,其中所述1x6组装图像包括两个1x3连接图像,每个1x3连接图像具有两个连续边界,并且所述1x6组装图像具有所述两个1x3连接图像的边界之间的一个不连续边界。5.如权利要求1中所述的处理立方体面图像的方法,其特征在于,所述矩形组装图像对应于3x2组装图像,其中所述3x2组装图像包括对接于两个3x1连接图像的长边缘处的所述两个3x1连接图像,每个3x1连接图像具有两个连续边界,并且所述3x2组装图像具有所述两个3x1连接图像的边界之间的三个不连续边界。6.如权利要求1中所述的处理立方体面图像的方法,其特征在于,所述矩形组装图像对应于2x3组装图像,其中所述2x3组装图像包括对接于两个1x3连接图像的长边缘处的所述两个1x3连接图像,每个3x1连接图像具有两个连续边界,并且所述2x3组装图像具有所述两个1x3连接图像的边界之间的三个不连续边界。7.如权利要求1中所述的处理立方体面图像的方法,其特征在于,所述将每六个立方体面图像的集合进行组装的步骤包括:将每六个立方体面图像的集合展开成连接网格;旋转所述连接网格的一个或多个立方体面图像,以形成两个连接尺寸为3的图像、三个尺寸为2的连接图像或一个尺寸为4的连接图像加两个尺寸为1的图像,其中尺寸为3的图像包括三个连续面图像,且每个尺寸为2的图像包括两个连续面图像;以及将所述两个连接尺寸为3的图像或所述三个尺寸为2的连接图像组装成一个6x1矩形组装图像、一个1x6矩形组装图像、一个3x2矩形组装图像或一个2x3矩形组装图像,或者将所述一个尺寸为4的连接图像加两个尺寸为1的图像组装成一个6x1矩形组装图像或一个1x6矩形组装图像。8.一种处理立方体面图像的装置,其特征在于,该装置包括一个或多个电子电路或处理器,用于:接收通过投影转换自360度全景视频序列中的每个球面图像转换的每六个立方体面图像的集合,其中每六个立方体面图像的集合对应于自每个球面图像投影到一立方体的六个面的六个子图像,以用于渲染360度虚拟现实;通过将每六个立方体面图像的集合进行组装,将每六个立方体面图像的集合转换成一个矩形组装图像,以最大化连续边界的数量并最小化不连续边界的数量,其中每个连续边界对应于具有从一个面到另一个面的连续内容的两个面之间的一个边界,并且每个不连续边界对应于具有从一个面到另一个面的不连续内容的两个面之间的一个边界;以及提供对应于包括矩形组装图像序列的视频序列的输出数据。9.如权利要求8中所述的处理立方体面图像的装置,其特征在于,所述一个或多个电子电路或处理器用于:将视频编解码应用于所述视频序列,其中所述输出数据包括所述视频序列的已压缩数据。10.如权利要求8中所述的处理立方体面图像的装置,其特征在于,所述矩形组装图像对应于6x1组装...

【专利技术属性】
技术研发人员:林鸿志张胜凯
申请(专利权)人:联发科技股份有限公司
类型:发明
国别省市:中国台湾,71

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1