【技术实现步骤摘要】
【国外来华专利技术】360度全景显示的立方体图像的图像形成与压缩的方法及装置优先权声明本专利技术主张在2016年01月07日提出的申请号为62/275,818的美国临时专利申请的优先权。该美国临时专利申请整体以引用方式并入本文中。
本专利技术涉及图像和视频编解码。具体地,本专利技术涉及自360度全景视频转换的立方体面图像的图像处理与视频压缩的技术。
技术介绍
360度视频,也称为沉浸式视频,是一种新兴技术,其可提供“身临其境的感觉”。沉浸感通过用覆盖全景视图的环绕场景来围绕使用者来实现,具体是用360度视场。“身临其境的感觉”还可以通过立体渲染来提升。因此,全景视频正被广泛应用于虚拟现实(VirtualReality,VR)应用中。沉浸式视频涉及使用多个摄像机捕捉场景以覆盖全景视图,例如360度视场。沉浸式摄像机通常使用用于捕捉360度视场的一组摄像机。通常,两个或以上摄像机用于沉浸式摄像机。所有视频必须同时被捕捉,以及场景的单独段(也称为单独透视图)被记录。此外,一组摄像机常常被设置成水平地捕捉视图,而这些摄像机的其他设置也是可能的。图1示出了360度球面全景图像的示例性处理链。360度球面全景图像可以采用360度球面全景摄像机来捕捉。球面图像处理单元110自摄像机接收原始图像数据,以形成360度球面全景图像。球面图像处理可包括图像缝合和摄像机校准。球面图像处理在本
中是熟知的,且在本公开中省略其细节。来自于球面图像处理单元110的360度球面全景图像的示例在图像112中示出。如果摄像机被定位以使得顶端朝上,则360度球面全景图像的顶端对应于垂直上方(或天空),且底端 ...
【技术保护点】
1.一种处理立方体面图像的方法,其特征在于,该方法包括:接收通过投影转换自360度全景视频序列中的每个球面图像转换的每六个立方体面图像的集合,其中每六个立方体面图像的集合对应于自每个球面图像投影到一立方体的六个面的六个子图像,以用于渲染360度虚拟现实;通过将每六个立方体面图像的集合进行组装,从而将每六个立方体面图像的集合转换成一个矩形组装图像,以最大化连续边界的数量并最小化不连续边界的数量,其中每个连续边界对应于具有从一个面到另一个面的连续内容的两个面之间的一个边界,并且每个不连续边界对应于具有从一个面到另一个面的不连续内容的两个面之间的一个边界;以及提供对应于包括矩形组装图像序列的视频序列的输出数据。
【技术特征摘要】
【国外来华专利技术】2016.01.07 US 62/275,818;2016.12.27 US 15/390,9541.一种处理立方体面图像的方法,其特征在于,该方法包括:接收通过投影转换自360度全景视频序列中的每个球面图像转换的每六个立方体面图像的集合,其中每六个立方体面图像的集合对应于自每个球面图像投影到一立方体的六个面的六个子图像,以用于渲染360度虚拟现实;通过将每六个立方体面图像的集合进行组装,从而将每六个立方体面图像的集合转换成一个矩形组装图像,以最大化连续边界的数量并最小化不连续边界的数量,其中每个连续边界对应于具有从一个面到另一个面的连续内容的两个面之间的一个边界,并且每个不连续边界对应于具有从一个面到另一个面的不连续内容的两个面之间的一个边界;以及提供对应于包括矩形组装图像序列的视频序列的输出数据。2.如权利要求1中所述的处理立方体面图像的方法,其特征在于,包括:将视频编解码应用于所述视频序列,其中所述输出数据包括所述视频序列的已压缩数据。3.如权利要求1中所述的处理立方体面图像的方法,其特征在于,所述矩形组装图像对应于6x1组装图像,其中所述6x1组装图像包括两个3x1连接图像,每个3x1连接图像具有两个连续边界,并且所述6x1组装图像具有所述两个3x1连接图像的边界之间的一个不连续边界。4.如权利要求1中所述的处理立方体面图像的方法,其特征在于,所述矩形组装图像对应于1x6组装图像,其中所述1x6组装图像包括两个1x3连接图像,每个1x3连接图像具有两个连续边界,并且所述1x6组装图像具有所述两个1x3连接图像的边界之间的一个不连续边界。5.如权利要求1中所述的处理立方体面图像的方法,其特征在于,所述矩形组装图像对应于3x2组装图像,其中所述3x2组装图像包括对接于两个3x1连接图像的长边缘处的所述两个3x1连接图像,每个3x1连接图像具有两个连续边界,并且所述3x2组装图像具有所述两个3x1连接图像的边界之间的三个不连续边界。6.如权利要求1中所述的处理立方体面图像的方法,其特征在于,所述矩形组装图像对应于2x3组装图像,其中所述2x3组装图像包括对接于两个1x3连接图像的长边缘处的所述两个1x3连接图像,每个3x1连接图像具有两个连续边界,并且所述2x3组装图像具有所述两个1x3连接图像的边界之间的三个不连续边界。7.如权利要求1中所述的处理立方体面图像的方法,其特征在于,所述将每六个立方体面图像的集合进行组装的步骤包括:将每六个立方体面图像的集合展开成连接网格;旋转所述连接网格的一个或多个立方体面图像,以形成两个连接尺寸为3的图像、三个尺寸为2的连接图像或一个尺寸为4的连接图像加两个尺寸为1的图像,其中尺寸为3的图像包括三个连续面图像,且每个尺寸为2的图像包括两个连续面图像;以及将所述两个连接尺寸为3的图像或所述三个尺寸为2的连接图像组装成一个6x1矩形组装图像、一个1x6矩形组装图像、一个3x2矩形组装图像或一个2x3矩形组装图像,或者将所述一个尺寸为4的连接图像加两个尺寸为1的图像组装成一个6x1矩形组装图像或一个1x6矩形组装图像。8.一种处理立方体面图像的装置,其特征在于,该装置包括一个或多个电子电路或处理器,用于:接收通过投影转换自360度全景视频序列中的每个球面图像转换的每六个立方体面图像的集合,其中每六个立方体面图像的集合对应于自每个球面图像投影到一立方体的六个面的六个子图像,以用于渲染360度虚拟现实;通过将每六个立方体面图像的集合进行组装,将每六个立方体面图像的集合转换成一个矩形组装图像,以最大化连续边界的数量并最小化不连续边界的数量,其中每个连续边界对应于具有从一个面到另一个面的连续内容的两个面之间的一个边界,并且每个不连续边界对应于具有从一个面到另一个面的不连续内容的两个面之间的一个边界;以及提供对应于包括矩形组装图像序列的视频序列的输出数据。9.如权利要求8中所述的处理立方体面图像的装置,其特征在于,所述一个或多个电子电路或处理器用于:将视频编解码应用于所述视频序列,其中所述输出数据包括所述视频序列的已压缩数据。10.如权利要求8中所述的处理立方体面图像的装置,其特征在于,所述矩形组装图像对应于6x1组装...
【专利技术属性】
技术研发人员:林鸿志,张胜凯,
申请(专利权)人:联发科技股份有限公司,
类型:发明
国别省市:中国台湾,71
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。