球面或者立方体图像序列的视频编码或者解码方法及装置制造方法及图纸

技术编号:18623965 阅读:27 留言:0更新日期:2018-08-08 01:43
本发明专利技术提供一种球面图像序列或者立方体图像序列的视频编码或者解码方法及装置。所述方法包括:识别出当前块的周围块,将超出垂直球面帧分界线或者当前立方体表面的立方体表面分界线的周围块映射到映射周围块,确定当前块的一个或多个可用映射周围块,使用与所述一个或多个可用映射周围块相关的模式信息生成模式信息参考,使用与所述一个或多个与当前块相关的模式信息编码或者解码当前块的模式信息。在另一种方法中,从可用映射周围块决定帧内预测像素。帧内预测像素用于当前块的编码或者解码。本发明专利技术通过利用球面图像序列或者立方体图像序列的内容连续性,改善其压缩效率。

Video encoding or decoding method and device for spherical or cube image sequences

The present invention provides a video encoding or decoding method and device for spherical image sequence or cube image sequence. The methods include: identifying the surrounding blocks of the current block, mapping the surrounding blocks beyond the vertical spherical frame dividing line or the cube surface boundary line of the current cube surface to the surrounding blocks, determining one or more available mappings around the current block, and using the related blocks around the one or more available mappings. The pattern information generates a pattern information reference, encoding or decoding the pattern information of the current block using the pattern information associated with the one or more current blocks. In another way, the intra prediction pixels are determined from the blocks around the available map. Intra prediction pixels are used for encoding or decoding of the current block. The invention improves the compression efficiency by utilizing the continuity of the content of the spherical image sequence or the cube image sequence.

【技术实现步骤摘要】
球面或者立方体图像序列的视频编码或者解码方法及装置优先权声明本申请主张在2017年01月30日提出申请的美国专利申请第15/418,931号的权利,且上述申请以引用方式并入本文中。
本专利技术的所公开实施例涉及图像和视频编码,且更具体而言,涉及一种球面图像序列或者从球面图像序列转换来的立方体图像序列的帧内预测与帧间预测的视频编码或者解码方法及装置。
技术介绍
360度视频,也称为沉浸式视频,是一种合并技术,其提供“感觉到当前的感觉”。通过用覆盖全景的环绕式场景来环绕用户,以实现沉浸式感觉,特别是360度全景。通过立体渲染进一步改善“感觉到当前的感觉”。因此,全景视频广泛应用于虚拟现实(VirtualReality,VR)应用中。沉浸式视频涉及通过使用多个摄像机来捕获场景以覆盖全景,例如360度全景。现有技术中,使用两个或者以上摄像机用于沉浸式摄像机。必须同时获取所有视频,并且记录该场景的独立片段(也称为独立的视角)。另外,通常设置一套摄像机来获取水平方向的视野,而可能采用其他排列的摄像机。图1示出了360度球面全景帧的处理流程的示例。使用360度球面全景摄像机来获取360度球面全景帧。球面图像处理单元110接收来自摄像机的原始图像数据,以形成360度球面全景图像的序列。球面图像处理包括图像拼接和摄像机校准。球面图像处理在本领域是公知的,在本专利技术中不作具体说明。投影转换单元120执行转换以获取立方体的六个立方体表面对应的六个表面立方体帧。由于360度图像序列需要较大存储空间或者较高的传输带宽,传统的视频编码装置130的视频编码将应用到该图像序列中,以降低所需要的存储空间或者传输带宽。传统的视频编码装置使用帧内/帧间预测来压缩输入视频数据。图1中的系统提供了球面图像序列的视频压缩系统(即,开关处于位置A)。图1中的系统也提供了立方体图像序列的视频压缩系统(即开关处于位置B)。在接收器侧或者显示器侧,视频解码装置140对该压缩视频数据进行解码,以恢复球面图像或者立方体图像(或者立方体表面)的序列,以在显示设备150(例如,VR显示器)上进行显示。该解码装置使用帧内/帧间预测来重构视频序列。由于与360度球面帧和立方体帧相关的数据通常比传统的2D(two-dimensional)视频大很多,采用视频压缩来检索所需要的存储空间或传输。因此,在传统的系统内,采用常规视频编码装置130和常规视频解码装置140,如H.264或者新型高效视频编码(HighEfficiencyVideoCoding,HEVC)。传统的视频编码将球面帧和立方体帧作为传统视频摄像机所获取的帧来处理,而忽略基于球面帧和立方体帧的独有特征。在传统的视频编码系统中,帧内预测和帧间预测通常用于自适应实现高压缩效率。对于帧内预测来说,当前块可以使用同一帧内位于相邻块内的重构像素来作为参考数据以获取帧内预测器(Intrapredictor)。对于帧间预测而言,一个或两个参考帧内的重构像素可以用于获取当前块的一个或两个预测块。在编码装置侧,运动估计(motionestimation,ME)用于确定一个或两个参考块,其实现最小速率失真(Rate-Distortion)成本或者最小失真。运动补偿(Motioncompensation,MC)用于识别出参考块。该参考块用于生成编码装置侧的帧间预测残差,并使用编码参考来生成解码装置侧的重构块。通常,ME和MC的处理执行复制填充,其在所选择的参考块超出或者跨越该参考帧的帧分界线时复制帧分界线像素。不同于传统2D视频,360度视频是图像序列,该图像序列表示所摄像机周围的整个环境。尽管这两个通常使用的投影格式,球面或者立方体格式,设置在长方形帧内,几何上,360度帧内没有分界线。由于传统视频编码忽略了球面帧或者立方体帧内的内容连续性的事实,这些信息是可用的且应用能改善压缩效率。因此,需要新的帧内预测和帧间预测技术来改善球面图像序列和立方体图像序列的压缩效率。
技术实现思路
根据本专利技术的实施例,本专利技术提出一种球面或者立方体图像序列的视频编码或者解码方法及装置来解决上述问题。根据本专利技术的第一方面,公开一种实例性的一种球面图像序列或者立方体图像序列的视频编码或者解码方法。该方法分别在视频编码装置或者解码装置中实现,包括:在所述编码装置端接收与球面图像序列或者立方体图像序列内的当前图像单元相关的输入数据,其中所述球面图像序列内的每个球面图像对应于一个360度全景图像,所述立方体图像序列内的每个立方体图像由展开立方体上的每组六个立方体表面而生成;确定在所述编码装置端待编码的所述当前图像单元内的当前块的周围块;根据每个球面图像或者每个立方体图像的内容连续性,将超出球面帧分界线或者超出当前立方体表面的立方体表面分界线的周围块映射到映射周围块,该映射周围块位于所述球面图像的另一部分内且在另一个球面帧分界线处,或者位于所述立方体图像内的连接立方体表面,其中在所述球面帧分界线或者所述立方体表面分界线内部的周围块的映射周围块是所述周围块本身;确定所述当前块的一个或多个可用映射周围块,其中,所述一个或多个可用映射周围块对应于比所述当前块先被编码的一个或多个映射的周围块;使用包含与所述一个或者多个可用映射周围块相关的模式信息的模式信息生成模式信息参考,其中所述模式信息与应用到所述当前块或者所述一个或多个可用映射周围块的帧内预测或者帧间预测相关,并且,与帧内预测相关的模式信息包括用于获取一个或多个最大概率模式的一个或多个帧内模式,与帧间预测相关的模式信息包括用于获取运动矢量预测的运动信息;在所述编码装置端使用所述模式信息参考,将与所述当前块相关的所述模式信息编码成与所述当前块相关的压缩比特;在所述编码装置端输出包含与所述当前块相关的压缩比特的比特流;或者,所述方法包括:在所述解码装置端接收包括具有所述当前图像单元的压缩数据的比特流;其中所述球面图像序列内的每个球面图像对应于一个360度全景图像,所述立方体图像序列内的每个立方体图像由展开立方体上的每组六个立方体表面而生成;确定在所述解码装置端待解码的所述当前图像单元内的当前块的周围块;根据每个球面图像或者每个立方体图像的内容连续性,将超出球面帧分界线或者超出当前立方体表面的立方体表面分界线的周围块映射到映射周围块,该映射周围块位于所述球面图像的另一部分内且在另一个球面帧分界线处,或者位于所述立方体图像内的连接立方体表面,其中在所述球面帧分界线或者所述立方体表面分界线内部的周围块的映射周围块是所述周围块本身;确定所述当前块的一个或多个可用映射周围块,其中,所述一个或多个可用映射周围块对应于比所述当前块先被解码的一个或多个映射的周围块;使用包含与所述一个或者多个可用映射周围块相关的模式信息的模式信息生成模式信息参考,其中所述模式信息与应用到所述当前块或者所述一个或多个可用映射周围块的帧内预测或者帧间预测相关,并且,与帧内预测相关的模式信息包括用于获取一个或多个最大概率模式的一个或多个帧内模式,与帧间预测相关的模式信息包括用于获取运动矢量预测的运动信息;在所述解码装置端使用所述模式信息参考,解码来自与所述当前块相关的压缩比特且与所述当前块相关的模式信息,并且根据与所述当前块相关的模式信息重构所述当本文档来自技高网
...

【技术保护点】
1.一种球面图像序列或者立方体图像序列的视频编码或者解码方法,分别在视频编码装置或者解码装置中实现,包括:在所述编码装置端接收与球面图像序列或者立方体图像序列内的当前图像单元相关的输入数据,其中所述球面图像序列内的每个球面图像对应于一个360度全景图像,所述立方体图像序列内的每个立方体图像由展开立方体上的每组六个立方体表面而生成;确定在所述编码装置端待编码的所述当前图像单元内的当前块的周围块;根据每个球面图像或者每个立方体图像的内容连续性,将超出球面帧分界线或者超出当前立方体表面的立方体表面分界线的周围块映射到映射周围块,该映射周围块位于所述球面图像的另一部分内且在另一个球面帧分界线处,或者位于所述立方体图像内的连接立方体表面,其中在所述球面帧分界线或者所述立方体表面分界线内部的周围块的映射周围块是所述周围块本身;确定所述当前块的一个或多个可用映射周围块,其中,所述一个或多个可用映射周围块对应于比所述当前块先被编码的一个或多个映射的周围块;使用包含与所述一个或者多个可用映射周围块相关的模式信息的模式信息生成模式信息参考,其中所述模式信息与应用到所述当前块或者所述一个或多个可用映射周围块的帧内预测或者帧间预测相关,并且,与帧内预测相关的模式信息包括用于获取一个或多个最大概率模式的一个或多个帧内模式,与帧间预测相关的模式信息包括用于获取运动矢量预测的运动信息;在所述编码装置端使用所述模式信息参考,将与所述当前块相关的所述模式信息编码成与所述当前块相关的压缩比特;在所述编码装置端输出包含与所述当前块相关的压缩比特的比特流;或者,所述方法包括:在所述解码装置端接收包括具有所述当前图像单元的压缩数据的比特流;其中所述球面图像序列内的每个球面图像对应于一个360度全景图像,所述立方体图像序列内的每个立方体图像由展开立方体上的每组六个立方体表面而生成;确定在所述解码装置端待解码的所述当前图像单元内的当前块的周围块;根据每个球面图像或者每个立方体图像的内容连续性,将超出球面帧分界线或者超出当前立方体表面的立方体表面分界线的周围块映射到映射周围块,该映射周围块位于所述球面图像的另一部分内且在另一个球面帧分界线处,或者位于所述立方体图像内的连接立方体表面,其中在所述球面帧分界线或者所述立方体表面分界线内部的周围块的映射周围块是所述周围块本身;确定所述当前块的一个或多个可用映射周围块,其中,所述一个或多个可用映射周围块对应于比所述当前块先被解码的一个或多个映射的周围块;使用包含与所述一个或者多个可用映射周围块相关的模式信息的模式信息生成模式信息参考,其中所述模式信息与应用到所述当前块或者所述一个或多个可用映射周围块的帧内预测或者帧间预测相关,并且,与帧内预测相关的模式信息包括用于获取一个或多个最大概率模式的一个或多个帧内模式,与帧间预测相关的模式信息包括用于获取运动矢量预测的运动信息;在所述解码装置端使用所述模式信息参考,解码来自与所述当前块相关的压缩比特且与所述当前块相关的模式信息,并且根据与所述当前块相关的模式信息重构所述当前块;在所述解码装置端输出包含所述重构的当前块的重构图像单元。...

【技术特征摘要】
2017.01.30 US 15/418,9311.一种球面图像序列或者立方体图像序列的视频编码或者解码方法,分别在视频编码装置或者解码装置中实现,包括:在所述编码装置端接收与球面图像序列或者立方体图像序列内的当前图像单元相关的输入数据,其中所述球面图像序列内的每个球面图像对应于一个360度全景图像,所述立方体图像序列内的每个立方体图像由展开立方体上的每组六个立方体表面而生成;确定在所述编码装置端待编码的所述当前图像单元内的当前块的周围块;根据每个球面图像或者每个立方体图像的内容连续性,将超出球面帧分界线或者超出当前立方体表面的立方体表面分界线的周围块映射到映射周围块,该映射周围块位于所述球面图像的另一部分内且在另一个球面帧分界线处,或者位于所述立方体图像内的连接立方体表面,其中在所述球面帧分界线或者所述立方体表面分界线内部的周围块的映射周围块是所述周围块本身;确定所述当前块的一个或多个可用映射周围块,其中,所述一个或多个可用映射周围块对应于比所述当前块先被编码的一个或多个映射的周围块;使用包含与所述一个或者多个可用映射周围块相关的模式信息的模式信息生成模式信息参考,其中所述模式信息与应用到所述当前块或者所述一个或多个可用映射周围块的帧内预测或者帧间预测相关,并且,与帧内预测相关的模式信息包括用于获取一个或多个最大概率模式的一个或多个帧内模式,与帧间预测相关的模式信息包括用于获取运动矢量预测的运动信息;在所述编码装置端使用所述模式信息参考,将与所述当前块相关的所述模式信息编码成与所述当前块相关的压缩比特;在所述编码装置端输出包含与所述当前块相关的压缩比特的比特流;或者,所述方法包括:在所述解码装置端接收包括具有所述当前图像单元的压缩数据的比特流;其中所述球面图像序列内的每个球面图像对应于一个360度全景图像,所述立方体图像序列内的每个立方体图像由展开立方体上的每组六个立方体表面而生成;确定在所述解码装置端待解码的所述当前图像单元内的当前块的周围块;根据每个球面图像或者每个立方体图像的内容连续性,将超出球面帧分界线或者超出当前立方体表面的立方体表面分界线的周围块映射到映射周围块,该映射周围块位于所述球面图像的另一部分内且在另一个球面帧分界线处,或者位于所述立方体图像内的连接立方体表面,其中在所述球面帧分界线或者所述立方体表面分界线内部的周围块的映射周围块是所述周围块本身;确定所述当前块的一个或多个可用映射周围块,其中,所述一个或多个可用映射周围块对应于比所述当前块先被解码的一个或多个映射的周围块;使用包含与所述一个或者多个可用映射周围块相关的模式信息的模式信息生成模式信息参考,其中所述模式信息与应用到所述当前块或者所述一个或多个可用映射周围块的帧内预测或者帧间预测相关,并且,与帧内预测相关的模式信息包括用于获取一个或多个最大概率模式的一个或多个帧内模式,与帧间预测相关的模式信息包括用于获取运动矢量预测的运动信息;在所述解码装置端使用所述模式信息参考,解码来自与所述当前块相关的压缩比特且与所述当前块相关的模式信息,并且根据与所述当前块相关的模式信息重构所述当前块;在所述解码装置端输出包含所述重构的当前块的重构图像单元。2.如权利要求1中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,当所述当前块位于球面图像的左帧分界线时,将所述当前块的左边缘的一个或多个周围块水平映射到所述球面图像的右帧分界线。3.如权利要求1中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,当所述当前块位于球面图像的右帧分界线时,将所述当前块的右边缘的一个或多个周围块水平映射到所述球面图像的左帧分界线。4.如权利要求1中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,当所述当前块位于立方体图像的当前立方体表面分界线时,将超出所述当前立方体表面的一个或多个周围块圆形地映射到一个或多个连接立方体表面,其中每个连接立方体表面与所述当前的立方体表面在具有同一圆形边缘标记的同一圆形边缘处连接。5.如权利要求1中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,在所述模式信息与所述帧内预测相关时,所述模式信息参考对应于最大概率模式,其中所述帧内预测应用于所述当前块或者所述一个或多个可用映射周围块。6.如权利要求1中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,在所述模式信息与所述帧内预测相关时,所述模式信息参考对应于一个或多个可用映射周围块的帧内预测像素,其中所述帧内预测应用于所述当前块或者所述一个或多个可用映射周围块。7.如权利要求1中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,在所述模式信息与所述帧间预测相关时,所述模式信息参考对应于运动矢量预测,其中所述帧内预测应用于所述当前块或者所述一个或多个可用映射周围块。8.如权利要求7中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,所述模式信息包括运动矢量、参考图像列表、参考图像索引或者其结合。9.如权利要求7中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,所述一个或多个可用映射周围块用作空间相邻块,以及一个或多个不可用映射周围块的相同位置块用作时间相邻块,用于获取所述运动矢量预测。10.如权利要求9中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,使用与所述空间相邻块和所述时间相邻块相关的运动信息生成运动矢量预测候选列表。11.一种球面图像序列或者立方体图像序列的视频编码或者解码装置,包括一个或多个电子电路或者处理器,用于:在所述编码装置端接收与球面图像序列或者立方体图像序列内的当前图像单元相关的输入数据,其中所述球面图像序列内的每个球面图像对应于一个360度全景图像,所述立方体图像序列内的每个立方体图像由展开立方体上的每组六个立方体表面而生成;确定在所述编码装置端待编码的所述当前图像单元内的当前块的周围块;根据每个球面图像或者每个立方体图像的内容连续性,将超出球面帧分界线或者超出当前立方体表面的立方体表面分界线的周围块映射到映射周围块,该映射周围块位于所述球面图像的另一部分内且在另一个球面帧分界线处,或者位于所述立方体图像内的连接立方体表面,其中在所述球面帧分界线或者所述立方体表面分界线内部的周围块的映射周围块是所述周围块本身;确定所述当前块的一个或多个可用映射周围块,其中,所述一个或多个可用映射周围块对应于比所述当前块先被编码的一个或多个映射的周围块;使用包含与所述一个或者多个可用映射周围块相关的模式信息的模式信息生成模式信息参考,其中所述模式信息与应用到所述当前块或者所述一个或多个可用映射周围块的帧内预测或者帧间预测相关,并且,与帧内预测相关的模式信息包括用于获取一个或多个最大概率模式的一个或多个帧内模式,与帧间预测相关的模式信息包括用于获取运动矢量预测的运动信息;在所述编码装置端使用所述模式信息生成模式信息参考,将与所述当前块相关的所述模式信...

【专利技术属性】
技术研发人员:林鸿志张胜凯
申请(专利权)人:联发科技股份有限公司
类型:发明
国别省市:中国台湾,71

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1