The present invention provides a video encoding or decoding method and device for spherical image sequence or cube image sequence. The methods include: identifying the surrounding blocks of the current block, mapping the surrounding blocks beyond the vertical spherical frame dividing line or the cube surface boundary line of the current cube surface to the surrounding blocks, determining one or more available mappings around the current block, and using the related blocks around the one or more available mappings. The pattern information generates a pattern information reference, encoding or decoding the pattern information of the current block using the pattern information associated with the one or more current blocks. In another way, the intra prediction pixels are determined from the blocks around the available map. Intra prediction pixels are used for encoding or decoding of the current block. The invention improves the compression efficiency by utilizing the continuity of the content of the spherical image sequence or the cube image sequence.
【技术实现步骤摘要】
球面或者立方体图像序列的视频编码或者解码方法及装置优先权声明本申请主张在2017年01月30日提出申请的美国专利申请第15/418,931号的权利,且上述申请以引用方式并入本文中。
本专利技术的所公开实施例涉及图像和视频编码,且更具体而言,涉及一种球面图像序列或者从球面图像序列转换来的立方体图像序列的帧内预测与帧间预测的视频编码或者解码方法及装置。
技术介绍
360度视频,也称为沉浸式视频,是一种合并技术,其提供“感觉到当前的感觉”。通过用覆盖全景的环绕式场景来环绕用户,以实现沉浸式感觉,特别是360度全景。通过立体渲染进一步改善“感觉到当前的感觉”。因此,全景视频广泛应用于虚拟现实(VirtualReality,VR)应用中。沉浸式视频涉及通过使用多个摄像机来捕获场景以覆盖全景,例如360度全景。现有技术中,使用两个或者以上摄像机用于沉浸式摄像机。必须同时获取所有视频,并且记录该场景的独立片段(也称为独立的视角)。另外,通常设置一套摄像机来获取水平方向的视野,而可能采用其他排列的摄像机。图1示出了360度球面全景帧的处理流程的示例。使用360度球面全景摄像机来获取360度球面全景帧。球面图像处理单元110接收来自摄像机的原始图像数据,以形成360度球面全景图像的序列。球面图像处理包括图像拼接和摄像机校准。球面图像处理在本领域是公知的,在本专利技术中不作具体说明。投影转换单元120执行转换以获取立方体的六个立方体表面对应的六个表面立方体帧。由于360度图像序列需要较大存储空间或者较高的传输带宽,传统的视频编码装置130的视频编码将应用到该图像序列中,以降低 ...
【技术保护点】
1.一种球面图像序列或者立方体图像序列的视频编码或者解码方法,分别在视频编码装置或者解码装置中实现,包括:在所述编码装置端接收与球面图像序列或者立方体图像序列内的当前图像单元相关的输入数据,其中所述球面图像序列内的每个球面图像对应于一个360度全景图像,所述立方体图像序列内的每个立方体图像由展开立方体上的每组六个立方体表面而生成;确定在所述编码装置端待编码的所述当前图像单元内的当前块的周围块;根据每个球面图像或者每个立方体图像的内容连续性,将超出球面帧分界线或者超出当前立方体表面的立方体表面分界线的周围块映射到映射周围块,该映射周围块位于所述球面图像的另一部分内且在另一个球面帧分界线处,或者位于所述立方体图像内的连接立方体表面,其中在所述球面帧分界线或者所述立方体表面分界线内部的周围块的映射周围块是所述周围块本身;确定所述当前块的一个或多个可用映射周围块,其中,所述一个或多个可用映射周围块对应于比所述当前块先被编码的一个或多个映射的周围块;使用包含与所述一个或者多个可用映射周围块相关的模式信息的模式信息生成模式信息参考,其中所述模式信息与应用到所述当前块或者所述一个或多个可用映射周围块 ...
【技术特征摘要】
2017.01.30 US 15/418,9311.一种球面图像序列或者立方体图像序列的视频编码或者解码方法,分别在视频编码装置或者解码装置中实现,包括:在所述编码装置端接收与球面图像序列或者立方体图像序列内的当前图像单元相关的输入数据,其中所述球面图像序列内的每个球面图像对应于一个360度全景图像,所述立方体图像序列内的每个立方体图像由展开立方体上的每组六个立方体表面而生成;确定在所述编码装置端待编码的所述当前图像单元内的当前块的周围块;根据每个球面图像或者每个立方体图像的内容连续性,将超出球面帧分界线或者超出当前立方体表面的立方体表面分界线的周围块映射到映射周围块,该映射周围块位于所述球面图像的另一部分内且在另一个球面帧分界线处,或者位于所述立方体图像内的连接立方体表面,其中在所述球面帧分界线或者所述立方体表面分界线内部的周围块的映射周围块是所述周围块本身;确定所述当前块的一个或多个可用映射周围块,其中,所述一个或多个可用映射周围块对应于比所述当前块先被编码的一个或多个映射的周围块;使用包含与所述一个或者多个可用映射周围块相关的模式信息的模式信息生成模式信息参考,其中所述模式信息与应用到所述当前块或者所述一个或多个可用映射周围块的帧内预测或者帧间预测相关,并且,与帧内预测相关的模式信息包括用于获取一个或多个最大概率模式的一个或多个帧内模式,与帧间预测相关的模式信息包括用于获取运动矢量预测的运动信息;在所述编码装置端使用所述模式信息参考,将与所述当前块相关的所述模式信息编码成与所述当前块相关的压缩比特;在所述编码装置端输出包含与所述当前块相关的压缩比特的比特流;或者,所述方法包括:在所述解码装置端接收包括具有所述当前图像单元的压缩数据的比特流;其中所述球面图像序列内的每个球面图像对应于一个360度全景图像,所述立方体图像序列内的每个立方体图像由展开立方体上的每组六个立方体表面而生成;确定在所述解码装置端待解码的所述当前图像单元内的当前块的周围块;根据每个球面图像或者每个立方体图像的内容连续性,将超出球面帧分界线或者超出当前立方体表面的立方体表面分界线的周围块映射到映射周围块,该映射周围块位于所述球面图像的另一部分内且在另一个球面帧分界线处,或者位于所述立方体图像内的连接立方体表面,其中在所述球面帧分界线或者所述立方体表面分界线内部的周围块的映射周围块是所述周围块本身;确定所述当前块的一个或多个可用映射周围块,其中,所述一个或多个可用映射周围块对应于比所述当前块先被解码的一个或多个映射的周围块;使用包含与所述一个或者多个可用映射周围块相关的模式信息的模式信息生成模式信息参考,其中所述模式信息与应用到所述当前块或者所述一个或多个可用映射周围块的帧内预测或者帧间预测相关,并且,与帧内预测相关的模式信息包括用于获取一个或多个最大概率模式的一个或多个帧内模式,与帧间预测相关的模式信息包括用于获取运动矢量预测的运动信息;在所述解码装置端使用所述模式信息参考,解码来自与所述当前块相关的压缩比特且与所述当前块相关的模式信息,并且根据与所述当前块相关的模式信息重构所述当前块;在所述解码装置端输出包含所述重构的当前块的重构图像单元。2.如权利要求1中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,当所述当前块位于球面图像的左帧分界线时,将所述当前块的左边缘的一个或多个周围块水平映射到所述球面图像的右帧分界线。3.如权利要求1中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,当所述当前块位于球面图像的右帧分界线时,将所述当前块的右边缘的一个或多个周围块水平映射到所述球面图像的左帧分界线。4.如权利要求1中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,当所述当前块位于立方体图像的当前立方体表面分界线时,将超出所述当前立方体表面的一个或多个周围块圆形地映射到一个或多个连接立方体表面,其中每个连接立方体表面与所述当前的立方体表面在具有同一圆形边缘标记的同一圆形边缘处连接。5.如权利要求1中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,在所述模式信息与所述帧内预测相关时,所述模式信息参考对应于最大概率模式,其中所述帧内预测应用于所述当前块或者所述一个或多个可用映射周围块。6.如权利要求1中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,在所述模式信息与所述帧内预测相关时,所述模式信息参考对应于一个或多个可用映射周围块的帧内预测像素,其中所述帧内预测应用于所述当前块或者所述一个或多个可用映射周围块。7.如权利要求1中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,在所述模式信息与所述帧间预测相关时,所述模式信息参考对应于运动矢量预测,其中所述帧内预测应用于所述当前块或者所述一个或多个可用映射周围块。8.如权利要求7中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,所述模式信息包括运动矢量、参考图像列表、参考图像索引或者其结合。9.如权利要求7中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,所述一个或多个可用映射周围块用作空间相邻块,以及一个或多个不可用映射周围块的相同位置块用作时间相邻块,用于获取所述运动矢量预测。10.如权利要求9中所述的球面图像序列或者立方体图像序列的视频编码或者解码方法,其特征在于,使用与所述空间相邻块和所述时间相邻块相关的运动信息生成运动矢量预测候选列表。11.一种球面图像序列或者立方体图像序列的视频编码或者解码装置,包括一个或多个电子电路或者处理器,用于:在所述编码装置端接收与球面图像序列或者立方体图像序列内的当前图像单元相关的输入数据,其中所述球面图像序列内的每个球面图像对应于一个360度全景图像,所述立方体图像序列内的每个立方体图像由展开立方体上的每组六个立方体表面而生成;确定在所述编码装置端待编码的所述当前图像单元内的当前块的周围块;根据每个球面图像或者每个立方体图像的内容连续性,将超出球面帧分界线或者超出当前立方体表面的立方体表面分界线的周围块映射到映射周围块,该映射周围块位于所述球面图像的另一部分内且在另一个球面帧分界线处,或者位于所述立方体图像内的连接立方体表面,其中在所述球面帧分界线或者所述立方体表面分界线内部的周围块的映射周围块是所述周围块本身;确定所述当前块的一个或多个可用映射周围块,其中,所述一个或多个可用映射周围块对应于比所述当前块先被编码的一个或多个映射的周围块;使用包含与所述一个或者多个可用映射周围块相关的模式信息的模式信息生成模式信息参考,其中所述模式信息与应用到所述当前块或者所述一个或多个可用映射周围块的帧内预测或者帧间预测相关,并且,与帧内预测相关的模式信息包括用于获取一个或多个最大概率模式的一个或多个帧内模式,与帧间预测相关的模式信息包括用于获取运动矢量预测的运动信息;在所述编码装置端使用所述模式信息生成模式信息参考,将与所述当前块相关的所述模式信...
【专利技术属性】
技术研发人员:林鸿志,张胜凯,
申请(专利权)人:联发科技股份有限公司,
类型:发明
国别省市:中国台湾,71
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。