The invention discloses a video encoding or processing method and device for image sequence, which corresponds to virtual reality (VR) video. According to an embodiment of the present invention, a filling area outside the boundary of a cube surface frame of a cube surface frame is filled with one or more extended cubes to form a filling cube surface frame, in which at least one boundary cube surface of a cube surface frame has a filling area, and the filling area uses a filling area from the same cube surface frame. Pixel data derived from an extended cube surface.
【技术实现步骤摘要】
【国外来华专利技术】用于虚拟现实视频处理的边界填充的方法与装置相关引用本申请要求2016年6月7日递交的申请号为62/346,597的美国临时案的优先权,该美国临时专利申请案在此以参考纳入其中。
本专利技术涉及图像和视频编码和处理。特别地,本专利技术涉及用于视频编码或处理的填充立方体面帧(paddingcubicfaceframes),其需要在立方体面帧边界之外的像素数据。
技术介绍
360°视频(也称为沉浸式视频)是一种新兴技术,其可以提供“感觉身临其境(feelingassensationofpresent)”。通过围绕用户覆盖全景的环绕场景,特别是360度视野,使用户获得沉浸感。通过立体渲染可以进一步提高“感觉身临其境”。因此,全景视频在虚拟现实(VirtualReality,VR)应用中被广泛使用。沉浸式视频涉及使用多个相机来捕获一个场景,以覆盖全景视野,例如360度视野。沉浸式相机通常使用一组相机,可以捕获360度视野。通常,沉浸式相机使用两个或多个相机。所有视频必须被同时拍摄,并记录场景的分离片段(也称为单独视角)。此外,该组相机通常被布置成水平地捕获视图,然而相机的其它布置是可以的。360度全景相机捕获周围的场景,并且拼接的球面图像(stitchedsphericalimage)是用来表示在水平方向上连续的VR视频的一种方式。换句话说,球面图像的左端的内容与右端是连续的。球面图像也可以投影到立方体的六个面,作为替代的360度格式。可以通过投影转换来执行转换,以导出表示立方体的六个面的六个面图像(faceimage)。在立方体的面上,这六个图像在立方体的边缘处连接 ...
【技术保护点】
1.一种图像序列的视频编码或处理的方法,所述图像序列对应于虚拟现实视频,其特征在于,所述方法包括:接收对应于虚拟现实视频的所述图像序列,其中所述图像序列包括多个立方体面帧,并且每个立方体面帧包括来自立方体的表面的多个立方体面,并且其中所述每个立方体面帧的帧边界包括多个边界立方体面边缘,所述多个边界立方体面边缘对应于与所述帧边界相邻的多个边界立方体面;使用一个或多个扩展立方体面填充在一个立方体面帧的一个立方体面帧边界之外的填充区域,以形成填充的立方体帧,其中所述一个立方体面帧中的至少一个边界立方体面具有一个填充区域,所述一个填充区域使用从相同的立方体面帧中的一个扩展立方体面导出的像素数据,并且其中所述一个扩展立方体面是与所述至少一个边界立方体面不同的立方体面;以及使用所述填充的立方体面帧来编码或处理当前立方体面帧。
【技术特征摘要】
【国外来华专利技术】2016.06.07 US 62/346,597;2017.06.06 US 15/614,7541.一种图像序列的视频编码或处理的方法,所述图像序列对应于虚拟现实视频,其特征在于,所述方法包括:接收对应于虚拟现实视频的所述图像序列,其中所述图像序列包括多个立方体面帧,并且每个立方体面帧包括来自立方体的表面的多个立方体面,并且其中所述每个立方体面帧的帧边界包括多个边界立方体面边缘,所述多个边界立方体面边缘对应于与所述帧边界相邻的多个边界立方体面;使用一个或多个扩展立方体面填充在一个立方体面帧的一个立方体面帧边界之外的填充区域,以形成填充的立方体帧,其中所述一个立方体面帧中的至少一个边界立方体面具有一个填充区域,所述一个填充区域使用从相同的立方体面帧中的一个扩展立方体面导出的像素数据,并且其中所述一个扩展立方体面是与所述至少一个边界立方体面不同的立方体面;以及使用所述填充的立方体面帧来编码或处理当前立方体面帧。2.如权利要求1所述的图像序列的视频编码或处理的方法,其特征在于,其中所述一个立方体帧对应于一个1x6立方体布局,2x3立方体布局,3×2立方体布局或具有空白区域的立方体网格。3.如权利要求1所述的图像序列的视频编码或处理的方法,其特征在于,所述编码所述当前立方体面帧使用帧间预测,并且所述一个立方体面帧对应于在所述当前立方体面帧之前编码的一个参考立方体面帧。4.如权利要求1所述的图像序列的视频编码或处理的方法,其特征在于,如果使用帧间预测对所述当前立方体面帧中的当前区块进行编码,并且所述当前区块的运动向量指向所述填充的立方体面帧之外的参考像素,则从所述填充的立方体面帧的一个或多个边界像素复制所述填充的立方体面帧之外的所述参考像素。5.如权利要求1所述的图像序列的视频编码或处理的方法,其特征在于,对于目标边界立方体面边缘,将与对应的边界立方体面共享所述目标边界立方体面边缘的一个扩展立方体面复制到所述对应的边界立方体面的对应的填充区域。6.如权利要求5所述的图像序列的视频编码或处理的方法,其特征在于,如果在所述填充区域的角处的一个或多个角区域没有对应的的边界立方体面以导出填充数据,则使用一个或多个相邻边界立方体面来导出一个角区域中的像素数据。7.如权利要求6所述的图像序列的视频编码或处理的方法,其特征在于,使用基于线的填充,基于圆弧的填充,基于点的填充或基于区域的填充,来导出所述填充区域的一个角中的所述像素数据。8.如权利要求6所述的图像序列的视频编码或处理的方法,其特征在于,当使用基于线的填充时,连接来自一个角区域的两个相邻立方体面的两个对应的边界像素的线被分配相同的像素值。9.如权利要求6所述的图像序列的视频编码或处理的方法,其特征在于,当使用基于圆弧的填充时,连接来自一个角区域的两个相邻立方体面的两个对应的边界像素的圆弧曲线被分配相同的像素值,并且其中所述相同的像素值对应于所述两个对应的边界像素中的一个的像素值或所述两个对应的的边界像素的加权和。10.如权利要求6所述的图像序列的视频编码或处理的方法,其特征在于,当使用基于点的填充时,将与所述一个角区域的角像素或两个相邻立方体面中的另一像素的像素值相对应的相同的像素值分配给所述一个角区域。11.如权利要求10所述的图像序列的视频编码或处理的方法,其特征在于,所述像素值对应于滤波后的一个边界像素。12.如权利要求5所述的图像序列的视频编码或处理的方法,其特征在于,当使用基于区域的填充时,使用一个角区域的两个相邻立方体面中的一个来填充所述一个角区域,或者所述一个角区域被分成两个子角区域,并使用所述两个相邻立方体面的对应的子立方体面来填充。13.如权利要求1所述的图像序列的视频编码或处理的方法,其特征在于,使用与一个或多个对应的边界立方体面共享一个或多个边界立方体面边缘的目标扩展立方体面,来导出所述对应的边界立方体面的目标侧的对应的填充区域,并且其中所述一个或多个边界立方体面边缘与所述对应的边界立方体面的所述目标侧对准。14.如权利要求13所述的图像序列的视频编码或处理的方法,其特征在于,所述目标扩展立方体面被分割成多个区域,并且每个区域包括所述目标扩展立方体面的一个立方体面边缘,并且其中所述每个区域用于填充与所述每个区域共享相同的立方体面边缘的边界立方体面的对应的填充区域。15.如权利要求14所述的图像序列的视频编码或处理的方法,其特征在...
【专利技术属性】
技术研发人员:林建良,林鸿志,李佳盈,黄昭智,张胜凯,
申请(专利权)人:联发科技股份有限公司,
类型:发明
国别省市:中国台湾,71
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。