降低已编码虚拟现实图像中的不连续边界处的伪像的方法和装置制造方法及图纸

公开了处理360度虚拟现实图像的方法和装置。根据一种方法，2D(二维)帧被分成多个块。通过将对应于3D球体上的两个相邻块的任何两个块的增量量化参数限制在阈值内，使用量化参数对多个块进行编码或解码。根据另一实施例，将一个或多个保护带添加到一个或多个边缘，所述边缘在2D帧中是不连续的但在3D球体中是连续的。将淡化过程应用于所述一个或多个保护带以产生一个或多个淡化的保护带。在解码器侧，通过裁剪所述一个或多个解码的淡化保护带或通过混合所述一个或多个解码的淡化保护带和重建的复制区域，从解码的扩展2D帧生成重建的2D帧。

A Method and Device for Reducing Artifacts at Discontinuous Boundaries in Coded Virtual Reality Images

【技术实现步骤摘要】
【国外来华专利技术】降低已编码虚拟现实图像中的不连续边界处的伪像的方法和装置【交叉引用】本申请要求申请日为2017年7月19日，美国临时申请号为62/534，275以及申请日为2018年7月13日，美国申请号为16/034,601的美国申请案的优先权，上述临时申请案的内容一并并入本申请。
本专利技术有关于360度虚拟现实(virtualreality，简写为VR)图像的图像处理。更具体来说，本专利技术有关于通过使用后处理滤波(post-processingfiltering)来降低已编码VR图像中的不连续边界处的伪像(artifact)。
技术介绍
360度视频，也称为沉浸式视频，是一种新兴技术，可以提供“身临其境的感觉(feelingassensationofpresent)”。通过对用户围绕覆盖全景视图的环绕场景，特别是360度视野来实现沉浸感。通过立体渲染可以进一步改善“身临其境的感觉”。因此，全景视频被广泛用于虚拟现实(VR)应用中。沉浸式视频涉及使用多个相机捕获场景以覆盖全景视图，例如360度视野。沉浸式相机通常使用全景相机或一组相机布置来捕捉360度视野。通常，两个或更多个相机用做沉浸式相机。所有视频必须同时拍摄，并记录场景的单独片段(也称为单独的视角)。此外，该组摄像机通常被布置成水平地捕获视图，摄像机也可能是其他布置。可以使用360度球体形全景相机捕获360度虚拟现实(VR)图像，或者布置多个图像以覆盖360度的所有视野。使用传统的图像/视频处理设备难以处理或存储三维(3D)球体形图像。因此，通常使用3D到2D投影方法将360度VR图像转换为二维(2D)格式。例如，等距离长方圆柱体投影(ERP)和立方体贴图投影(cubemapprojection，简写为CMP)一直是常用的投影方法。因此，可以以等距离长方圆柱体投影格式存储360度图像(image)。等距离长方圆柱体投影将球体的整个表面映射到平面图像上。纵轴是纬度，横轴是经度。图1A示出了根据等距离长方圆柱体投影将球体110投射到矩形图像120中的示例，其中每个经度线被映射到ERP图片(picture)的垂直线。图1B示出了ERP图片130的示例。对于ERP投影，球体的北极和南极的区域比赤道附近的区域拉伸得更严重(即，从单个点到线)。此外，由于拉伸引起的失真，特别是在两极附近，预测编码工具经常无法做出良好的预测，导致编码效率降低。图2示出了具有六个面的立方体210，其中可以根据立方体贴图投影将360度虚拟现实(VR)图像投影到立方体上的六个面。有多种方法可以将六个面从立方体上取出(liftthesixfacesoffthecube)并将它们重新装入矩形图片中。图2所示的例子将六个面分成两个部分(220a和220b)，其中每个部分由三个连接面组成。这两个部分可以展开成两个条带(strip)(230a和230b)，其中每个条带对应于连续的图片。根据如图2所示的一个CMP布局，两个条带可以连接以形成矩形图片240。然而，由于存在一些空白区域，所以布局不是非常有效。因此，使用紧凑布局250，其中在两个条带(250a和250b)之间存在指示的边界252。但是，图像内容在每个条带内是连续的。除了ERP和CMP格式之外，还有各种其他VR投影格式，例如八面体投影(octahedronprojection，简写为OHP)、二十面体投影(icosahedronprojection，简写为ISP)、分段球体投影(segmentedsphereprojection，简写为SSP)和旋转球体投影(rotatedsphereprojection，简写为RSP)，它们在该领域被广泛使用。图3A示出了八面体投影(OHP)的示例，其中球体投影到8面的八面体310的面上。从八面体310拿出(liftedfrom)的八个面320可以通过切开面1和5之间的面边缘以及旋转面1和5以分别连接到面2和6，并对面3和7应用类似的处理，来将八个面转换为中间格式330。中间格式可以打包(pack)成矩形图片340。图3B示出了八面体投影(OHP)图片350的示例，其中指示了不连续的面边缘352和354。如布局格式340所示，不连续面边缘352和354对应于如布局320中所示的面1和面5之间的共用面边缘。图4A示出了二十面体投影(ISP)的示例，其中球体投影到20面的二十面体410的面上。来自二十面体410的二十个面420可以被打包成矩形图片430(称为投影布局)，其中不连续的面边界由粗虚线432指示。在图4B中示出了经由ISP的经转换的矩形图片440的示例，其中不连续的面边界由白色虚线442指示。在JVET-E0025(Zhang等人，“AHG8：SegmentedSphereProjectionfor360-degreevideo”，联合视频研究组(JointVideoExplorationTeam，简写为JVET)ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11，第5次会议：日内瓦，CH，2017年1月12日至20日，文件：JVET-E0025)中已经公开了分段球体投影(SSP)作为将球体形图像转换为SSP格式的方法。图5A示出了分段球体投影的示例，其中球体形图像500被映射到北极图像510、南极图像520和赤道分段图像530。3个区段的边界对应于纬度45°N(502)和45°S(504)，其中0°对应于赤道(506)。北极和南极映射到2个圆形区域(即510和520)，赤道段的投影可以与ERP或等面积投影(equal-areaprojection，简写为EAP)相同。圆的直径等于赤道段的宽度，因为极段(Polesegment)和赤道段具有90°纬度跨度。如图5B中的示例所示，北极图像510、南极图像520和赤道分段图像530可以被打包成矩形图像540，其中指示了不同分段之间的不连续边界542、544和546。图5C示出了旋转球体投影(RSP)的示例，其中球体550被划分为中间270°x90°区域552和剩余部分554。这两个RSP部分可以在顶侧和底侧进一步拉伸以产生变形部分556，其在顶部和底部具有椭圆形边界557和558，如虚线所示。图5D示出了RSP图片560的示例，其中两个旋转分段之间的不连续边界562和564由虚线指示。由于与虚拟现实相关联的图像或视频可能需要大量空间来存储或者需要大量带宽来传输，因此通常使用图像/视频压缩来减少所需的存储空间或传输带宽。然而，当三维(3D)虚拟现实图像被转换为二维(2D)图片时，通过各种投影方法，在打包的图片(packedpicture)中可能存在面之间的一些边界。例如，根据图2中的CMP，水平边界252存在于转换图像250的中间。面之间的边界也通过其他投影方法(如图3至图5所示)存在于转换图片中。如本领域人士所知，图像/视频编码通常导致原始图像/视频与重建图像/视频之间的一些失真，其在重建的图像/视频中表现出可见的伪像。图6A示出了用于ERP的球体上的重建3D图片中的伪像的示例。将原始3D球面图像610投影到2D帧620以进行压缩，这可以引入伪像。重建的2D帧被投射回3D球面图像630。在该示例中，图片内容从左边缘到右边缘本文档来自技高网...

【技术保护点】
1.一种处理360度虚拟现实图像的方法，该方法包括：接收2D(二维)帧的输入数据，其中使用目标投影从3D(三维)球体投射2D帧；将所述2D帧分成多个块；以及通过将对应于3D球体上的两个相邻块的任何两个块的增量量化参数限制在阈值内，使用量化参数对所述多个块进行编码或解码。

【技术特征摘要】
【国外来华专利技术】2017.07.19 US 62/534,275;2018.07.13 US 16/034,6011.一种处理360度虚拟现实图像的方法，该方法包括：接收2D(二维)帧的输入数据，其中使用目标投影从3D(三维)球体投射2D帧；将所述2D帧分成多个块；以及通过将对应于3D球体上的两个相邻块的任何两个块的增量量化参数限制在阈值内，使用量化参数对所述多个块进行编码或解码。2.根据权利要求1所述的方法，其特征在于，所述增量量化参数被限制为±x，并且其中x是大于0且小于2D帧的整个帧中的任何两个块的最大增量量化的整数。3.根据权利要求1所述的方法，其特征在于，目标投影对应于等距离长方圆柱体投影(ERP)和立方体贴图投影(CMP)、调整的立方体贴图投影(ACP)、等面积投影(EAP)、八面体投影(OHP)、二十面体投影(ISP)、分段球体投影(SSP)、旋转球体投影(RSP)或圆柱体投影(CLP)。4.一种用于处理360度虚拟现实图像的装置，其特征在于，该装置包括一个或多个电子设备或处理器，被配置为：接收2D(二维)帧的输入数据，其中使用目标投影从3D(三维)球体投影所述2D帧；将所述2D帧划分为多个块；以及通过将对应于3D球体上的两个相邻块的任何两个块的增量量化参数限制在阈值内，使用量化参数对所述多个块进行编码或解码。5.一种处理360度虚拟现实图像的方法，其特征在于，该方法包括：接收2D(二维)帧的输入数据，其中使用目标投影从3D(三维)球体投射所述2D帧；将一个或多个保护带添加到在所述2D帧中不连续但在所述3D球体中连续的一个或多个边缘，其中所述一个或多个保护带填充有填充数据；将淡化过程应用于所述一个或多个保护带以产生一个或多个淡化的保护带；以及编码包括具有所述一个或多个淡化保护带的所述2D帧的扩展2D帧。6.根据权利要求5所述的方法，其特征在于，使用几何填充来填充所述一个或多个保护带，并且其中所述几何填充使用所述3D球体上的相邻样本在所述2D帧的所述一个或多个边缘之外延伸样本。7.根据权利要...

【专利技术属性】
技术研发人员：施正轩，李佳盈，李亚璇，林鸿志，林建良，张胜凯，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71