一种滤波360度视频边界的方法及装置制造方法及图纸

本发明专利技术提供一种用于编码或者解码360度虚拟现实视频的视频系统。该系统执行滤波操作以减少全向图像的投影图像中的编码伪影和非连续性。该视频系统确定该投影图像的第一边缘和第二边缘。该第一边缘和该第二边缘物理上相关联而作为该全向图像中的公共边缘，但在该投影图像中不是物理连接。该系统基于位于该第一边缘附近的第一像素集和位于第二边缘附近的第二像素集计算滤波像素集。

【技术实现步骤摘要】
【国外来华专利技术】一种滤波360度视频边界的方法及装置交叉引用本专利技术主张在2016年07月15日提出的申请号为62/362,613的美国临时专利申请的优先权，主张在2016年09月08日提出的申请号为62/384,768的美国临时专利申请的优先权，主张在2017年07月12日提出的申请号为15/647,630的美国临时专利申请的优先权，其内容以引用方式整体并入本文中。
本专利技术涉及视频处理。更具体而言，本专利技术涉及一种滤波图像以用于360度虚拟现实(360-degreevirtualreality，360VR)视频呈现的方法。
技术介绍
除非此处另有说明外，本部分所描述的方法相对于权利要求而言不是现有技术，并且本部分包含的内容不被承认是现有技术。360度虚拟现实是变化的、增强的或者替代的环境的视听模拟。视觉实境视频环绕着用户，使得用户在向任何方向或者在任何任意视野角度上朝周围看时，感觉他或者她处于现实生活中。360度虚拟现实视频产生独特的高质量且高分辨率的全景视频，以在用于各种应用的打印和全景虚拟旅游产业中的使用，例如，娱乐、导向训练(pilottraining)、手术和在空间或者深水中的勘探。
技术实现思路
以下
技术实现思路
仅是说明性的，不打算以任何方式加以限制。也就是说，以下
技术实现思路
被提供以介绍此处所描述的新且非显而易见的技术的概念、重点、好处和优势。选择而不是所有的实施方式在下面的详细说明中进行进一步描述。因此，以下
技术实现思路
不用于确定所要求主题的本质特征，也不用于确定所要求主题的范围。本专利技术的一些实施例提供了一种用于编码或者解码360度虚拟现实视频的视频系统。该系统执行滤波操作以减少全向图像的投影图像中的编码伪影和非连续性。该视频系统确定该投影图像的第一边缘和第二边缘。该第一边缘和该第二边缘物理上相关联而作为该全向图像中的公共边缘，但在该投影图像中不是物理连接。该系统然后基于位于该第一边缘附近的第一像素(pixels)集和位于第二边缘附近的第二像素集计算滤波像素集本专利技术的一些实施例提供了一种用于编码或者解码360度虚拟现实视频的视频系统。该系统执行滤波操作以减少全向图像的投影图像中的编码伪影和非连续性。该视频系统确定该投影图像的第一边缘和第二边缘。该第一边缘和该第二边缘物理上相关联而作为该全向图像中的公共边缘，但在该投影图像中不是物理连接。该系统然后基于位于该第一边缘附近的第一像素集和位于第二边缘附近的第二像素集计算滤波像素集。在一些实施例中，该全向图像是具有多个面的多面体，并且，该投影图像包括该多面体的该多个面的布局。该第一边缘是该多面体的第一面的边缘，第二边缘是该多面体的第二面的边缘，该第一像素集位于该多面体的该第一面中，且该第二像素集位于该多面体的该第二面中。作为其滤波操作的一部分，该视频系统根据该第一面和该第二面之间的几何关系重新排列该多面体的第二面的多个像素。该几何关系由该投影图像中的该多面体的该多个面的布局定义。重新排列该第二面的多个像素可以包括基于该第一面和该第二面之间的该几何关系旋转或者跳过该第二面的多个像素。在一些实施例中，该第二面的该重新排列的多个像素被存储在该投影图像的与该第一边缘相邻的空白区域。在一些实施例中，该第二面的该重新排列的多个像素被存储在临时缓存器中，其中该临时缓存器不存储来自于该投影图像的空白区域的多个像素。该视频系统基于该第一面的多个像素和该第二面的该重新排列的多个像素计算用于该第一像素集和该第二像素集的滤波值集。附图说明提供下列图式以进一步理解本专利技术公开的内容，并且这些图式被纳入且构成本专利技术公开的一部分。这些图式说明了本专利技术的实施方式，并与说明书一起用以解释本专利技术的原理。为了清楚地说明本专利技术的概念，由于与实际实施方式中的尺寸相比，一些组件可以不按照比例被示出，这些图式无需按照比例绘制。图1概念性示出了全向图像(omnidirectionalimage)的已投影图像内的非连续性滤波。图2列出并示出了几种不同类型的多面体(platonicsolid)及其对应的2D投影。图3示出了在立方体格式中的全向图像到2D投影图像的投影。图4示出了在4x3立方体平面图像中公共边缘的确定。图5标出了执行用于全向图像的投影图像的滤波操作的360度虚拟现实视频系统。图6a概念性示出了穿过4x3立方体平面图像内物理连接的面之间边缘处的滤波。图6b概念性示出了穿过4x3立方体平面图像内非物理连接的面之间边缘处的滤波。图7示出了在空白区域中将面旋转或重排列的版本进行存储以便于在穿过4x3立方体平面图像内面的边缘进行滤波。图8示出了基于重新排列的面的投影图像的滤波。图9概念性示出了执行滤波以减少位于全向图像的投影图像的边缘或者边界附近的伪影(artifact)和非连续性的过程。图10概念性示出了执行滤波以减少多面体全向图像的投影图像中位于多面体面边缘附近的伪影和非连续性的过程。图11示出了实现360度虚拟现实视频系统的视频编码器或者视频编码装置。图12示出了实现360度虚拟现实视频系统的视频解码器或者视频解码装置。图13示出了基于视窗(viewport)切换约束的最大视频窗口尺寸。图14概念性示出了在本专利技术一些实施例中实现的电子系统。具体实施方式在下面详细的说明书中，为了透彻理解相关教示内容，通过举例的方式进行说明大量具体的细节。基于本文所描述的教示内容的任何改变、推导和/或拓展均在本专利技术的保护范围内。在一些例子中，为了避免不必要地混淆本专利技术的教示内容的方面，在相对较高的级别而无细节上描述已知的方法、程序、组件和/或关于此处所公开的一个或者多个示例性实施方式的电路。360度虚拟现实体验通常是基于二维(two-dimensional，2D)图像的视频，二维图像是全向图像的投影。几何上，全向图像采取环绕着观察者的三维(three-dimensional，3D)物体的内表面的形式。投影图像是全向图像在平面的投影。存在很多将全向图像投影到平面的方法。最常用的方法是等角投影(equirectangularprojection)，其将球体的全向图像投影到平面。(这类似于以平面上的矩形格式描述地球表面的制图学。)这类型的投影是一个简单的转换过程，其会导致在球体的不同维度处不同数量的失真。具体地，投影在球体的赤道附近具有最小失真或者免失真，而在球体的两极附近存在最大拉伸的最大失真。理论上，球体的全向图像没有边界或者边缘，因而没有非连续性。当将球形的全向图像投影到2D平面(例如，通过等角投影)时，全向的展开将图像进行分裂，并创建边缘(或者图像边界)，因而在图像的边缘处存在非连续性。(已投影图像的每个边缘也是图像的边缘。)被投影到多面体的表面上的球体的全向图像在多面体的不同面之间沿着每个面的边缘处存在非连续性。当多面体全向图像被投影到2D平面时，图像的展开创建更大的非连续性，如多面体的至少一些面变得相互分离一样。本专利技术的一些实施例提供一种视频系统，其执行沿着2D图像的边缘和/或边界滤波非连续性和/或编码伪影的方法，2D图像是360度虚拟现实视频的全向图像的投影。视频系统接收全向图像的投影图像。视频系统识别投影图像的第一边缘和第二边缘。第一边缘和第二边缘物理上相关联而作为全向图像内的公共边缘，但是在投影图像内不是物理连接的。本文档来自技高网...

【技术保护点】
1.一种方法，其特征在于，包括：接收全向图像的投影图像；确定该投影图像的第一边缘；确定该投影图像的第二边缘，其中该第一边缘和该第二边缘物理上相关联而作为该全向图像中的公共边缘，但在该投影图像中不是物理连接；以及基于位于该第一边缘附近的第一像素集和位于第二边缘附近的第二像素集计算滤波像素集。

【技术特征摘要】
【国外来华专利技术】2016.07.15 US 62/362,613;2016.09.08 US 62/384,768;1.一种方法，其特征在于，包括：接收全向图像的投影图像；确定该投影图像的第一边缘；确定该投影图像的第二边缘，其中该第一边缘和该第二边缘物理上相关联而作为该全向图像中的公共边缘，但在该投影图像中不是物理连接；以及基于位于该第一边缘附近的第一像素集和位于第二边缘附近的第二像素集计算滤波像素集。2.如权利要求1所述的方法，其中该滤波为去块滤波，该去块滤波减少穿过该公共边缘处的非连续性和压缩伪影。3.如权利要求1所述的方法，其特征在于，该全向图像是具有多个面的多面体，并且，该投影图像包括该多面体的该多个面的布局；该第一边缘是该多面体的第一面的边缘，第二边缘是该多面体的第二面的边缘，该第一像素集位于该多面体的该第一面中，且该第二像素集位于该多面体的该第二面中。4.如权利要求3所述的方法，其特征在于，该滤波包括：根据该第一面和该第二面之间的几何关系重新排列该多面体的第二面的多个像素，其中该几何关系由该投影图像中的该多面体的该多个面的布局定义。5.如权利要求4所述的方法，其特征在于，重新排列该第二面的多个像素包括：基于该第一面和该第二面之间的该几何关系旋转或者跳过该第二面的多个像素。6.如权利要求4所述的方法，其特征在于，该滤波还包括：将该第二面的该重新排列的多个像素存储在该投影图像的与该第一边缘相邻的空白区域。7.如权利要求4所述的方法，其特征在于，该滤波还包括：将该第二面的该重新排列的多个像素存储在临时缓存器中，其中该临时缓存器不存储来自于该投影图像的空白区域的多个像素。8.如权利要求4所述的方法，其特征在于，该滤波还包括：基于该第一面的多个像素和该第二面的该重新排列的多个像素计算用于该第一像素集和该第二像素集的滤波值集。9.如权利要求1所述的方法，其特征在于，该全向图像是球面，且该投影图像包括该球面的等角投影。10.如权利要求8所述的方法，其特征在于，该第一边...

【专利技术属性】
技术研发人员：许晓中，刘杉，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71