用于流传输和渲染的球形视频的转换和预处理制造技术

在一个实施例中，一种方法接收视频的球形内容并从球形内容生成面图像以表示视频中的图像。生成面图像的二维片材。减小面图像的尺寸，并且在片材上添加围绕所述多个面图像中的每一个面图像的像素帧。而且，在片材上相邻的面图像的边缘之间添加多个间隙。然后，该方法在所述多个间隙中添加间隙内容，其中间隙内容基于邻近所述多个间隙的区域中的内容。该方法对片材上的面图像、像素帧和间隙内容进行编码，并将经编码的片材发送到解码器。解码面图像以放置在物体结构上，以显示球形内容。

【技术实现步骤摘要】
【国外来华专利技术】用于流传输和渲染的球形视频的转换和预处理相关申请的交叉引用本申请要求于2017年3月21日提交的标题为“ConversionandPre-ProcessingofSphericalVideoforStreamingandRendering”的美国非临时申请No.15/464,883的权益和优先权，该申请要求于2016年3月21日提交的标题为“ConversionPre-ProcessingtoOptimize360DegreeSphericalVideoforStreamingandDisplay”的美国临时申请No.62/311,263的优先权，这两个申请的内容都通过引用整体上并入本文。
技术介绍
将360度虚拟现实(VR)内容编码成经典的矩形二维(2D)图像的常用格式是使用“等距长方圆柱(equirectangular)”格式。与制图中使用的经典地图投影类似，等距长方圆柱格式旨在通过在2D图像的矩形表面上给予球形(spherical)的所有区域相似的面积来尽可能准确地表示来自球形的表面的数据。结果所得的2D图像以具有严重扭曲的直线的原始内容为特征，其可以类似于极端广角照片中的扭曲线。可以在观看时将扭曲的线解码为未扭曲的三维(3D)图像；但是，当编码作为视频的一部分的图像时，扭曲的线给出了特别的困难。例如，图像的扭曲性质导致需要增加的数据来以给定的质量表示编码格式的视频。所需的附加数据增加了需要被编码的数据，这使用更多的带宽，从而使得以可接受的流传输带宽为虚拟现实体验提供视频成为挑战。另外，当虚拟现实体验是立体的(例如，每只眼睛有单独的图像)时，问题会恶化，因为需要编码和发送针对每只眼睛的图像数据。附图说明图1描绘了根据一个实施例的用于提供虚拟现实内容的简化系统。图2A描绘了根据一个实施例的用于预处理球形内容的方法的简化流程图。图2B示出了根据一个实施例的片材的示例。图3A描绘了根据一个实施例的用于将面图像放置在片材200上的方法的简化流程图。图3B示出了根据一个实施例的片材上的间隙的示例。图3C描绘了根据一个实施例的将像素线添加到当前面图像的示例。图4描绘了根据一个实施例的用于对编码视频流进行解码的方法的简化流程图。图5描绘了根据一个实施例的用于直接从2D图像在立方体结构上显示球形内容的方法的简化流程图。图6示出了根据一个实施例的分别针对两只眼睛的两张片材的示例。图7描绘了根据一个实施例的经由一个或多个通信网络与多个客户端设备通信的视频流传输系统。图8描绘了用于观看视频内容和广告的装置的示意图。具体实施方式本文描述的是用于视频处理系统的技术。在以下描述中，出于解释的目的，阐述了许多示例和具体细节，以便提供对特定实施例的透彻理解。由权利要求限定的特定实施例可以单独包括这些示例中的一些或全部特征，或者与下面描述的其它特征组合，并且还可以包括本文描述的特征和概念的修改和等同物。特定实施例向使用视频交付服务的用户提供用于流传输视频的虚拟现实体验。系统使用立方体映射(map)来表示虚拟现实设备周围的球形环境。立方体映射通过将数据投影到一组面图像(诸如投影到立方体的六个面上)来表示原始球形内容。当呈现给系统的用户时，立方体映射可以被解码，并且解码的图像包括非常低的扭曲水平。系统在内容被编码之前预处理内容，以改进编码和解码处理。例如，预处理从内容提供者接收“等距长方圆柱”格式的矩形二维(2D)图像。预处理对等距长方圆柱数据进行解码，以从原始球形内容生成面图像(诸如六个面图像)。面图像表示可以放置在物体(诸如立方体)的不同面上的图像。六个面图像布置在片材上的立方体映射中，以最大化编码收益。例如，预处理在片材上将具有自然边界的面图像的边缘挨着彼此对齐。而且，预处理在相邻的面图像的一些边缘之间添加间隙，以避免在面图像的边缘边界处的任何编码伪像。可以略微缩小面图像，以允许插入来自逻辑上相邻的立方体映射面的像素。生成这些附加像素，以便还允许在渲染时使用双线性过滤。在一个实施例中，特定实施例还添加附加图像(例如，mip-map)，以避免渲染期间的混叠伪像。图1描绘了根据一个实施例的用于提供虚拟现实内容的简化系统100。系统100包括编码系统102、视频服务器104和客户端设备106。系统100从内容提供者接收球形内容(例如，360度虚拟现实(VR)内容)并且可以在客户端设备106处提供360度虚拟现实体验。球形内容允许用户以360度观看视频。编码系统102包括视频预处理器108，其在视频由编码器110编码之前接收并预处理视频。在一个实施例中，视频预处理器108从内容提供者接收一种格式的球形内容(诸如“等距长方圆柱”格式的矩形二维(2D)图像)。视频预处理器108将等距长方圆柱数据解码成用于映射(诸如立方体映射)的面图像。面图像包括来自原始球形内容的内容。立方体映射将面图像布置在可以被编码的片材上。然后通过将面图像放置在诸如立方体结构之类的物体上，可以在向用户呈现时解码立方体映射。构成立方体映射的六个面图像的集合可以较适合于被压缩并且对图像提供低扭曲水平。然后，编码器110对视频的立方体映射进行编码。编码器110可以是使用编码标准之一的标准编码器。即使执行转换处理，对编码器110进行更改可能也是不需要的。然后，视频服务器104可以将压缩视频流发送到客户端设备106。客户端设备106中的三维(3D)硬件112包括解码器114和渲染器116。解码器114解码被编码为立方体映射的压缩视频。解码器114在渲染时将立方体映射解码为立方体格式。例如，六个面图像被解码。然后，渲染器116可以使用立方体结构渲染面图像。经渲染的面图像向观看视频的用户提供3D视频。然后，使用客户端106的用户可以使用客户端106来查看球形内容。在一个实施例中，在客户端106上运行的应用上呈现球形内容。例如，将内容放置在相机周围并且用户位于立方体内并可以360度观看内容。由于预处理，经渲染的3D视频避免了立方体结构的边缘边界处的伪影。预处理视频预处理器108将六个面图像布置成称为片材200的矩形二维图像。例如，视频预处理器108可以在片材200上的立方体映射中布置六个方形的面图像。视频预处理器108边缘到边缘地布置面图像，在对齐中对于改进解码的面图像给予优先级。例如，在片材200上，视频预处理器108尝试使立方体上自然彼此接近的边缘尽可能多地保持挨着彼此。这允许编码器110更好地编码跨边缘的移动。而且，视频预处理器108在布置边缘时给出主要地平线面(例如，左、右、前和顶面)优先级，因为这是大多数用户在大多数时间看向的地方。在一个实施例中，对于整个视频中的图像，视频预处理器108总是将左、右、前和顶面图像设置在相同位置。在另一个实施例中，视频预处理器108可以针对每个面图像分析边缘处的内容，以通过将内容的特点与阈值进行比较来确定哪些边缘具有最相似的内容(例如，来自两个面图像的内容的特点在阈值内是相似的)。然后，视频预处理器108可以将具有拥有相似内容的边缘的那些面图像在片材200中布置在一起。图2A描绘了根据一个实施例的用于预处理球形内容的方法的简化流程图201。在202处，编码系统102从内容提供者接收视频。例如，视频可以包括由视频交付服务提供的视频本文档来自技高网...

【技术保护点】
1.一种方法，包括：由计算设备接收视频的球形内容；由计算设备从球形内容生成用来表示视频中的图像的多个面图像；由计算设备生成用于所述多个面图像的二维片材，其中一个或多个面图像基于在物体结构上与所述一个或多个面图像相关联的位置而彼此挨着定位；由计算设备减小所述多个面图像的尺寸；由计算设备在片材上的所述多个面图像中的每一个面图像周围添加像素帧，该像素帧包括来自物体结构上的相邻面图像的像素；由计算设备在片材上挨着所述多个面图像的边缘添加多个间隙；由计算设备在所述多个间隙中添加间隙内容，其中间隙内容基于邻近所述多个间隙的区域中的内容；由计算设备对片材上的所述多个面图像、像素帧和间隙内容进行编码；以及由计算设备将经编码的片材发送到解码器，其中使用像素帧和间隙内容对所述多个面图像进行解码以放置在物体结构上，以显示球形内容。

【技术特征摘要】
【国外来华专利技术】2016.03.21 US 62/311,2631.一种方法，包括：由计算设备接收视频的球形内容；由计算设备从球形内容生成用来表示视频中的图像的多个面图像；由计算设备生成用于所述多个面图像的二维片材，其中一个或多个面图像基于在物体结构上与所述一个或多个面图像相关联的位置而彼此挨着定位；由计算设备减小所述多个面图像的尺寸；由计算设备在片材上的所述多个面图像中的每一个面图像周围添加像素帧，该像素帧包括来自物体结构上的相邻面图像的像素；由计算设备在片材上挨着所述多个面图像的边缘添加多个间隙；由计算设备在所述多个间隙中添加间隙内容，其中间隙内容基于邻近所述多个间隙的区域中的内容；由计算设备对片材上的所述多个面图像、像素帧和间隙内容进行编码；以及由计算设备将经编码的片材发送到解码器，其中使用像素帧和间隙内容对所述多个面图像进行解码以放置在物体结构上，以显示球形内容。2.如权利要求1所述的方法，其中：所述多个面图像包括六个面图像，以及物体结构包括具有六个侧面的立方体结构。3.如权利要求1所述的方法，其中物体结构显示在与观看视频的用户相关联的点周围的球形内容。4.如权利要求1所述的方法，其中通过执行以下操作将所述多个面图像定位在片材上：选择被指定有优先级的一组面图像；以及将具有自然边界的该组面图像挨着彼此定位在片材上。5.如权利要求4所述的方法，其中该组面图像包括前面图像、左面图像、右面图像和顶面图像。6.如权利要求1所述的方法，其中：球形内容采用等距长方圆柱格式，片材包括二维格式的所述多个面图像，其中二维格式的片材被编码，以及物体结构以三维格式显示所述多个面图像。7.如权利要求1所述的方法，其中所述多个间隙中的间隙仅被添加在片材上的面图像的相邻边缘之间。8.如权利要求1所述的方法，其中在所述多个间隙中添加间隙内容包括：基于邻近挨着面图像的间隙中的像素的像素的第二颜色，向间隙中的像素添加第一颜色。9.如权利要求8所述的方法，其中邻近间隙中的像素的像素已经从像素帧中的相邻面图像添加到面图像。10.如权利要求1所述的方法，其中间隙内容被用于对第一面图像执行过滤，以在物体结构上渲染第一面图像。11.如权利要求1所述的方法，其中不在物体结构上渲染间隙内容。12.如权利要求1所述的方法，其中：像素帧围绕所述多个面图像中的每个面图像，以及每个面图像仅在片材上相邻的所述多个面图像的边缘之间包括间隙。13.如权利要求1所述的方法，其中：片材的解码生成一组小型化的面图像，用于过滤面图像，以及像素帧的尺寸基于所需的该组...

【专利技术属性】
技术研发人员：J·埃格布雷赫特，T·恩格尔，J·彼得萨姆，
申请(专利权)人：胡露有限责任公司，
类型：发明
国别省市：美国,US