基于视点的全景视频内容表示的方法及装置制造方法及图纸

本发明专利技术涉及一种基于视点的全景视频内容表示的方法及装置，通过获取用户的视点信息；获取全景视频，对全景视频中的每个视频帧进行分块处理；根据用户的视点信息，对视频帧中的每个分块进行转换，得到转换后的分块；对转换后的分块进行重采样操作，将重采样后的分块拼接为新的视频帧，并以新的视频帧组合形成基于视点的全景视频内容表示。从而实现对给定的观看朝向，可以将用户视窗范围内的内容和其他区域的内容进行非对等的表示，使得全景视频内容表示是基于用户视点的，从而在向用户传输全景视频时，可以基于用户的视点，将以该视点表示的全景视频传输给用户，从而达到减少全景视频的数据量、降低视频分辨率、压缩视频码率的目的。

【技术实现步骤摘要】
基于视点的全景视频内容表示的方法及装置
本专利技术涉及多媒体领域，尤其涉及一种基于视点的全景视频内容表示的方法及装置。
技术介绍
随着多媒体技术的发展，虚拟现实技术(VR)受到工业界和学术界的广泛关注。其中，全景视频，如360度视频、全方位视频的应用得到了广泛的使用。虚拟现实视频的数据量通常非常大，这就使得对于全景视频的压缩码率和网络传输成为最大的挑战。例如，一个分辨率为4Kx2K以ERP方式映射的全景视频在压缩编码后码率可达15Mbps～20Mbps，一个分辨率为8Kx4K以ERP方式映射的全景视频在压缩编码后码率可达70Mbps～100Mbps。全景视频高分辨率、高码率的特性阻碍了其互联网应用的发展。另外，用户在观看全景视频时实际上只看到了视窗内的视频内容，其他区域的内容并没有被用户看到。因此，将全景视频的全部内容(视窗内及视窗外的内容)传输到客户端造成了带宽浪费。
技术实现思路
本专利技术提供一种基于视点的全景视频内容表示的方法及装置，通过基于给定的观看朝向，对于视窗范围内的内容和其他区域的内容进行非对等的表示，使得全景视频内容表示是基于用户视点的，从而在向用户传输全景视频时，可以基于用户的视点，将以该视点表示的全景视频传输给用户，从而达到减少全景视频的数据量、降低视频分辨率、压缩视频码率的目的。本专利技术提供一种基于视点的全景视频内容表示的方法，包括：获取配置信息，所述配置信息中包含有：用户的视点信息；获取全景视频，对所述全景视频中的每个视频帧进行分块处理；根据所述用户的视点信息，对视频帧中的每个分块进行转换，得到转换后的分块；对所述转换后的分块进行重采样操作，将重采样后的分块拼接为新的视频帧，并以所述新的视频帧组合形成所述基于视点的全景视频内容表示。可选的，所述对所述全景视频中的每个视频帧进行分块处理，包括：将视频帧进行宽N等分、高M等分，得到MxN个大小相同的分块。可选的，所述根据所述用户的视点信息，对视频帧中的每个分块进行转换，得到转换后的分块，包括：根据所述用户的视点信息，确定视频帧中每个分块的观看概率；根据所述每个分块的观看概率，在视频帧内所有转换后的分块的失真满足最小值的情况下，确定转换后的分块的大小。可选的，所述对所述转换后的分块进行重采样操作，包括：若转换后的分块的大小与转换前的分块的大小不同，则对该转换后的分块进行下采样操作。可选的，所述配置信息，还包括：码率、分辨率；相应的，所述以所述新的视频帧组合形成所述基于视点的全景视频内容表示，包括：根据不同的所述视点信息、所述码率、所述分辨率，将新的视频帧组合形成多个媒体片断集合，其中每个集合中的媒体片断具有特定的视点信息、码率和分辨率；根据用户的视点信息，在不同的媒体片断集合中确定媒体片断，并组合形成所述全景视频内容以发送给用户。本专利技术还提供一种基于视点的全景视频内容表示的装置，包括：获取模块，用于获取配置信息，所述配置信息中包含有：用户的视点信息；还用于获取全景视频；处理模块，用于对所述全景视频中的每个视频帧进行分块处理；根据所述用户的视点信息，对视频帧中的每个分块进行转换，得到转换后的分块；对所述转换后的分块进行重采样操作，将重采样后的分块拼接为新的视频帧，并以所述新的视频帧组合形成所述基于视点的全景视频内容表示。可选的，所述处理模块，包括：分块模块，用于将视频帧进行宽N等分、高M等分，得到MxN个大小相同的分块。可选的，所述处理模块，还包括：确定模块，用于根据所述用户的视点信息，确定视频帧中每个分块的观看概率；根据所述每个分块的观看概率，在视频帧内所有转换后的分块的失真满足最小值的情况下，确定转换后的分块的大小。可选的，所述处理模块，还包括：采样模块，用于当转换后的分块的大小与转换前的分块的大小不同时，对该转换后的分块进行下采样操作。可选的，所述配置信息，还包括：码率、分辨率；相应的，所述处理模块，包括：组合模块，用于根据不同的所述视点信息、所述码率、所述分辨率，将新的视频帧组合形成多个媒体片断集合，其中每个集合中的媒体片断具有特定的视点信息、码率和分辨率；确定模块，用于根据用户的视点信息，在不同的媒体片断集合中确定媒体片断，并组合形成所述全景视频内容以发送给用户。本专利技术的基于视点的全景视频内容表示的方法及装置，通过获取配置信息，该配置信息中包含有：用户的视点信息；获取全景视频，对全景视频中的每个视频帧进行分块处理；根据用户的视点信息，对视频帧中的每个分块进行转换，得到转换后的分块；对转换后的分块进行重采样操作，将重采样后的分块拼接为新的视频帧，并以新的视频帧组合形成基于视点的全景视频内容表示。从而实现对给定的观看朝向，可以将用户视窗范围内的内容和其他区域的内容进行非对等的表示，使得全景视频内容表示是基于用户视点的，从而在向用户传输全景视频时，可以基于用户的视点，将以该视点表示的全景视频传输给用户，从而达到减少全景视频的数据量、降低视频分辨率、压缩视频码率的目的。附图说明图1为全景视频内容生成的流程示意图；图2为本专利技术一示例性实施例示出的基于视点的全景视频内容表示的方法的流程示意图；图3为本专利技术另一示例性实施例示出的基于视点的全景视频内容表示的方法的流程示意图；图4为本专利技术一示例性实施例示出的基于视点的全景视频内容表示的装置的结构示意图；图5为本专利技术另一示例性实施例示出的基于视点的全景视频内容表示的装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。首先对全景视频内容的生成进行说明，在2016年6月，MPEG提出了全方位媒体应用格式标准草案。在制作全景视频时，通常用若干个摄像头录制真实世界的视觉场景。同一时刻的摄像头输出的视频帧(图像)需要经过拼接、投影、映射后封装成一个二维平面数据帧才能进行视频编码。如图1所示，为全景视频内容生成的流程示意图。其中，拼接指的是将多个摄像头同一时刻采集的图像，通过特征点匹配、融合等技术还原真实世界视觉场。图像经过拼接后将投影到一个三维投影结构上，例如一个球体或者立方体。由于投影结构是三维的，但目前广泛使用的编码器是针对二维平面视频进行编码的，所以需要将投影结构上的图像进一步地映射到一个二维平面，得到一个二维映射后的数据帧后才能进行视频压缩编码。目前常用的映射方法有EquirectangularProjection(ERP)、CubemapProjection(CMP)等。最后，视频编码器对视频序列进行编码，得到编码压缩的视频流。而本专利技术方法是针对图1所示的二维映射后所封装的全景视频进行基于视点的全景视频内容表示。之所以要基于视点对全景视频进行内容表示，主要是如在
技术介绍
中介绍的由于全景视频数据量大，压缩码率和网络传输是最大的挑战，同时，现有技术中的全景视频内容表示会导致用户头部微转时，用户视窗内渲染的内容出现模糊、边界效应等问题。为解决上述问题，本专利技术会在视频编码前会基于视点对全景视频内容进行表示。然后，网络中的客户本文档来自技高网...

【技术保护点】
1.一种基于视点的全景视频内容表示的方法，其特征在于，包括：获取配置信息，所述配置信息中包含有：用户的视点信息；获取全景视频，对所述全景视频中的每个视频帧进行分块处理；根据所述用户的视点信息，对视频帧中的每个分块进行转换，得到转换后的分块；对所述转换后的分块进行重采样操作，将重采样后的分块拼接为新的视频帧，并以所述新的视频帧组合形成所述基于视点的全景视频内容表示。

【技术特征摘要】
1.一种基于视点的全景视频内容表示的方法，其特征在于，包括：获取配置信息，所述配置信息中包含有：用户的视点信息；获取全景视频，对所述全景视频中的每个视频帧进行分块处理；根据所述用户的视点信息，对视频帧中的每个分块进行转换，得到转换后的分块；对所述转换后的分块进行重采样操作，将重采样后的分块拼接为新的视频帧，并以所述新的视频帧组合形成所述基于视点的全景视频内容表示。2.根据权利要求1所述的方法，其特征在于，所述对所述全景视频中的每个视频帧进行分块处理，包括：将视频帧进行宽N等分、高M等分，得到MxN个大小相同的分块。3.根据权利要求2所述的方法，其特征在于，所述根据所述用户的视点信息，对视频帧中的每个分块进行转换，得到转换后的分块，包括：根据所述用户的视点信息，确定视频帧中每个分块的观看概率；根据所述每个分块的观看概率，在视频帧内所有转换后的分块的失真满足最小值的情况下，确定转换后的分块的大小。4.根据权利要求3所述的方法，其特征在于，所述对所述转换后的分块进行重采样操作，包括：若转换后的分块的大小与转换前的分块的大小不同，则对该转换后的分块进行下采样操作。5.根据权利要求1～4任一项所述的方法，其特征在于，所述配置信息，还包括：码率、分辨率；相应的，所述以所述新的视频帧组合形成所述基于视点的全景视频内容表示，包括：根据不同的所述视点信息、所述码率、所述分辨率，将新的视频帧组合形成多个媒体片断集合，其中每个集合中的媒体片断具有特定的视点信息、码率和分辨率；根据用户的视点信息，在不同的媒体片断集合中确定媒体片断，并组合形成所述...

【专利技术属性】
技术研发人员：谢澜，张行功，郭宗明，
申请(专利权)人：北京大学，北大方正集团有限公司，北京北大方正电子有限公司，
类型：发明
国别省市：北京,11