一种基于视角的VR流媒体播放方法及装置制造方法及图纸

本申请公开了一种基于视角的VR流媒体播放方法和装置，其中，所述方法包括：基于视角切片的VR全景视频分层编码技术对若干个视频画面分别进行编码处理；基于HLS协议对视角切片的VR全景视频流媒体协议进行扩展，并根据用户视区传输相应的目标视频画面；将各个视角切片对应的视频流进行拼接还原为全幅的视频画面，最后渲染到VR显示设备。采用本申请所述的基于视角的VR流媒体播放方法，能够大大降低VR全景视频传输带宽，能在现行网络中快速投放VR全景视频，同时降低了用户端的解码规模要求，仅支持4K解码的VR设备能具备8K的VR全景视频的解码能力，在当前主流VR设备中即可获得更高质量的VR全景视频画面。

【技术实现步骤摘要】
一种基于视角的VR流媒体播放方法及装置
本专利技术实施例涉及VR流媒体数据处理领域，具体涉及一种基于视角的VR流媒体播放方法及装置，另外还涉及一种电子设备及计算机可读存储介质。
技术介绍
目前，VR全景视频通常采用传统视频编码技术对360度展开的全幅画面进行统一编码和传输，最后在用户端解码并渲染出整个画面。但是，由于VR全景视频为360度全向视频内容，为保证用户观影的舒适度，视频一般都采用4K或8K的分辨率，并且编码质量也要求相对较高，这在实际应用中会带来很多问题。比如：传输视频码率非常高，一般画面质量的视频码率超过30Mbps，高质量的视频码率将超过50Mbps，这样高的码率在当前的运营网络里很难传输，同时有如此高的带宽接入用户也很少，这大大限制了现阶段VR全景视频的推广与发展；VR设备一般使用家庭无线WIFI联网，高码率也对无线WIFI的传输效率提出更高的要求；如果VR全景视频采用8K编码时，当前的VR设备基本都不支持，当前主流VR设备仅支持最高4K的解码能力，这使得更高质量的VR全景视频无法投放到用户端。
技术实现思路
为此，本专利技术实施例提供一种基于视角的VR流媒体播放方法，以解决现有技术中存在的VR全景视频传输带宽要求较高，VR全景视频播放不够流畅和清晰的问题。为了实现上述目的，本专利技术实施例提供如下技术方案：第一方面，本专利技术实施例提供一种基于视角的VR流媒体播放方法，包括：基于视角切片的VR全景视频分层编码技术对若干个视频画面分别进行编码处理；基于HLS协议对视角切片的VR全景视频流媒体协议进行扩展，并根据用户视区传输相应的目标视频画面；将各个视角切片对应的视频流进行拼接还原为全幅的视频画面，最后渲染到VR显示设备。进一步的，所述基于视角切片的VR全景视频分层编码技术对若干个视频画面分别进行编码处理，包括：将VR全景视频画面切分不同视角的若干个视频画面，采用分层编码技术同时为VR全景视频画面转码出两层视频，所述两层视频中第一层视频为低分辨率的基本层视频，第二层视频为高分辨率的增强层视频，所述增强层视频为用户视区部分的清晰内容，所述基本层视频为用户视区之外部分的填充内容；将所述若干个视频画面拼接为一个完整的全向视频。进一步的，所述基于HLS协议对视角切片的VR全景视频流媒体协议进行扩展，并根据用户视区传输相应的目标视频画面，包括：采用两层M3U8索引文件，第一层M3U8对视区参数进行扩展，第二层M3U8定义为与所述HLS协议相同；在用户观看时，通过所述第一层M3U8获取不同视区的二级M3U8文件列表，根据用户当前视区获取对应的二级M3U8文件，展示相应的目标视频画面。进一步的，所述二级M3U8文件包括：视区内高分辨率的增强层视频内容和视区外低分辨率的基本层视频内容。进一步的，所述将各个视角切片对应的视频流进行拼接还原为全幅的视频画面，最后渲染到VR显示设备，包括：在用户端创建多个视频的解码器对视角切片进行解码，拼接各个视角切片视频，还原为全幅的视频画面，最后渲染到VR显示设备对应的球面上。第二方面，本专利技术实施例提供一种基于视角的VR流媒体播放装置，包括：分层编码单元，基于视角切片的VR全景视频分层编码技术对若干个视频画面分别进行编码处理；协议扩展单元，基于HLS协议对视角切片的VR全景视频流媒体协议进行扩展，并根据用户视区传输相应的目标视频画面；拼接及渲染单元，用于将各个视角切片对应的视频流进行拼接还原为全幅的视频画面，最后渲染到VR显示设备。进一步的，所述分层编码单元用于：将VR全景视频画面切分不同视角的若干个视频画面，采用分层编码技术同时为VR全景视频画面转码出两层视频，所述两层视频中第一层视频为低分辨率的基本层视频，第二层视频为高分辨率的增强层视频，所述增强层视频为用户视区部分的清晰内容，所述基本层视频为用户视区之外部分的填充内容；将所述若干个视频画面拼接为一个完整的全向视频。进一步的，所述协议扩展单元用于：采用两层M3U8索引文件，第一层M3U8对视区参数进行扩展，第二层M3U8定义为与所述HLS协议相同；在用户观看时，通过所述第一层M3U8获取不同视区的二级M3U8文件列表，根据用户当前视区获取对应的二级M3U8文件，展示相应的目标视频画面。第三方面，本专利技术实施例还提供一种电子设备，包括：处理器以及存储器；所述存储器，用于存储基于视角的VR流媒体播放方法的程序，该电子设备通电并通过所述处理器运行该基于视角的VR流媒体播放方法的程序后，执行上述任意一项所述的基于视角的VR流媒体播放方法。第四方面，本专利技术实施例还提供一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被处理器执行上述任一项所述的基于视角的VR流媒体播放方法。采用本专利技术所述的基于视角的VR流媒体播放方法，能够大大降低VR全景视频传输带宽，能在现行网络中快速投放VR全景视频，同时降低了用户端的解码规模要求，仅支持4K解码的VR设备能具备8K的VR全景视频的解码能力，在当前主流VR设备中即可获得更高质量的VR全景视频画面。采用该专利技术较普通编码技术，VR全景视频播放更流畅，更清晰。附图说明为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。图1为本专利技术实施例提供的一种基于视角的VR流媒体播放方法的流程图；图2为本专利技术实施例提供的一种基于视角的VR流媒体播放装置的示意图；图3为本专利技术实施例提供的一种电子设备的示意图；图4为本专利技术实施例提供的一种用户观看全景视频时视区内的视频画面示意图；图5为本专利技术实施例提供的一种多个视频流在VR视频播放器拼接渲染的示意图。具体实施方式以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面基于本专利技术所述的一种基于视角的VR流媒体播放方法，对其实施例进行详细描述。如图1所示，其为本专利技术实施例提供的一种基于视角的VR流媒体播放方法的流程图，具体实现过程包括以下步骤：步骤S101：基于视角切片的VR全景视频分层编码技术对若干个视频画面分别进行编码处理。如图4所示，由于通常情况下用户在任何时候都只能看到VR全景视频的一小部分，并且只能看到100度视角下的清晰内容。因此，可见内容必须传输到用户的视角内。目前，普通的编码只能将整个视频传输到用户端，在本专利技术实施例中，可将VR全景视频转码为不同视角的多个视频，这些视频最后可以拼接为一个完整的全向视频本文档来自技高网...

【技术保护点】
1.一种基于视角的VR流媒体播放方法，其特征在于，包括：/n基于视角切片的VR全景视频分层编码技术对若干个视频画面分别进行编码处理；/n基于HLS协议对视角切片的VR全景视频流媒体协议进行扩展，并根据用户视区传输相应的目标视频画面；/n将各个视角切片对应的视频流进行拼接还原为全幅的视频画面，最后渲染到VR显示设备。/n

【技术特征摘要】
1.一种基于视角的VR流媒体播放方法，其特征在于，包括：
基于视角切片的VR全景视频分层编码技术对若干个视频画面分别进行编码处理；
基于HLS协议对视角切片的VR全景视频流媒体协议进行扩展，并根据用户视区传输相应的目标视频画面；
将各个视角切片对应的视频流进行拼接还原为全幅的视频画面，最后渲染到VR显示设备。


2.根据权利要求1所述的基于视角的VR流媒体播放方法，其特征在于，所述基于视角切片的VR全景视频分层编码技术对若干个视频画面分别进行编码处理，包括：
将VR全景视频画面切分不同视角的若干个视频画面，采用分层编码技术同时为VR全景视频画面转码出两层视频，所述两层视频中第一层视频为低分辨率的基本层视频，第二层视频为高分辨率的增强层视频，所述增强层视频为用户视区部分的清晰内容，所述基本层视频为用户视区之外部分的填充内容；将所述若干个视频画面拼接为一个完整的全向视频。


3.根据权利要求1所述的基于视角的VR流媒体播放方法，其特征在于，所述基于HLS协议对视角切片的VR全景视频流媒体协议进行扩展，并根据用户视区传输相应的目标视频画面，包括：
采用两层M3U8索引文件，第一层M3U8对视区参数进行扩展，第二层M3U8定义为与所述HLS协议相同；
在用户观看时，通过所述第一层M3U8获取不同视区的二级M3U8文件列表，根据用户当前视区获取对应的二级M3U8文件，展示相应的目标视频画面。


4.根据权利要求3所述的基于视角的VR流媒体播放方法，其特征在于，所述二级M3U8文件包括：视区内高分辨率的增强层视频内容和视区外低分辨率的基本层视频内容。


5.根据权利要求1所述的基于视角的VR流媒体播放方法，其特征在于，所述将各个视角切片对应的视频流进行拼接还原为全幅的视频画面，最后渲染到VR显示设备，包括：
在用户端创建多个视频的解码器对视角切片进行解码，拼接各个视角切片视频，还原为...

【专利技术属性】
技术研发人员：洪钧，
申请(专利权)人：北京火眼目测科技有限公司，
类型：发明
国别省市：北京;11