全景视频的播放控制方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种全景视频的播放控制方法、装置、电子设备及存储介质，其中，方法包括：将全景视频中的视频帧映射为三维模型的表面纹理；确定所述视频帧的符合播放策略的播放窗口视场、以及播放窗口的子窗口对应的子窗口视场；当符合播放策略的播放窗口视场的方向，不同于当前播放窗口的视场方向时，转换播放窗口的视场方向，使其与符合播放策略的播放窗口视场的方向一致；将播放窗口视场、以及子窗口视场分别在三维模型的表面纹理中进行投影，对应得到处于播放窗口视场的纹理区域、以及处于子窗口视场的纹理区域；在播放窗口中渲染处于播放窗口视场的纹理区域，并在子窗口中渲染处于子窗口视场的纹理区域。

Playing control method, device, electronic equipment and storage medium of panoramic video

【技术实现步骤摘要】
全景视频的播放控制方法、装置、电子设备及存储介质
本公开涉及媒体播放技术，尤其涉及一种全景视频的播放控制方法、装置、电子设备及存储介质。
技术介绍
通信基础设施的不断发展，使得终端网络通信的速率不断提升，从而各种媒体形式特别是视频在网络中得到前所未有地广泛传播。全景视频是对用户感知视频方式的拓展，视频中的内容的展现能够呈现丰富多样的方式。例如，在全景视频中，用户不再是纯粹的观看者，还可以与全景视频进行互动，全景视频中的视场能够根据用户的需求进行方向转动，且视场中的对象(例如景物、人等)能够根据用户意愿进行缩放，从而用户可以关注全景视频中感兴趣的内容，并给用户如同身临其境的感知效果。全景视频在播放过程中，由于视场的可切换的特性，会出现用户不知道如何选择视场以达到较好的观看体验的问题，在播放过程的任意时刻其视场是单一的，对于如何改进展现内容的效率，从而保证用户更高效地在全景视频中获取信息，尚无有效解决方案。
技术实现思路
有鉴于此，本公开实施例提供一种全景视频的播放控制方法、装置、电子设备及存储介质。第一本文档来自技高网...

【技术保护点】
1.一种全景视频的播放控制方法，其特征在于，所述方法包括：/n将全景视频中的视频帧映射为三维模型的表面纹理；/n确定所述视频帧的符合播放策略的播放窗口视场、以及播放窗口的子窗口对应的子窗口视场；/n当所述符合播放策略的播放窗口视场的方向，不同于当前播放窗口的视场方向时，转换所述播放窗口的视场方向，使其与所述符合播放策略的播放窗口视场的方向一致；/n将所述播放窗口视场、以及所述子窗口视场分别在所述三维模型的表面纹理中进行投影，对应得到处于所述播放窗口视场的纹理区域、以及处于所述子窗口视场的纹理区域；/n在所述播放窗口中渲染处于所述播放窗口视场的纹理区域，并在所述子窗口中渲染处于所述子窗口视场的纹...

【技术特征摘要】
1.一种全景视频的播放控制方法，其特征在于，所述方法包括：
将全景视频中的视频帧映射为三维模型的表面纹理；
确定所述视频帧的符合播放策略的播放窗口视场、以及播放窗口的子窗口对应的子窗口视场；
当所述符合播放策略的播放窗口视场的方向，不同于当前播放窗口的视场方向时，转换所述播放窗口的视场方向，使其与所述符合播放策略的播放窗口视场的方向一致；
将所述播放窗口视场、以及所述子窗口视场分别在所述三维模型的表面纹理中进行投影，对应得到处于所述播放窗口视场的纹理区域、以及处于所述子窗口视场的纹理区域；
在所述播放窗口中渲染处于所述播放窗口视场的纹理区域，并在所述子窗口中渲染处于所述子窗口视场的纹理区域。


2.根据权利要求1所述的方法，其特征在于，所述确定所述视频帧的符合播放策略的播放窗口视场，包括：
从全景视频文件中提取所述视频帧对应的解码元数据；
解析所述视频帧对应的解码元数据，得到所述视频帧对应的播放参数；
基于所得到的所述播放参数，确定所述视频帧的符合播放策略的播放窗口视场的方向、以及所述播放窗口视场对应的放大倍数。


3.根据权利要求1所述的方法，其特征在于，所述确定所述视频帧的符合播放策略的播放窗口视场，包括：
对所述视频帧进行目标对象检测，得到检测结果；
当所述检测结果表征所述视频帧中包含所述目标对象时，确定所述视频帧的对应所述目标对象的视场方向，为所述符合播放策略的播放窗口视场的方向；
调整所述播放窗口视场的放大倍数，使得所述播放窗口中呈现的所述目标对象的大小与所述播放窗口相适配。


4.根据权利要求1所述的方法，其特征在于，所述确定播放窗口的子窗口对应的子窗口视场，包括：
根据所述符合播放策略的播放窗口视场的方向，所述播放窗口视场的方向与所述子窗口视场的方向之间的相对位置关系，确定所述子窗口视场的方向；
或者，根据所述全景视频中的目标对象，确定包括所述目标对象的视场方向为所述子窗口视场的方向。


5.根据权利要求1所述的方法，其特征在于，所述将全景视频中的视频帧映射为三维模型的表面纹理，包括：
将所述视频帧的像素点映射到纹理空间，得到所述像素点的纹理坐标；
将所述像素点的纹理坐标映射到所述三维模型表面的顶点坐标，以形成所述三维模型的表面纹理。


6.根据权利要求1至5任一项所述的方法，其特征在于，所述将所述播放窗口视场、以及所述子窗口视场分别在所述三维模型的表面纹理中进行投影，对应得到处于所述播放窗口视场的纹理区域、以及处于所述子窗口视场的纹理区域，包括：
对于按照渲染时间的先后顺序待渲染的各个视频帧，执行以下操作：
将所述播放窗口视场在对应待渲染的视频帧映射形成的表面纹理中进行投影，得到处于所述播放窗口视场的纹理区域，以及，
将与所述子窗口视场在对应待渲染的视频帧映射形成的表面纹理中进行投影，得到处于所述子窗口视场的纹理区域。


7.根据权利要求1至5任一项所述的方法，其特征在于，所述将所述播放窗口视场、以及所述子窗口视场分别在所述三维模型的表面纹理中进行投影，对应得到处于所述播放窗口视场的纹理区域、以及处于所述子窗口视场的纹理区域，包括：
对于按照渲染时间的先后顺序待渲染的各个视频帧执行以下操作：
将所述播放窗口视场在对应待渲染的视频帧映射形成的表面纹理中进行投影，得到处于所述播放窗口视场的纹理区域；
将所述子窗口视场在对应已渲染的视频帧映射形成的表面纹理中进行投影，得到处于所述子窗口视场的纹理区域。


8....

【专利技术属性】
技术研发人员：付宇豪，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11