视频数据的处理方法、装置、相关设备及存储介质制造方法及图纸

本申请公开了提供了一种视频数据的处理方法、装置，服务器、终端及存储介质。其中，方法包括确定全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域；对应于所述全方向视频的球面区域的缩放操作，解码并播放所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域的视频数据。

Video data processing methods, devices, related equipment and storage media

【技术实现步骤摘要】
视频数据的处理方法、装置、相关设备及存储介质
本公开涉及但不限于视频处理领域，尤其涉及一种视频数据处理方法、装置、相关设备及存储介质。
技术介绍
虚拟现实(VR，VirtualReality)技术是一种利用计算机技术模拟产生三维虚拟世界的技术，让使用者在视觉、听觉、触觉等方面体验高度逼真的虚拟空间环境。随着VR技术的快速发展，VR视频(也可以称为全方向视频)的点播、直播等应用越来越广泛，为用户带来了沉浸式的视频业务体验。目前，一方面，全方向视频需要同时提供水平方向(360度范围)和垂直方向(180度范围)的全景观看体验，所以在相同码率条件下全方向视频的单位面积视频质量或分辨率(单位度数像素数量)远远低于单视角视频(譬如传统电视视频等)的视频质量或分辨率；另一方面，受限于当前网络基础设施带宽条件，市场上业务提供商所能提供的全方向视频的视频码率往往受到限制，这些因素最终导致在全方向视频播放过程中用户感兴趣区域的画面质量普遍不高，这对全方向视频业务体验造成较大影响。针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
技术实现思路
本公开实施例提供一种视频数据处理方法、装置、相关设备及存储介质。本公开实施例提供了一种视频数据的处理方法，应用于服务器，所述方法包括：确定全方向视频的球面区域，编码生成所述球面区域在所述全方向视频的投影图像上的投影区域的视频数据，以及一个或者多个缩放区域的视频数据；存储编码后的视频数据、所述全方向视频的球面区域信息，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域信息。本公开实施例还提供了一种视频数据的处理方法，应用于服务器，所述方法包括：确定全方向视频的投影图像上的2D区域，编码生成所述2D区域的视频数据，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域的视频数据；存储编码后的视频数据、所述全方向视频的投影图像上的2D区域信息以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域信息。本公开实施例又提供了一种视频数据的处理方法，应用于终端，所述方法包括：确定全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域；对应于所述全方向视频的球面区域的缩放操作，解码并播放所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域的视频数据。本公开实施例还提供了一种视频数据的处理方法，应用于终端，所述方法包括：确定全方向视频的投影图像上的2D区域，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域；对应于所述全方向视频的投影图像上的2D区域的缩放操作，解码并播放所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域的视频数据。本公开实施例又提供了一种视频数据的处理方法，应用于服务器，所述方法包括：确定全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域；生成所述全方向视频的媒体呈现描述文件，所述媒体呈现描述文件中包含用于指示所述全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域的球面区域缩放描述子。本公开实施例还提供了一种视频数据的处理方法，应用于服务器，所述方法包括：确定全方向视频的投影图像上的2D区域，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域；生成所述全方向视频的媒体呈现描述文件，所述媒体呈现描述文件中包含用于指示所述全方向视频的投影图像上的2D区域，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域的2D区域缩放描述子。本公开实施例又提供了一种视频数据的处理方法，应用于终端，所述方法包括：接收媒体呈现描述文件，其中，所述媒体呈现描述文件中包含用于指示全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域的球面区域缩放描述子；根据所述球面区域缩放描述子请求获取与所述全方向视频的球面区域的缩放操作对应的全方向视频文件。本公开实施例还提供了一种视频数据的处理方法，应用于终端，所述方法包括：接收媒体呈现描述文件，其中，所述媒体呈现描述文件中包含用于指示全方向视频的投影图像上的2D区域，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域的2D区域缩放描述子；根据所述2D区域缩放描述子请求获取与所述全方向视频的投影图像上的2D区域的缩放操作对应的全方向视频文件。本公开实施例又提供了一种视频数据的处理装置，包括：编码单元和存储单元；其中，所述编码单元，用于确定全方向视频的球面区域，编码生成所述球面区域在所述全方向视频的投影图像上的投影区域的视频数据，以及一个或者多个缩放区域的视频数据；所述存储单元，用于存储编码后的视频数据、所述全方向视频的球面区域信息，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域信息；或者，所述编码单元，用于确定全方向视频的投影图像上的2D区域，编码生成所述2D区域的视频数据，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域的视频数据；所述存储单元，用于存储编码后的视频数据、所述全方向视频的投影图像上的2D区域信息以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域信息。本公开实施例还提供了一种视频数据的处理装置，包括：第一确定单元及处理单元；其中，所述第一确定单元，用于确定全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域；所述处理单元，用于对应于所述全方向视频的球面区域的缩放操作，解码并播放所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域的视频数据；或者，所述第一确定单元，用于确定全方向视频的投影图像上的2D区域，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域；所述处理单元，用于对应于所述全方向视频的投影图像上的2D区域的缩放操作，解码并播放所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域的视频数据。本公开实施例又提供了一种视频数据的处理装置，包括：第二确定单元及生成单元；其中，所述第二确定单元，用于确定全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域；所述生成单元，用于生成所述全方向视频的媒体呈现描述文件，所述媒体呈现描述文件中包含用于指示所述全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域的球面区域缩放描述子；或者，所述第二确定单元，用于确定全方向视频的投影图像上的2D区域，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域；所述生成单元，用于生成所述全方向视频的媒体呈现描述文件，所述媒体呈本文档来自技高网...

【技术保护点】
1.一种视频数据的处理方法，其特征在于，应用于服务器，所述方法包括：/n确定全方向视频的球面区域，编码生成所述球面区域在所述全方向视频的投影图像上的投影区域的视频数据，以及一个或者多个缩放区域的视频数据；/n存储编码后的视频数据、所述全方向视频的球面区域信息，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域信息。/n

【技术特征摘要】
1.一种视频数据的处理方法，其特征在于，应用于服务器，所述方法包括：
确定全方向视频的球面区域，编码生成所述球面区域在所述全方向视频的投影图像上的投影区域的视频数据，以及一个或者多个缩放区域的视频数据；
存储编码后的视频数据、所述全方向视频的球面区域信息，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域信息。


2.根据权利要求1所述的方法，其特征在于，所述全方向视频的球面区域在所述全方向视频的投影图像上的不同缩放区域的视频数据具有不同的分辨率或质量。


3.根据权利要求1所述的方法，其特征在于，所述编码生成所述球面区域在所述全方向视频的投影图像上的投影区域的视频数据，以及一个或者多个缩放区域的视频数据，包括：
对相同内容源的多个全方向视频比特流，按照运动约束瓦片集MCTS方式并以不同分辨率或质量编码生成所述球面区域在所述全方向视频的投影图像上的不同缩放区域的视频数据。


4.根据权利要求1所述的方法，其特征在于，所述存储编码后的视频数据，包括：
将所述全方向视频的球面区域在所述全方向视频的投影图像上的投影区域的视频数据，以及一个或者多个缩放区域的视频数据存储在同一个视频轨道或同一个视频文件中。


5.根据权利要求1所述的方法，其特征在于，所述存储所述全方向视频的球面区域信息，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域信息，包括：
在视频轨道样本入口中的球面区域缩放数据盒或覆盖信息数据盒中存储所述全方向视频的球面区域信息，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域信息。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
设置所述球面区域缩放数据盒或覆盖信息数据盒中的区域缩放指示符元素为指定的值，指示所述球面区域在所述全方向视频的投影图像上存在一个或者多个缩放区域。


7.根据权利要求1至6任一项所述的方法，其特征在于，确定的全方向视频的球面区域为至少一个。


8.根据权利要求1至6任一项所述的方法，其特征在于，所述缩放区域信息至少包括以下信息之一：
缩放区域的数量；
缩放区域的宽、高、垂直偏移和水平偏移量；
缩放区域的缩放比例；
缩放区域的缩放算法类型；
缩放区域的边界符号化类型；
缩放区域的类型；
缩放区域的文本描述。


9.一种视频数据的处理方法，其特征在于，应用于服务器，所述方法包括：
确定全方向视频的投影图像上的2D区域，编码生成所述2D区域的视频数据，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域的视频数据；
存储编码后的视频数据、所述全方向视频的投影图像上的2D区域信息以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域信息。


10.根据权利要求9所述的方法，其特征在于，所述2D区域在所述全方向视频的投影图像上的不同缩放区域的视频数据具有不同的分辨率或质量。


11.根据权利要求9所述的方法，其特征在于，所述编码生成所述2D区域的视频数据，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域的视频数据，包括：
对相同内容源的多个全方向视频比特流，按照MCTS方式并以不同分辨率编码生成所述2D区域在所述全方向视频的投影图像上的不同缩放区域的视频数据。


12.根据权利要求9所述的方法，其特征在于，所述存储编码后的视频数据，包括：
将所述2D区域的视频数据，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域的视频数据存储在同一个视频轨道或同一个视频文件中。


13.根据权利要求9所述的方法，其特征在于，所述存储所述全方向视频的投影图像上的2D区域信息，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域信息，包括：
在视频轨道样本入口中的2D区域缩放数据盒或区域封装数据盒中存储所述全方向视频的投影图像上的2D区域信息，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域信息。


14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
设置所述2D区域缩放数据盒或区域封装数据盒中的区域缩放指示符元素为指定的值，指示所述2D区域在所述全方向视频的投影图像上存在一个或者多个缩放区域。


15.根据权利要求9至14任一项所述的方法，其特征在于，确定的全方向视频的投影图像上的2D区域为至少一个。


16.根据权利要求9至14任一项所述的方法，其特征在于，所述缩放区域信息至少包括以下信息之一：
缩放区域的数量；
缩放区域的宽、高、垂直偏移和水平偏移量；
缩放区域的缩放比例；
缩放区域的缩放算法类型；
缩放区域的边界符号化类型；
缩放区域的类型；
缩放区域的文本描述。


17.一种视频数据的处理方法，其特征在于，应用于终端，所述方法包括：
确定全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域；
对应于所述全方向视频的球面区域的缩放操作，解码并播放所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域的视频数据。


18.根据权利要求17所述的方法，其特征在于，所述确定全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域，包括：
基于视频轨道样本入口中的元素确定全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域。


19.根据权利要求18所述的方法，其特征在于，所述基于视频轨道样本入口中的元素确定全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域，包括：
基于视频轨道样本入口中的球面区域缩放数据盒或覆盖信息数据盒确定所述全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域。


20.根据权利要求19所述的方法，其特征在于，所述方法还包括：
基于所述球面区域缩放数据盒或覆盖信息数据盒中的区域缩放指示符元素的指定的值，确定所述球面区域在所述全方向视频的投影图像上存在一个或者多个缩放区域。


21.根据权利要求17至20任一项所述的方法，其特征在于，确定的全方向视频的球面区域为至少一个。


22.根据权利要求18至20任一项所述的方法，其特征在于，元素中的缩放区域信息至少包括以下信息之一：
缩放区域的数量；
缩放区域的宽、高、垂直偏移和水平偏移量；
缩放区域的缩放比例；
缩放区域的缩放算法类型；
缩放区域的边界符号化类型；
缩放区域的类型；
缩放区域的文本描述。


23.一种视频数据的处理方法，其特征在于，应用于终端，所述方法包括：
确定全方向视频的投影图像上的2D区域，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域；
对应于所述全方向视频的投影图像上的2D区域的缩放操作，解码并播放所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域的视频数据。


24.根据权利要求23所述的方法，其特征在于，所述确定全方向视频的投影图像上的2D区域，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域，包括：
基于视频轨道样本入口中的元素确定全方向视频的投影图像上的2D区域，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域。


25.根据权利要求24所述的方法，其特征在于，所述基于视频轨道样本入口中的元素确定全方向视频的投影图像上的2D区域，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域，包括：
基于视频轨道样本入口中的2D区域缩放数据盒或区域封装数据盒确定所述全方向视频的投影图像上的2D区域，以及所述2D区域在所述全方向视频的投影图像上的一个或者多个缩放区域。


26.根据权利要求25所述的方法，其特征在于，所述方法还包括：
基于所述2D区域缩放数据盒或区域封装数据盒中的区域缩放指示符元素的指定的值，确定所述2D区域在所述全方向视频的投影图像上存在一个或者多个缩放区域。


27.根据权利要求23至26任一项所述的方法，其特征在于，确定的全方向视频的投影图像上的2D区域为至少一个。


28.根据权利要求24至26任一项所述的方法，其特征在于，元素中的缩放区域信息包括以下至少之一：
缩放区域的数量；
缩放区域的宽、高、垂直偏移和水平偏移量；
缩放区域的缩放比例；
缩放区域的缩放算法类型；
缩放区域的边界符号化类型；
缩放区域的类型；
缩放区域的文本描述。


29.一种视频数据的处理方法，其特征在于，应用于服务器，所述方法包括：
确定全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域；
生成所述全方向视频的媒体呈现描述文件，所述媒体呈现描述文件中包含用于指示所述全方向视频的球面区域，以及所述球面区域在所述全方向视频的投影图像上的一个或者多个缩放区域的球面区域缩放描述子。


30.根据权利要求29所述的方法，其特征在于，所述媒体呈现描述文件中的所述球面区域缩放描述子具有指定的方案标识UR...

【专利技术属性】
技术研发人员：黄成，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44