预处理沉浸式视频制造技术

一种用于在处理为沉浸式视频之前准备沉浸式视频数据的方法。所述方法包括：接收包含场景的一幅或多幅图像的沉浸式视频数据，所述场景包括一个或多个图像区域，并且获得针对至少一个图像区域的相关性因子，所述相关性因子指示所述图像区域对观看者的相对重要性。将所述沉浸式视频数据分离为区域数据的一个或多个集合，其中，区域数据的每个集合对应于一个或多个图像区域的数据，并且根据图像区域的相关性因子，选择将与所述图像区域相对应的区域数据的集合发送至外部处理单元的比特率。数据的集合发送至外部处理单元的比特率。数据的集合发送至外部处理单元的比特率。

【技术实现步骤摘要】
【国外来华专利技术】预处理沉浸式视频


[0001]本专利技术涉及沉浸式视频广播的领域。具体地，本专利技术涉及在将沉浸式视频数据传输到外部处理单元之前准备沉浸式视频数据。

技术介绍

[0002]沉浸式视频通常涉及捕获的多视图的(纹理、深度和元数据)视频，通常向多个观看者提供沉浸式六自由度(6DoF)体验。
[0003]在现场事件的情况下，纹理信息是从物理相机采集的，并且可以使用立体/多视图深度估计来根据纹理信息创建深度信息(但是采集系统也可能包括距离传感器，例如飞行时间相机或激光雷达))。先验3D模型信息(例如体育场的几何形状)也可以被编码并与纹理和深度图一起发送。元数据可以包括相机内在和外在参数和/或其他参数，例如深度量化和语义相机打标签。该元数据的很大一部分是使用相机校准和多视图配准等过程来估计的。
[0004]针对沉浸式视频(TMIV)的当前测试模型包括符合当前版本的多视图沉浸式视频(MIV)规范的编码器和解码器/渲染器实现方式。TMIV编码器包括像素的削减和将小片(patches)打包到图集中，但不包括深度估计、相机校准和多视图配准。MIV图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在将沉浸式视频数据处理为沉浸式视频之前准备沉浸式视频数据(102)的方法，所述方法包括：从两个或更多个相机组接收包含场景的一幅或多幅图像的沉浸式视频数据(102)，所述沉浸式视频数据(102)包括一个或多个图像区域(210)并且每个图像区域(210)与相机组相对应；获得针对所述图像区域(210)中的至少一个图像区域的相关性因子(106)，所述相关性因子(106)指示所述图像区域(210)对于观看者的相对重要性，其中，图像区域的所述相关性因子(106)基于对应的相机组和所述相机组的分层结构而被偏置；将所述沉浸式视频数据(102)分离为区域数据的一个或多个集合(104)，其中，区域数据的每个集合(104)与所述一个或多个图像区域(210)的数据相对应；基于图像区域(210)的所述相关性因子(106)，选择将与所述图像区域(210)相对应的所述区域数据的集合(104)发送到外部处理单元(114)的比特率。2.根据权利要求1所述的方法，其中，选择区域数据的集合(104)的所述比特率通过以下方式实现：选择不将区域数据的所述集合(104)发送至所述外部处理单元(114)；选择发送区域数据的所述集合(104)的帧率；选择区域数据的所述集合(104)的空间分辨率；选择针对区域数据的所述集合(104)的量化参数；和/或裁剪区域数据的所述集合(104)中的图像。3.根据权利要求1或2中的任一项所述的方法，其中，将所述沉浸式视频数据(102)分离为区域数据的一个或多个集合包括：将所述沉浸式视频数据(102)分离为数据的块；利用与所述块中存在的数据相对应的图像区域(210)来标记每个块；并且基于所述标签将图像区域(210)数据的所述块分组为区域数据的集合。4.根据权利要求1至3中的任一项所述的方法，还包括获得能够发送所述沉浸式视频数据(102)的最大网络比特率，其中，选择要发送的区域数据的集合(104)的所述比特率还基于所述最大网络比特率。5.根据权利要求3所述的方法，还包括在适用的情况下创建相关性元数据，所述相关性元数据包含区域数据的每个集合的所述相关性因子(106)和/或将所述比特率选择为低于最大网络比特率的方式。6.根据权利要求1至5中的任一项所述的方法，其中，获得相关性因子(106)还基于从所述外部处理单元(114)接收相关性指示。7.一种包括计算机程序代码单元的计算机程序产品，所述计算机程序代码单元当在具有处理系统的计算设备上运行时使所述处理系统执行根据权利要求1至6中的任一项所述的方法的所有步骤。8.一种用于在将沉浸式视频数据处理为沉浸...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：