【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及多视图视频数据的呈现。特别地，本专利技术涉及使用相对较低的计算资源来呈现多视图视频数据。背景领域多相机视频捕捉和视点内插允许诸如增强现实(ar)和虚拟现实(vr)之类的应用。通常会尽可能快地执行必要的计算(例如，校准、深度估计和视图合成)，以便实现将事件实况流传输到具有交互式3d环视效果的ar/vr头显和手机。然而，就带宽和计算基础设施而言，对许多(例如＞8个)相机同时进行实时深度估计目前非常昂贵。因此，基于多视角视频数据的应用很难进入市场。us2010/045678a1公开了通过基于对一组捕捉点的选择而捕捉一组图像来捕捉图像数据，其中，至少一些捕捉点以基本恒定或基本平滑变化的平均密度分布在第一二维区域上。
技术介绍
技术实现思路
1、本专利技术由权利要求来限定。
2、根据本专利技术的一个方面的示例，提供了一种用于呈现场景的多视图视频数据的方法，所述方法包括：
3、以源视图帧速率获得所述场景的一个或多个源视图图像序列；
4、以源视图深度帧速率获得所述场景的一个或多个源视图深度分量序列，其中，所述源视图深度帧速率低于所述源视图图像帧速率；并且
5、获得在源视图回放模式与内插回放模式之间的选择，其中，所述方法还包括：
6、如果选择所述内插回放模式，则执行以下操作：
7、基于来自所述源视图图像序列中的一个或多个源视图图像序列的一幅或多幅源视图图像并基于来自至少一个源视图深度分量序列的一个或多个对应的源视图深度分量来
8、将所述内插图像输出到显示器，并且
9、如果选择所述源视图回放模式，则将源视图图像序列输出到所述显示器。
10、由于生成多视图视频需要源视图(纹理)图像和源视图深度分量(即，深度分量)，因此多视图视频生成常常需要处理和/或传输大量数据。与源视图图像序列相比以更低的帧速率获得深度分量序列使得能够减少生成深度分量和/或传输深度分量所需的处理资源。
11、源视图图像序列可以是场景的一个或多个常规二维视频。源视图图像序列中的至少两个源视图图像序列可以从不同的相机获得，其中，相机在场景中具有不同的位置(即，姿态)。源帧速率是获得源视图图像序列的图像的速率(即，每秒获得多少幅图像)。帧速率可以被确定为相继的帧之间的时间间隔的倒数。也就是说，如果时间间隔为δt，则帧速率能够被确定为1/δt。较高的帧速率与较短的帧间间隔相关联；较低的帧速率与较长的帧间间隔相关联。
12、深度分量序列可以是基于深度帧速率在时间上分离的场景的深度图序列。深度图可以通过例如对来自源视图图像序列的源视图图像对执行深度估计来获得。深度帧速率是获得深度分量的速率(例如，每秒获得多少幅深度图)。深度帧速率可以是恒定的(例如，1fps)或可变的(例如，基于场景中是否有重要事件发生)。
13、获得深度分量序列可以包括获得深度视频，其中，深度视频是场景的深度分量序列，每个深度分量是在不同时间获得的。换句话说，深度视频等同于视频，但是深度视频的每一帧都是深度分量而不是图像。
14、深度分量和源视图图像可以具有与它们被拍摄的时间相对应的时间戳。
15、源视图图像序列可以是源视频，其中，每幅源视图图像是源视频的一帧。与源视图图像相对应的深度分量是在源视图图像的预定义时间内获得的深度分量，其中，预定义时间由深度帧速率和/或源视图帧速率来定义。例如，与源视图图像相对应的深度分量可以是在与源视图图像的获得时间相似的时间获得的深度分量，其中，深度分量的时间戳与源分量的时间戳之间的时间差小于例如1/dfr(其中，dfr是深度帧速率)或1/sfr(其中，sfr是源帧速率)。
16、可以基于目标视点来生成内插图像。每幅源视图图像和深度分量可以分别对应于源视点和深度视点。内插图像的生成可以基于所有最新源视图图像和所有对应的深度分量。替代地，在选择使用哪幅源视图图像和哪些深度分量时，可以考虑源视点和深度视点。
17、例如，可以基于与目标视点的姿态接近度对源视点和深度视点进行排名，并且多个排名靠前的(即，最接近的)视点可以用于生成内插图像。
18、对源视图回放模式或内插回放模式的选择可以由用户、控制器来完成或者(例如通过使用事件检测算法)自动完成。
19、选择源视图回放模式将输出源视图图像序列中的一幅源视图图像(或者多幅源视图图像，例如两个屏幕)。用户能够从(一个或多个)源视频中选择他们想要观看的内容(即，在源视图回放模式中输出哪些源视频)。用户能够在回放期间在源视图图像序列之间切换，以便切换视点。
20、选择内插回放模式将输出场景的内插图像(例如，沉浸式视频的帧)。内插图像是基于源视图和深度分量获得的(例如，生成和渲染6dof多视图数据)，并且可以使得用户能够以源视图图像序列之间的视点虚拟地在场景周围移动。
21、所述方法还可以包括：将所述源视图图像序列中的一个或多个源视图图像序列至少缓存中间时间段，其中，所述中间时间段至少是最新可用的源视图图像与用于生成内插图像的所述源视图深度分量之间的时间差。
22、如果所述选择从所述内插回放模式改变为所述源视图回放模式，则所述方法还包括：基于所述内插图像的目标视点和所述源视图图像序列中的每一幅源视图图像的源视点来从所述源视图图像序列中选择最接近的视图图像序列；输出与所述最接近的视图图像序列相对应的缓存的图像序列；并且在输出所述缓存的图像序列之后，输出所述最接近的视图图像序列。
23、缓存是将数据存储在高速缓冲存储器中的过程。高速缓冲存储器是一个临时存储区域。中间时间段至少与源视图图像序列中的最新可用的图像与深度分量序列中的最新可用的深度分量之间的时间段一样长。
24、每个源视图图像序列可以具有由用于获得该序列的相机定义的对应视点。然而，与内插图像相对应的目标视点由在特定时间观看的场景区域来定义。
25、例如，如果使用较早的深度分量来生成内插图像，则中间时间段可能比最新可用的源视图图像与深度分量之间的时间差更长。中间时间段可以是最新可用的源视图图像与用于生成最新内插图像的最新深度分量之间的时间差。
26、最接近的视频(即，最接近的图像序列)是其视点最接近6dof视频中的用户的当前视点的源视频。与最接近的视频相对应的缓存的源视频可以以加速的帧速率输出，其中，帧间时间已经减少了(例如从30fps到60fps)。可以示出加速版本，直到用户已经赶上了源视频的最新可用的帧为止。
27、源视图图像序列可以以降低的帧速率缓存，其中，降低的帧速率低于源帧速率。
28、所述方法还可以包括：在事件时间时获得对事件的指示；并且基于所述选择从所述内插回放模式改变为所述源视图回放模式来输出所述源视图图像序列中的从在所述事件时间之前拍摄的源视图图像开始的一幅源视图图像。
29、例如，在播放足球比赛期间，可能会出现进球。进球本文档来自技高网...
【技术保护点】
1.一种用于呈现场景的多视图视频数据的方法，所述方法包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求1或2中的任一项所述的方法，还包括：
4.根据权利要求1至3中的任一项所述的方法，其中，所述源视图帧速率至少为20帧/秒，即，20fps，并且其中，所述源视图深度帧速率至多为10fps。
5.根据权利要求1至4中的任一项所述的方法，还包括：
6.根据权利要求1至5中的任一项所述的方法，其中，获得(202)所述源视图图像序列包括：
7.根据权利要求6所述的方法，其中，所述缩放的源视图图像序列包括非均匀缩放的源图像，并且其中，所述非均匀缩放的源图像包括所述非均匀缩放的源图像中的一个或多个区域，所述一个或多个区域的缩放与所述非均匀缩放的源图像的其余部分的缩放不同。
8.根据权利要求1至7中的任一项所述的方法，其中，获得(202)所述源视图深度分量序列包括以下各项中的一项：
9.根据权利要求1至7中的任一项所述的方法，其中，获得(202)所述源视图深度分量序列包括：
11.根据权利要求1至10中的任一项所述的方法，其中，如果选择从所述源视图回放模式改变为所述内插回放模式，则生成(206)所述内插图像包括：
12.一种包括计算机程序代码的计算机程序产品，所述计算机程序代码当在具有处理系统的计算设备上被运行时使所述处理系统执行根据权利要求1至11中的任一项所述的方法的所有步骤。
13.一种用于呈现场景的多视图视频数据的解码器系统，所述系统包括处理系统，所述处理系统被配置为：
14.根据权利要求13所述的解码器系统，其中，所述处理系统还被配置为：
15.根据权利要求13或14中的任一项所述的解码器系统，其中，所述处理系统还被配置为：
...【技术特征摘要】
【国外来华专利技术】
1.一种用于呈现场景的多视图视频数据的方法，所述方法包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求1或2中的任一项所述的方法，还包括：
4.根据权利要求1至3中的任一项所述的方法，其中，所述源视图帧速率至少为20帧/秒，即，20fps，并且其中，所述源视图深度帧速率至多为10fps。
5.根据权利要求1至4中的任一项所述的方法，还包括：
6.根据权利要求1至5中的任一项所述的方法，其中，获得(202)所述源视图图像序列包括：
7.根据权利要求6所述的方法，其中，所述缩放的源视图图像序列包括非均匀缩放的源图像，并且其中，所述非均匀缩放的源图像包括所述非均匀缩放的源图像中的一个或多个区域，所述一个或多个区域的缩放与所述非均匀缩放的源图像的其余部分的缩放不同。
8.根据权利要求1至7中的任一项所述的方法，其中，获得(202)所述源视图深度分量序列包括以下各项中的一项：<...
【专利技术属性】
技术研发人员：C·韦雷坎普，A·威廉斯，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。