用于生成并且绘制视频流的装置和方法制造方法及图纸

一种装置包括处理器(301)，所述处理器提供针对场景的多个参考视点的多个参考视频流。接收器(305)接收来自远程客户端的视点请求，其中，所述视点请求指示请求视点。生成器(303)生成输出视频流，所述输出视频流包括具有来自第一参考视频流的帧的第一视频流和具有来自第二参考视频流的帧的第二视频流。所述第二视频流的帧相对于所述第一视频流的帧被差分编码。控制器(307)响应于视点请求而选择针对第一和第二视频流的参考视频流，并且可以被布置为当所述视点请求满足准则时在被非差分编码与被差分编码之间调换参考视频流。

【技术实现步骤摘要】
【国外来华专利技术】用于生成并且绘制视频流的装置和方法
本专利技术涉及生成并且绘制视频流，并且特别地但非专有地，生成并且绘制用于虚拟现实应用的视频流。
技术介绍
各种各样和一系列的图像和视频应用近年来已经基本上随着利用和消耗视频的新服务和方式被连续开发和引入而增加。例如，日益流行的一个服务是以这样的方式提供图像序列：观察者能够主动地并且动态地与系统交互以改变绘制的参数。许多应用中的非常吸引人的特征是改变观察者的有效查看位置和查看方向的能力，诸如例如允许观察者在呈现的场景中移动和“环视”。这样的特征可以特别地允许虚拟现实体验被提供给用户。这可以允许用户在虚拟环境中(相对)自由地到处移动并且动态地改变他的位置和他正在看何处。通常，这样的虚拟现实应用基于场景的三维模型，其中，模型动态地评价以提供特定请求视图。该方法从例如用于计算机和控制台的游戏应用(诸如在第一人称射击的类别中)中公知。还期望的是，特别地针对虚拟现实应用，呈现的图像是三维图像。实际上，为了优化观察者的沉浸，用户将呈现的场景体验为三维场景通常是优选的。实际上，虚拟现实体验应当优选地允许用户选择他/她自己的位置、相机视点、以及相对于虚拟世界的时刻。通常，虚拟现实应用是固有地受限的，其中，其基于场景的预定模型并且通常基于虚拟世界的人工模型。将期望的是，虚拟现实体验是否可以基于现实世界捕获来提供。然而，在许多情况下，这样的方法非常有限或者倾向于要求现实世界的虚拟模型根据现实世界捕获来建立。虚拟现实体验然后通过评价该模型来生成。然而，当前方法倾向于是次优的并且倾向于常常具有高计算或通信资源要求和/或提供具有例如减少质量或有限自由的次优用户体验。作为应用的范例，虚拟现实眼镜已经进入市场。这些眼镜允许观察者体验捕获的360度(全景)或180度视频。这些360度视频常常使用相机绑定预捕获，其中，个体图像一起拼接为单个球面映射。针对180或360视频的常见立体格式是顶/底和左/右。类似于非全景立体视频，左眼和右眼图片被压缩为单个H.264视频流的一部分。在解码单个帧之后，观察者旋转他/她的头部以查看他/她周围的世界。范例是记录，其中，观察者可以体验360度环视效果并且可以分立地在从不同位置记录的视频流之间切换。当切换时，另一视频流被加载，这中断体验。立体全景视频方法的一个缺点在于，观察者不能改变虚拟世界中的位置。除全景立体视频之外，全景深度图的编码和传输可以允许客户端侧的观察者的小平移运动的补偿，但是这样的补偿将固有地限于小变化和移动并且将不能够提供沉浸和自由的虚拟现实体验。相关技术是在其中关于深度图的多个视点在单个视频流中被编码并且传输的自由视点视频。然而，这样的方法要求高比特率并且可以在可以生成的图像方面是限制性的。图1图示了用于自由视点可视化的捕获和回放系统的范例。在捕获侧(服务器侧SRV)，场景101由一或二维相机阵列103捕获。每个相机具有不同参考/锚定位置并且从稍微不同视角观察场景。在远程回放侧(客户端侧CLNT)，观察者104在3D显示器107上或使用虚拟现实眼镜看捕获的内容。观察者的眼睛位置并且因此其查看视角使用例如眼睛跟踪器109测量。对应的相机信号从通过网络111使内容流动的服务器105选择并且检索。内容可以实况发送或者来自服务器的文件系统上。在客户端侧(CLNT)，接收器113包括解码器，其可以解码接收到的内容/图像/视频流以生成解码流。显示控制器115然后生成适当的视图图像并且在显示器107上对其进行绘制。在系统中，取决于观察者的检测视角/姿势，相机流的子集被选择并且用于生成绘制图像。在其中呈现视图对应于头部运动动态改变的方法被称为“运动视差”。优选地，运动视差与其中每只眼睛接收场景的不同透视图的3D立体观测一致。当相机视图数据伴随有深度(或估计差异)信息时，实际相机视点之间的视点可以合成。这被用于平滑回放。除捕获的视点之外，其还使能有限外推。在图1的系统中，数据通过网络111从服务器105转移到一个或多个客户端。为了高效地这样做，可以使用图像和深度图的(多视图)视频编码。所描述的应用是交互式系统。相机流响应于观察者的头部运动而被选择。交互式部分上的任何延时使得感知视图落后并且降低视觉体验。通过使用基于深度的视图合成，人们可以补偿小延时。可以考虑影响交互性(视图切换)的两个主要延时分量：1、网络传输延时。“选择”信号向上游发送到服务器，并且正确相机视图向下游传输到查看部位。信道或者网络的往返延迟然后确定延时的第一部分。2、解码延时。高效视频编解码器将多个时序视频帧的集合一起差分编码在“图片组”(GOP)中。一些帧然后需要对较早传输帧的引用。大GOP具有编码效率(带宽)益处。然而，大GOP还增加解码延时。其防止编码流之间的瞬时切换。差分编码对于视频编码是公知的并且以许多不同方式应用，其中，时间和空间差分编码两者是可能的。例如，不是独立地编码整个图像(帧内)，仅相对于来自其他时间实例的帧的差被编码。例如，高效率视频编码(HEVC)标准和其前驱广泛地使用这一点。来自其他相机视点的帧也可以差分编码。这例如在作为HEVC的多视图扩展的MV-HEVC中描述。网络传输延时最经常是不能由应用容易地修改的给定参数。其可以根据例如网络负载随时间变化。另一方面，解码延时是设计考虑。选择小GOP大小减少延时但是同时减少编码效率。期望的是，尽可能减少延时以便提供经改进的用户体验，并且尤其是以便提供更动态的自适应体验。用于解决该延时问题的直截了当的方法将是将所有相机视图一起编码和传输或者作为分离流编码和传输。在查看部位处，其可以然后瞬时决定使用哪个视图。然而，这样的方法将导致非常高数据速率并且要求将在许多应用中高度不期望的网络的高带宽。实际上，尽管该方法可以可能地在一些情形中对于少量的相机是可行的，但是其未很好地缩放到较高数量的流/相机，并且在许多应用中是不实际的。此外，由于解码器延时，因此所有视图应当连续地解码并且这要求客户端处的高计算资源。因此，经改进的方法将是有利的。特别地，允许经改进的操作、增加的灵活性、降低的数据速率、促进的分布、降低的复杂性、促进的实施方式、降低的计算要求、降低的延时、经改进的用户体验、和/或经改进的性能和/或操作的方法将是有利的。
技术实现思路
因此，本专利技术试图优选地单独地或以任何组合减轻、缓解或者消除上文所提到的缺点中的一个或多个。根据本专利技术的方面，提供了一种用于生成输出视频流的装置，所述装置包括：处理器，其用于提供针对场景的多个参考视点的多个参考视频流；接收器，其用于接收来自远程客户端的视点请求，所述视点请求指示针对所述输出视频流的所述场景的请求视点；生成器，其用于生成输出视频流，所述输出视频流包括：第一视频流，其包括来自所述多个参考视频流中针对第一视点的第一参考视频流的第一输出帧；以及第二视频流，其包括来自所述多个参考视频流中针对第二参考视点的第二参考视频流的第二输出帧，所述第二输出帧相对于所述第一输出帧被差分编码并且所述第一输出本文档来自技高网...

【技术保护点】
1.一种用于生成输出视频流的装置，所述装置包括：/n处理器(301)，其用于提供针对场景的多个参考视点的多个参考视频流；/n接收器(305)，其用于接收来自远程客户端的视点请求，所述视点请求指示针对所述输出视频流的所述场景的请求视点；/n生成器(303)，其用于生成输出视频流，所述输出视频流包括：第一视频流，其包括来自所述多个参考视频流中针对第一视点的第一参考视频流的第一输出帧；以及第二视频流，其包括来自所述多个参考视频流中针对第二参考视点的第二参考视频流的第二输出帧，所述第二输出帧相对于所述第一输出帧被差分编码并且所述第一输出帧未相对于所述第二输出帧被差分编码；以及/n控制器(307)，其用于响应于所述视点请求而将所述第一视点和所述第二视点确定为所述多个参考视点中的视点；其中，/n所述控制器(307)被布置为响应于检测到在所述输出视频流的所述生成期间所述视点请求的改变满足准则而从所述第一视点是所述多个参考视点中的第一参考视点并且所述第二视点是所述多个参考视点中的第二参考视点改变为所述第一视点是所述第二参考视点并且所述第二视点是所述第一参考视点；/n其特征在于，所述装置被布置为将多个额外视频流包括在所述输出视频流中，每个额外视频流包括来自所述多个参考视频流中的额外参考视频流的相对于所述第一输出帧差分编码的输出帧；并且其中，所述控制器(307)被布置为响应于以下各项中的至少一项而确定额外视频流的数目：/n针对所述视点请求的变化量度，以及/n针对用于传输所述输出视频流的通信信道的延时量度。/n...

【技术特征摘要】
【国外来华专利技术】20180925 EP 18196433.91.一种用于生成输出视频流的装置，所述装置包括：
处理器(301)，其用于提供针对场景的多个参考视点的多个参考视频流；
接收器(305)，其用于接收来自远程客户端的视点请求，所述视点请求指示针对所述输出视频流的所述场景的请求视点；
生成器(303)，其用于生成输出视频流，所述输出视频流包括：第一视频流，其包括来自所述多个参考视频流中针对第一视点的第一参考视频流的第一输出帧；以及第二视频流，其包括来自所述多个参考视频流中针对第二参考视点的第二参考视频流的第二输出帧，所述第二输出帧相对于所述第一输出帧被差分编码并且所述第一输出帧未相对于所述第二输出帧被差分编码；以及
控制器(307)，其用于响应于所述视点请求而将所述第一视点和所述第二视点确定为所述多个参考视点中的视点；其中，
所述控制器(307)被布置为响应于检测到在所述输出视频流的所述生成期间所述视点请求的改变满足准则而从所述第一视点是所述多个参考视点中的第一参考视点并且所述第二视点是所述多个参考视点中的第二参考视点改变为所述第一视点是所述第二参考视点并且所述第二视点是所述第一参考视点；
其特征在于，所述装置被布置为将多个额外视频流包括在所述输出视频流中，每个额外视频流包括来自所述多个参考视频流中的额外参考视频流的相对于所述第一输出帧差分编码的输出帧；并且其中，所述控制器(307)被布置为响应于以下各项中的至少一项而确定额外视频流的数目：
针对所述视点请求的变化量度，以及
针对用于传输所述输出视频流的通信信道的延时量度。


2.根据权利要求1所述的装置，其中，所述第一输出帧在不参考针对除所述第一视点之外的其他参考视点的帧的情况下被编码。


3.根据权利要求2所述的装置，其中，所述第一输出帧被内编码。


4.根据权利要求2所述的装置，其中，所述第一输出帧中的一些帧相对于所述第一输出帧的其他帧被差分编码。


5.根据任一项前述权利要求所述的装置，其中，所述输出生成器(303)被布置为通过相对于所述第一输出帧将来自所述第二参考视频流的帧进行差分编码来生成所述第二输出帧。


6.根据任一项前述权利要求所述的装置，其中，所述处理器(301)被布置为存储所述多个参考视频流中的至少一些参考视频流的差分编码版本，参考视频流的差分编码版本包括相对于另一参考视频流的帧差分编码的帧；并且所述生成器(303)被布置为响应于检索到所述第二...

【专利技术属性】
技术研发人员：B·W·D·松内维尔特，C·韦雷坎普，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰;NL