根据视频进行的图像生成制造技术

一种装置包括：存储部(101)，其用于存储N维空间中的路线集合，其中，所述路线集合中的每条路线与包括帧的视频项相关联，所述帧包括图像信息和深度信息两者；输入部(105)，其接收观看者位置指示；选择器(107)，其响应于取决于距离度量的选择标准而选择所述路线集合中的第一路线，所述距离度量取决于所述观看者位置指示和所述路线集合中的所述路线的位置；检索器(103、109)，其从视频源(203)中检索与所述第一路线相关联的第一视频项；图像生成器(111)，其根据来自所述第一视频项的第一帧集合来生成针对所述观看者位置指示的至少一幅视图图像。在系统中，相对于所述路线集合中的其他路线，所述选择标准偏向于当前选择的路线。

Image generation based on video

【技术实现步骤摘要】
【国外来华专利技术】根据视频进行的图像生成
本专利技术涉及根据视频项进行的图像生成，并且特别涉及但非排他性地涉及根据存储的可以源自真实世界环境的视频捕获的视频项进行的针对虚拟现实环境的视图图像生成。
技术介绍
近年来，随着利用和消费视频的新的服务和方式的不断开发和推出，图像和视频应用的种类和范围已经大幅增加。例如，一种日益流行的服务是以使得观看者能够与系统主动且动态地交互以改变绘制的参数的方式来提供图像序列。在许多应用中极具吸引力的特征是改变观看者的有效观看位置和观看方向的能力，例如，允许观看者在正被呈现的场景中移动和“环视”。这种特征能够特别允许给用户提供虚拟现实体验。这可以允许用户在虚拟环境中(相对)自由地四处移动且动态地改变其位置和其正在观看的地方。通常，这种虚拟现实应用基于场景的三维模型，其中，该模型被动态地评价以提供特定请求的视图。对于计算机和控制台而言，该方法在例如游戏应用中(例如在第一人称射击游戏类别中)是熟知的。特别是对于虚拟现实应用而言，也期望所呈现的图像是三维图像。实际上，为了优化观看者的身临其境的感觉，通常优选使用户体验的呈现场景为三维场景。实际上，虚拟现实体验应当优选允许用户选择他/她自身的位置、相机视点和相对于虚拟世界的时刻。通常，虚拟现实应用会固有地受到限制，这是因为虚拟现实应用基于预定的场景模型并且通常基于人造的虚拟世界模型。非常期望虚拟现实体验可以基于真实世界捕获来提供。然而，在许多情况下，这种方法极受限制或者趋向于要求根据真实世界捕获而构建的真实世界的虚拟模型。然后通过评价该模型来生成虚拟现实体验。然而，当前方法趋向于次优的用户体验，并且通常趋向于具有高计算要求或高通信资源要求和/或提供具有例如降低质量或有限自由度的次优的用户体验。作为应用的示例，虚拟现实眼镜当前正在进入市场。这些眼镜允许观看者体验所捕获的360度(全景)视频。这些360度视频通常是使用相机装备预先捕获的，其中，个体图像被拼接在一起而成为单个球形映射。360度视频的常见立体格式是上/下和左/右。类似于非全景立体视频，左眼图片和右眼图片被压缩为单个H.264视频流的部分。在解码单个帧之后，观看者旋转他/她的头部来观看他/她周围的世界。当前示例是由谷歌制作的对卡内基音乐厅中的音乐会的记录[https://performingarts.withgoogle.tabhumblecom/en_us/performances/carnegie-hall]。在该示例中，观看者能够体验360度环视效应，并且能够以离散方式在从不同位置记录的三个视频流之间进行切换。在切换时，加载另一视频流，这样会中断体验。立体全景视频方法的一个缺点是观看者无法改变在虚拟世界中的位置。除了全景立体视频以外，全景深度图的编码和传输可以允许补偿观看者在客户端侧的小幅平移运动，但是这种补偿将固有地限于小幅变化和移动并且将无法提供身临其境且自由的虚拟现实体验。相关技术是其中具有深度图的多个视点在单个视频流中进行编码和传输的自由视点视频。除了众所周知的时间预测方案以外，也可以通过利用视点之间的角度依赖性来减小视频流的比特率。然而，该方法仍然要求高比特率并且在能够生成的图像方面是受限制的。该方法实际上无法提供在三维虚拟现实世界中完全自由移动的体验。遗憾的是，在现有技术中没有一种技术能够递送理想体验，而是通常趋向于在位置和观看方向的变化自由度方面受到限制。另外，这些技术趋向于要求极高的数据速率并且提供包括比生成个体图像/视图所需的数据更多的数据的数据流。另外，现有技术的方法趋向于要求大存储容量，以便存储大量的例如单独捕获的图像。而且，现有技术的方法趋向于要求相对复杂的处理并且具有高资源计算需求。除此之外，现有技术的方法还趋向于次优地生成视图图像，并且特别地，通常给移动于虚拟世界中的用户提供不连贯且相对不一致的体验。例如，KR20170007098A公开了一种用于生成针对如下的给定的用户姿态的图像的系统，该给定的用户姿态可以不同于针对其已经捕获了场景的图像的捕获姿态。该方法可以选择最近的捕获姿态并根据来自最近的捕获姿态的图像来生成针对该用户姿态的视图图像。然而，该方法趋向于具有上文所述的所有缺点，并且特别要求高计算资源，非常复杂，基于复杂且困难的捕获操作，并且趋向于生成不是最优质量的且在用户移动时趋向于产生不一致的视图图像。因此，改进的方法将是有利的。特别地，允许改进操作，提高灵活性，增大用于生成与不同的观看位置和方向相对应的图像的范围，改善虚拟现实体验，减小数据速率，便于分布，减小复杂性，便于实施，降低存储要求和/或提高性能和/或操作的方法将是有利的。
技术实现思路
因此，本专利技术寻求单独地或以任意组合来优选减轻、缓解或消除上文所述的缺点中的一个或多个缺点。根据本专利技术的一个方面，提供了一种装置，所述装置包括：存储部，其用于存储N维空间中的表示空间姿态的路线集合，所述路线集合包括多条路线，并且所述路线集合中的每条路线描述穿过所述N维空间的相机姿态轨迹并且被链接到包括帧的视频项，所述帧包括针对所述路线的相机姿态的图像信息和深度信息两者；输入部，其用于接收观看者位置指示；选择器，其用于响应于取决于距离度量的选择标准而选择所述路线集合中的第一路线，所述距离度量取决于所述观看者位置指示和所述路线集合中的所述路线的位置；检索器，其用于从视频源中检索与所述第一路线相关联的第一视频项；图像生成器，其用于根据来自所述第一视频项的第一帧集合来生成针对所述观看者位置指示的至少一幅视图图像；其中，相对于所述路线集合中的其他路线，所述选择标准偏向于当前选择的路线。在许多场景中并且对于许多应用，该方法可以提供改善的性能和/或操作。特别地，在许多场景中，该方法可以提供改善的虚拟现实体验。特别地，通常能够实现具有低延迟、高质量、低通信资源要求、低存储资源要求和/或低计算资源要求的高效方法。例如，该方法可以允许降低对客户端-服务器布置的通信或计算资源要求，该客户端-服务器布置用于基于存储视频项的服务器而在客户端设备处提供虚拟现实体验，并且可能也提供路线数据。例如，该方法可以用于基于与路线数据相关联(被链接到路线数据)的视频项而不是基于个体图像和相关联位置来表示虚拟环境。这例如可以允许使用高效视频编码技术，从而降低存储和通信资源要求。在许多实施例中，该方法可以允许根据真实世界捕获来方便地生成表示虚拟环境的数据。例如，能够基于在真实世界环境中四处移动时所捕获的视频项来有效地生成与真实世界环境相对应的虚拟环境中的虚拟体验。特别地，N维空间可以包括与在N维空间中的位置和/或视图取向有关的维度。N是整数，特别地，N可以表示反映虚拟环境中的位置的1-3个空间维度和反映虚拟环境中的视图取向的1-3个空间维度。特别地，观看者位置指示可以是N维空间中的位置的M维(其中，M通常等于N)指示。特别地，观看者位置指示可以表示反映虚拟环境中的位置的1-3个空间维度和反映虚拟环境中的视图取向的1-3个空间维度本文档来自技高网...

【技术保护点】
1.一种装置，包括：/n存储部(101)，其用于存储N维空间中的表示空间姿态的路线集合，所述路线集合包括多条路线，并且所述路线集合中的每条路线描述穿过所述N维空间的相机姿态轨迹并且被链接到包括帧的视频项，所述帧包括针对所述路线的相机姿态的图像信息和深度信息两者；/n输入部(105)，其用于接收观看者位置指示；/n选择器(107)，其用于响应于取决于距离度量的选择标准而选择所述路线集合中的第一路线，所述距离度量取决于所述观看者位置指示和所述路线集合中的所述路线的位置；/n检索器(103、109)，其用于从视频源(203)中检索与所述第一路线相关联的第一视频项；/n图像生成器(111)，其用于根据来自所述第一视频项的第一帧集合来生成针对所述观看者位置指示的至少一幅视图图像；/n其中，相对于所述路线集合中的其他路线，所述选择标准偏向于当前选择的路线。/n

【技术特征摘要】
【国外来华专利技术】20170329 EP 17163509.71.一种装置，包括：
存储部(101)，其用于存储N维空间中的表示空间姿态的路线集合，所述路线集合包括多条路线，并且所述路线集合中的每条路线描述穿过所述N维空间的相机姿态轨迹并且被链接到包括帧的视频项，所述帧包括针对所述路线的相机姿态的图像信息和深度信息两者；
输入部(105)，其用于接收观看者位置指示；
选择器(107)，其用于响应于取决于距离度量的选择标准而选择所述路线集合中的第一路线，所述距离度量取决于所述观看者位置指示和所述路线集合中的所述路线的位置；
检索器(103、109)，其用于从视频源(203)中检索与所述第一路线相关联的第一视频项；
图像生成器(111)，其用于根据来自所述第一视频项的第一帧集合来生成针对所述观看者位置指示的至少一幅视图图像；
其中，相对于所述路线集合中的其他路线，所述选择标准偏向于当前选择的路线。


2.根据权利要求1所述的装置，其中，所述图像生成器(111)被布置为：响应于针对相对于所述观看者位置指示的所述第一视频项的帧的路线位置数据而选择所述第一帧。


3.根据权利要求1或2所述的装置，其中，所述图像生成器(111)被布置为：如果所述第一路线被选择为所述当前选择的路线，则对所述第一帧集合的选择偏向于到所述第一视频项的当前选择的第一帧集合具有较小时间距离的帧。


4.根据权利要求1或2所述的装置，其中，所述图像生成器(111)被布置为：如果所述第一路线被选择为所述当前选择的路线，则基于帧选择度量来执行对所述第一帧集合的所述选择，所述帧选择度量随着到所述第一视频项的当前选择的帧的时间距离的减小而增大。


5.根据权利要求1所述的装置，其中，所述存储部(101)还被布置为：存储针对视频序列的路线的交叉位置；并且其中，所述选择标准取决于所述交叉位置。


6.根据权利要求5所述的装置，其中，所述选择器(107)被布置为：针对与交叉位置相对应的观看者位置指示而降低朝向所述当前选择的路线的所述偏向。


7.根据权利要求5所述的装置，其中，朝向所述当前选择的路线的所述偏向取决于所述观看者位置指示与所述交叉位置之间的距离。


8....

【专利技术属性】
技术研发人员：C·韦雷坎普，B·克龙，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰;NL