图像处理制造技术

一种装置包括存储设备(201)，所述存储设备存储与针对场景的不同位置和观察方向相对应的图像以及针对所述图像的相关联的位置参数向量，其中，针对图像的所述向量包括指示观察位置和观察方向的数据。接收器(205)从远程客户端(101)接收观察位置参数向量。选择器(207)响应于所述观察位置参数向量与所述相关联的位置参数向量的比较而选择图像的集合。图像合成器(209)根据所述图像的集合来生成图像。数据生成器(215)生成针对合成图像的参考位置参数向量，所述参考位置参数向量指示针对所述合成图像的观察位置和方向。图像编码器(211)编码所述合成图像并且输出生成器(213)生成包括经编码的合成图像和所述参考位置参数向量的输出图像信号。所述输出图像信号被发送到所述远程客户端。

image processing

A device includes a storage device (201) that stores images corresponding to different locations and observation directions for a scene and associated position parameter vectors for the image, wherein the vectors for the image include data indicating the observation position and direction. The receiver (205) receives the observation position parameter vector from the remote client (101). The selector (207) selects a set of images in response to a comparison between the observed position parameter vector and the associated position parameter vector. The image synthesizer (209) generates an image according to the set of the images. The data generator (215) generates a reference position parameter vector for the composite image, which indicates the observation position and direction for the composite image. The image encoder (211) encodes the composite image and the output generator (213) generates an output image signal including the encoded composite image and the reference position parameter vector. The output image signal is sent to the remote client.

【技术实现步骤摘要】
【国外来华专利技术】图像处理
本专利技术涉及图像处理，并且具体地但非排他性地涉及一种用于在虚拟现实系统中提供三维图像的系统。
技术介绍
近年来，随着利用和消耗视频的新服务和方式正在不断发展和引入，图像及视频应用的种类和范围已经大幅增加。例如，越来越流行的一种服务是以观察者能够主动地且动态地与系统交互而改变绘制的参数的这种方式提供视频。许多应用中的非常吸引人的特征是改变观察者的有效观察位置和观察方向的能力，例如允许观察者在正呈现的场景中移动和“游览”。这样的特征具体地能够允许将虚拟现实体验提供给用户。这可以允许用户(相对)自由地在场景中四处走动并且动态地改变他正在看哪里。通常，这样的虚拟现实应用基于场景的三维模型，其中模型被动态地评估以提供具体请求的视图。这种方法从例如用于计算机和控制台的(诸如第一人称射击游戏的类别中的)游戏应用是公知的。然而，这样的应用固有地受到的限制在于它们是基于场景的预定模型的。对于许多应用来说，将会期望在用户能够选择观察位置和方向的情况下可以针对现实捕获的视频实施虚拟现实效果。已经通过使用具有不同观察位置和方向的多个相机以及在从被认为最接近观察者当前位置的相机选择视频的情况下来实施在这样的特征处的尝试。然而，这样的方法趋向于需要分布相对高数量的并行视频流，并且也为清楚地注意到视图何时从一个相机切换到另一相机的用户提供次优体验。具体地，对于虚拟现实应用也期望正呈现的图像是三维图像。实际上，为了优化观察者的沉浸体验，通常优选使用户将呈现的场景体验为三维场景。实际上，虚拟现实体验应当优选地允许用户选择他/她自己相对于虚拟世界的位置、相机视点以及时刻。在“理想”虚拟世界中，由相机传感器从所有位置沿所有方向不断捕获动态场景。作为一范例，虚拟现实眼镜当前正进入市场。这些眼镜允许观察者体验捕获的360度(全景)视频。通常使用相机装备预先捕获这些360度视频，其中个体图像被一起拼接成单个球形映像。用于360视频的常见立体格式是顶部/底部和左/右。类似于非全景立体视频，左眼和右眼图片被压缩为单个H.264视频流的部分。在解码单个帧之后，观察者旋转他/她的头部以观察他/她周围的世界。当前范例是由谷歌制作的卡内基音乐厅中的音乐会的记录[https://performingarts.withgoogle.tabhumblecom/en_us/performances/carnegie-hall]。在此范例中，观察者可体验360度游览效果，并且可在从不同位置记录的三个视频流之间离散地切换。当切换时，另一视频流被下载，其中断该体验。立体全景视频方法的一个缺陷是观察者不能改变虚拟世界中的位置。对除全景立体视频外的全景深度图的编码和发送可以允许补偿客户端侧处的观察者的小平移运动，但这样的补偿将固有地限制于小变化和移动，并且将不能够提供沉浸的且自由的虚拟现实体验。相关技术是自由视点视频，其中在单个视频流中编码并发送具有深度图的多个视点。除了公知的时间预测方案外，可以通过利用视点之间的角度相关性来减少视频流的比特率。然而，该方法仍然需要高比特率并且在能够被生成的图像方面受限制。实际上无法提供在三维虚拟现实世界中完全自由移动的体验。然而，没有现有技术能够递送理想的体验，而是趋向于在位置和观察方向的改变的自由度方面受限制。此外，所述技术趋向于需要非常高的数据速率并且提供包括比生成个体图像/视图所需的数据更多的数据的数据流。因此，改善的图像处理方法将是有利的。具体地，允许改善的操作、增加的灵活性、用于生成与不同观察位置和方向相对应的图像的增加的范围、改善的虚拟现实体验、减少的数据速率、促进的分布、减少的复杂性、促进的实施方式和/或改善的性能和/或操作的方法将是有利的。
技术实现思路
因此，本专利技术寻求优选减轻、缓和或消除单个或以任何组合的形式出现的以上提及的缺点的一个或多个。根据本专利技术的一方面，提供了一种装置，其包括：存储设备，其用于存储针对三维场景的多幅图像，所述图像与针对所述场景的不同位置和观察方向相对应，并且所述存储设备还被布置为存储针对所述多幅图像的相关联的位置参数向量，针对所述多幅图像中的图像的相关联的位置参数向量包括指示针对所述图像的观察位置和观察方向的数据；接收器，其用于从远程客户端接收观察位置参数向量；选择器，其用于响应于所述观察位置参数向量与所述相关联的位置参数向量的比较而从所述多幅图像中选择图像的集合；图像合成器，其用于根据所述图像的集合来生成合成图像；数据生成器，其被布置为生成针对所述合成图像的参考位置参数向量，所述参考位置参数向量指示针对所述合成图像的观察位置和观察方向；图像编码器，其用于编码所述合成图像以生成经编码的合成图像；输出生成器，其用于生成包括所述经编码的合成图像和所述参考位置参数向量的输出图像信号；以及发送器，其用于将所述输出图像信号发送到所述远程客户端。本专利技术可以提供一种用于例如基于现实图像捕获而支持定制化用户体验的改善的方法。该方法具体地可以提供例如基于事件/场景的捕获的虚拟现实体验的改善的支持。该方法可以允许生成定制化体验，其中，远程客户端能够改变，并且控制观察者在由存储在存储设备中的图像表示的环境中的移动。具体地，在许多实施例中，该方法可以有效地支持其中远程客户端可以基于从用作服务器的装置接收的图像而提供虚拟现实体验的设置。能够根据服务器处的虚拟现实应用的当前状况和要求有效地定制由该服务器提供的图像，由此最小化由远程客户端需要的后处理量。然而，该服务器仍然可以提供允许该服务器细化接收到的图像以调节当前观察者位置/方向与由传送的图像表示的观察者位置/方向的任何偏差的信息。在许多实施例中，能够提供改善的体验和更自由可控的体验。此外，这可以在无需过多带宽的情况下提供，并且实际上在大多数实施例中，能够基于捕获的视频实现自适应且灵活的虚拟现实体验而仅需要与单个视频流的带宽相对应的从服务器到客户端的带宽。在许多实施例中，多幅图像可以是针对场景的捕获的图像，并且具体地多幅图像可以是由相机在现实场景中捕获的图像。存储在存储器中的多幅图像可以是捕获现实场景的图像。在许多实施例中，多幅图像可以包括在不同时刻处获取的图像并且相应地它们可以反映该场景中的动态变化。多幅图像具体地可以包括现实场景的捕获的视频的帧。位置参数向量可以是包括指示一个或多个参数的一个或多个值的数据结构或布置，其中至少一个参数指示观察位置并且至少一个参数指示观察方向。针对捕获的图像而言，该观察位置和方向可以与当捕获图像时的相机位置和取向/方向相对应。表示位置参数向量的数据可以以任何适当的方式来布置，并且可以例如包括通常针对多幅图像提供的值。接收器可以被布置为经由通信媒介从远程客户端接收观察位置参数向量，通信媒介可以包括网络并且具体地它可以包括因特网。观察位置参数向量可以指示针对由装置/服务器生成的合成图像的期望的观察位置和观察方向。在许多实施例中，观察位置参数向量可以被生成为表示用户在由存储在存储器中的图像表示的虚拟场景中的位置和观察方向。对图像的集合的选择具体地可以响应于针对观察位置参数向量和相关联的位置参数向量的接近度准则。具体地，可以确定观察位置参数向量与个体相关联的观察位置参数向量之间的距离度量，并且该选择可以响应于该距离度量。通常，图本文档来自技高网...

【技术保护点】
1.一种装置，包括：存储设备(201)，其用于存储针对三维场景的多幅图像，所述图像与针对所述场景的不同位置和观察方向相对应，并且所述存储设备(201)还被布置为存储针对所述多幅图像的相关联的位置参数向量，针对所述多幅图像中的图像的相关联的位置参数向量包括指示针对所述图像的观察位置和观察方向的数据；接收器(205)，其用于从远程客户端(101)接收观察位置参数向量；选择器(207)，其用于响应于所述观察位置参数向量与所述相关联的位置参数向量的比较而从所述多幅图像中选择图像的集合；图像合成器(209)，其用于根据所述图像的集合来生成合成图像；数据生成器(215)，其被布置为生成针对所述合成图像的参考位置参数向量，所述参考位置参数向量指示针对所述合成图像的观察位置和观察方向；图像编码器(211)，其用于编码所述合成图像以生成经编码的合成图像；输出生成器(213)，其用于生成包括所述经编码的合成图像和所述参考位置参数向量的输出图像信号；以及发送器(203)，其用于将所述输出图像信号发送到所述远程客户端。

【技术特征摘要】
【国外来华专利技术】2016.09.29 EP 16191405.61.一种装置，包括：存储设备(201)，其用于存储针对三维场景的多幅图像，所述图像与针对所述场景的不同位置和观察方向相对应，并且所述存储设备(201)还被布置为存储针对所述多幅图像的相关联的位置参数向量，针对所述多幅图像中的图像的相关联的位置参数向量包括指示针对所述图像的观察位置和观察方向的数据；接收器(205)，其用于从远程客户端(101)接收观察位置参数向量；选择器(207)，其用于响应于所述观察位置参数向量与所述相关联的位置参数向量的比较而从所述多幅图像中选择图像的集合；图像合成器(209)，其用于根据所述图像的集合来生成合成图像；数据生成器(215)，其被布置为生成针对所述合成图像的参考位置参数向量，所述参考位置参数向量指示针对所述合成图像的观察位置和观察方向；图像编码器(211)，其用于编码所述合成图像以生成经编码的合成图像；输出生成器(213)，其用于生成包括所述经编码的合成图像和所述参考位置参数向量的输出图像信号；以及发送器(203)，其用于将所述输出图像信号发送到所述远程客户端。2.根据权利要求1所述的装置，其中，所述相关联的位置参数向量中的至少一个和所述观察位置参数向量包括时间参数，并且对所述图像的集合的所述选择包括所述观察位置参数向量的时间参数值与所述相关联的位置参数向量中的所述至少一个的时间参数值之间的差异的比较。3.根据权利要求1或2所述的装置，其中，所述选择器(207)被布置为根据多个接收到的观察位置参数向量来预测修改的观察位置参数向量，并且所述选择器(207)被布置为响应于所述修改的观察位置参数向量而选择所述图像的集合；或者所述图像合成器(209)被布置为响应于所述修改的观察位置参数向量而合成所述合成图像。4.根据任一前述权利要求所述的装置，还包括高速缓冲存储器和预先选择器，所述预先选择器被布置为根据多个接收到的观察位置参数向量来预测修改的观察位置参数向量，并且响应于所述修改的观察位置参数向量与所述相关联的位置参数向量的比较而从所述多幅图像中预先选择预测的图像的集合，并且将所述预测的图像的集合存储在所述高速缓冲存储器中；并且其中，所述选择器(209)被布置为从存储在所述高速缓冲存储器中的所述预测的图像的集合中检索所述图像的集合中的至少一幅图像。5.根据任一前述权利要求所述的装置，其中，所述存储设备(201)还包括针对所述图像的深度数据，并且所述图像合成器(209)被布置为还响应于针对所述图像的集合的深度数据而生成针对所述合成图像的深度数据，并且所述生成器(213)被布置为将所述深度数据包括在所述输出图像信号中。6.根据任一前述权利要求所述的装置，被布置为接收一系列观察位置参数向量，并且将所述输出图像信号生成为包括与所述系列观察位置参数向量相对应的合成图像的序列。7.根据权利要求6所述的装置，其中，所述接收器(205)被布置为对所述系列观察位置参数向量中的至少一个参数应用低通滤波器...

【专利技术属性】
技术研发人员：C·韦雷坎普，P·L·E·万德瓦勒，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰,NL