用于生成场景的表示的装置和方法制造方法及图纸

一种装置包括接收器(401)，所述接收器接收由第一深度感测相机捕获的第一图像和相关联的第一深度数据。检测器(405)检测针对所述第一图像中的基准标记的图像位置性质，所述基准标记表示第二深度感测图像相机的放置。放置处理器(407)响应于所述图像位置性质和针对所述基准标记的图像位置的第一深度数据的深度数据而确定指示所述第二深度感测相机相对于所述第一深度感测相机的放置的相对放置向量。第二接收器(403)接收由所述第二深度感测图像相机捕获的第二图像和第二第一深度数据。生成器(409)基于所述相对放置向量响应于至少第一图像和第二图像的组合而生成所述场景的至少部分的表示。

Devices and methods for generating representations of scenes

【技术实现步骤摘要】
【国外来华专利技术】用于生成场景的表示的装置和方法
本专利技术涉及一种用于根据由多个深度感测相机捕获的数据生成场景的表示的装置和方法，并且具体地但非专有地，涉及根据这样的表示生成用于虚拟现实应用的图像。
技术介绍
通常，图像的技术处理和使用已经基于二维成像，但是日益地，第三维度正在图像处理中明确考虑。例如，已经开发三维(3D)显示器，其通过给观察者的两个眼睛提供被观看的场景的不同视图将第三维度添加到查看体验。这可以通过使用户佩戴眼睛以分离显示的两个视图来实现。然而，由于这能够被认为对于用户不方便，因此在许多情形下优选使用在显示器处使用模块(诸如透镜镜头或者挡板)的自动立体显示器来分离视图，并且在其个体地可以到达用户的眼睛的不同的方向上发送它们。针对立体显示器，要求两个视图，然而自动立体显示器通常要求更多视图(诸如例如九个视图)。在许多实施例中，能够期望生成针对新查看方向的视图图像。然而各种算法已知用于基于图像和深度信息来生成这样的新视图图像，它们倾向于高度依赖于所提供的(或所导出的)深度图像的准确度。实际上，三维图像信息常常由对应于用于场景的不同视图方向的多幅图像提供。特别地，视频内容(诸如电影或者电视节目)被日益生成以包括一些3D信息。这样的信息可以使用专用3D或者深度感测相机捕获，诸如从稍微偏移相机位置捕获两幅同时图像的相机。然而，在许多应用中，所提供的图像可能不直接对应于期望的方向，或者可以需要更多图像。例如，针对自动立体显示器，要求超过两幅图像，并且实际上常常使用9-26幅视图图像。为了生成对应于不同视图方向的图像，可以采用视点移位过程。这通常通过视图移位算法执行，所述视图移位算法使用针对单个视图方向的图像连同相关联的深度信息。基于三维图像处理的应用的特定范例是虚拟现实应用。在典型的虚拟现实体验中，左眼和右眼视图图像可以连续地生成以用于例如虚拟现实头戴式受话器以匹配由用户对取向的移动和改变。动态虚拟现实视图的这样的生成通常基于表示对应于虚拟现实环境的给定场景的3D图像数据的处理。例如，虚拟现实服务器可以基于三维模型或者三维图像(诸如由光强度图像和深度图、或纹理图和深度网格表示的图像)生成针对特定视图的视图图像。针对诸如虚拟现实应用的应用，图像的序列可以例如生成以随着由于用户实际上移动或者改变虚拟环境中的视图方向/取向的这些改变来反映用户的视图。在一些应用中，图像可以生成以反映观察者的取向上的改变，但是不支持区域中的移动。反映这样的情形的视图常常被称为全方向视频。在其他应用中，还可以支持移动查看位置以反映虚拟现实环境中的用户的虚拟移动。反映这样的情形的视频常常被称为沉浸式视频。用户的当前视图可以由描述针对视点的相关位置和方向参数的视图向量表示。针对全方向视频，视图向量通常根据三个自由度(3DoF)描述取向，通常通过提供偏航、俯仰和滚动值(或方位角、仰角和倾斜)或四元数表示。针对沉浸式视频，向量通常根据六个自由度(6DoF)描述取向和位置两者，通常通过为偏航、俯仰、滚动并且为三个空间维度提供值。然而，在试图开发和支持支持可变视图位置和/或方向的灵活的视频和图像应用时的特定挑战在于，这些优选地不限于位置和/或方向的子集，但是理想地支持所有位置和/或方向。例如，针对6DoF沉浸式视频，观察者可以从任何位置并在任何方向上查看场景。这需要3D信息可用于场景的所有部分并且来自所有位置并用于所有方向。该要求对于在许多实际应用中满足而言困难或不可能，诸如特别地其中3D数据基于现实世界场景的捕获的应用。对象的位置和方向/取向的组合在视场中通常被称为放置或姿势。因此，放置或者姿势可以包括六个值/分量，其中，每个值/分量描述对应的对象的位置/定位或取向/方向的个体性质。当然，在一些情况下，放置或姿势向量可以具有更少的分量以表示位置和取向，例如如果一个或多个分量被认为是固定的(例如如果所有对象被称为在相同高度和水平处，四个分量可以提供对象的姿势的完全表示)。要解决的最困难的挑战之一在于，如何有效地捕获场景，使得可以生成场景的表示，其提供足够的信息以允许足够高质量的适合的视点图像被生成，但仍允许表示容易传递、存储、调整和/或处理。许多应用基于使用深度感测相机捕获现实世界场景或环境。这允许视觉性质与三维信息一起被捕获。为了足够准确并且完整地捕获场景，常常采用多个并且常常大量的相机的使用。在一些应用中，10、20或甚至更多个相机被用于提供令人满意的捕获。捕获的信息的使用可以在不同应用中是不同的。例如，在一些实施例中，捕获的数据可以被用于开发现实世界场景的三维模型。用于被提供有三维虚拟现实体验的用户的视图图像可以然后通过从特定视点评价模型来生成。在其他应用中，针对特定视口或视点的图像可以直接根据捕获的图像和深度信息生成，例如通过最近捕获的图像中的一幅或多幅并且执行视点移位以对应于期望的视点。通常，针对多视图相机捕获系统的校准包括不同的方面：1、对相机传感器中的每个固有的参数的校准：a)透镜焦距和畸变模型，b)传感器大小、分辨率、位置和取向2、对每个相机固有的参数的校准，即，相机节点相对于彼此的取向和位置。特别地，第二点常常是困难并且关键的。为了准确地处理捕获的数据例如以生成针对期望的视点的图像，重要的是捕获场景的深度感测相机的放置已知具有足够高的准确度和可靠性。特别地，通常要求深度感测相机相对于彼此的相对放置准确地已知，使得可以可靠并且准确地组合来自不同深度感测相机的捕获数据，无论通过生成中间模型还是通过直接地根据多幅捕获的图像生成图像。在许多应用中，针对放置确定的要求是非常苛求的并且难以实现。例如，在许多实际应用中要求方位角参数上的准确度是大约1°，或优选地实质上更低。在一些应用中，准确放置信息可以通过具有已知放置参数的相机的仔细的准确并高度受控的定位和取向来确保。例如，可以使用深度感测相机的固定装备，其中，每个相机固定在已知位置处并且具有相对于其他相机的固定取向。然而，这样的方法在许多应用中是不实际或甚至不可能的。例如，如果大量的相机被使用和/或如果相机彼此远离，则将位置和取向手动地测量或者限制于高准确度通常是不实际的。此外，方法不适合于动态捕获应用，诸如在相机可以动态添加或从捕获系统移除时，或者其中，相机中的一个或多个可以是移动相机。已经提出通过引入个体深度感测相机的位置的自动确定解决这样的问题。这可以例如通过使用包括在深度感测相机中的特定位置确定功能(诸如例如GPS功能)来实现。然而，这不仅要求深度相机传感器包括这样的功能，其实际上可能不是这种情况，但是还倾向于提供远离足够精确以确保不同相机之间的准确的确定的结果，特别地针对取向值。还已经建议，放置信息可以从捕获的信息导出。特别地，已经提出图像匹配可以被用于从不同相机找到图像中的交叠图像区域，并且这还可以被用于导出关于相机的相对放置的信息。然而，方法倾向于是计算上非常密集的，因为图像匹配需要原则上考虑图像相对于所有其他捕获图像中的所有其他区域的所有区域。此本文档来自技高网...

【技术保护点】
1.一种用于根据由多个分布式深度感测相机捕获的场景的图像来生成场景的至少部分的表示的装置，所述装置包括：/n第一接收器(401)，其用于接收由第一深度感测相机捕获的第一图像和由所述第一深度感测相机捕获的第一深度数据；/n检测器(405)，其用于检测针对所述第一图像中的基准标记的图像位置性质，所述图像位置性质指示所述第一图像中的所述基准标记的位置，并且所述基准标记通过具有相对于第二深度感测相机的预定放置差异来表示第二深度感测图像相机的放置；/n放置处理器(407)，其用于响应于所述图像位置性质、以及针对所述基准标记的图像位置的所述第一深度数据的深度数据、以及所述预定放置差异而确定指示所述第二深度感测图像相机相对于所述第一深度感测相机的放置的相对放置向量，所述相对放置向量是至少三维的；/n第二接收器(403)，其用于接收由所述第二深度感测图像相机捕获的第二图像和由所述第二深度感测图像相机捕获的第二深度数据；/n生成器(409)，其用于基于所述相对放置向量响应于至少所述第一图像和所述第二图像的组合而生成所述场景的至少部分的所述表示。/n

【技术特征摘要】
【国外来华专利技术】20170808 EP 17185271.81.一种用于根据由多个分布式深度感测相机捕获的场景的图像来生成场景的至少部分的表示的装置，所述装置包括：
第一接收器(401)，其用于接收由第一深度感测相机捕获的第一图像和由所述第一深度感测相机捕获的第一深度数据；
检测器(405)，其用于检测针对所述第一图像中的基准标记的图像位置性质，所述图像位置性质指示所述第一图像中的所述基准标记的位置，并且所述基准标记通过具有相对于第二深度感测相机的预定放置差异来表示第二深度感测图像相机的放置；
放置处理器(407)，其用于响应于所述图像位置性质、以及针对所述基准标记的图像位置的所述第一深度数据的深度数据、以及所述预定放置差异而确定指示所述第二深度感测图像相机相对于所述第一深度感测相机的放置的相对放置向量，所述相对放置向量是至少三维的；
第二接收器(403)，其用于接收由所述第二深度感测图像相机捕获的第二图像和由所述第二深度感测图像相机捕获的第二深度数据；
生成器(409)，其用于基于所述相对放置向量响应于至少所述第一图像和所述第二图像的组合而生成所述场景的至少部分的所述表示。


2.根据权利要求1所述的装置，其中，所述生成器(409)被布置为生成所述表示以包括来自与所述第一深度感测相机和所述第二深度感测相机的视点不同的视点的所述场景的图像。


3.根据权利要求1所述的装置，其中，所述生成器(409)被布置为基于所述第一深度数据和所述第二深度数据将至少所述第一图像和所述第二图像进行组合。


4.根据权利要求1所述的装置，其中，所述生成器(409)包括：接收器(501)，其用于接收针对多对深度感测相机的相对放置向量；坐标处理器(503)，其用于响应于所述相对放置向量而确定针对所述多个深度感测相机中的每个深度感测相机的公共坐标系中的深度感测相机放置，并且其中，所述生成器(409)被布置为响应于相同坐标系中的所确定的相机放置而生成所述图像。


5.根据权利要求4所述的装置，其中，所述坐标处理器(503)被布置为响应于成本函数的最小化而确定所述深度感测相机放置，所述成本函数取决于所述相对放置向量与根据所述公共坐标系中的确定的深度感测相机放置所确定的对应的放置向量之间的差异。


6.根据任一项前述权利要求所述的装置，还包括：
第二检测器，其用于检测针对所述第二图像中的第二基准标记的第二图像位置性质，所述第二图像位置性质指示所述第二图像中的所述第二基准标记的位置，所述第二基准标记通过具有相对于所述第一深度感测相机的第二预定放置差异来表示所述第一深度感测图像相机的放置；以及
第二放置处理器，其用于响应于所述第二图像位置性质、以及针对所述第二基准标记的图像位置的所述第二深度数据的深度数据、以及所述第二预定放置差异来确定指示所述第一深度感测图像相机相对于所述第二深度感测相机的...

【专利技术属性】
技术研发人员：C·韦雷坎普，B·克龙，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰;NL