一种用于由2D图像数据集生成3D图像数据集的方法技术

本发明专利技术涉及一种用于由2D图像数据集(2D‑BD)生成3D图像数据集(3D‑BD)的方法，该方法具有以下步骤：读取代表具有实际消失点(22)的实际图像(20)的2D图像数据集(2D‑BD)，评估2D图像数据集(2D‑BD)，从而确定至少一个静止和/或可移动的对象(24、26、28、32)，对至少一个静止和/或可移动的对象(24、26、28、32)进行分类，并且为至少一个分类的静止和/或可移动的对象(24、26、28、32)分配关键字(SW)，使用关键字(SW)读取关于至少一个分类的静止和/或可移动的对象(24、26、28、32)的对象信息(OI)，和确定代表具有虚拟消失点(34a、34b)的虚拟图像(38a、38b)的至少一个辅助图像数据集(HBDS1、HBDS1'、HBDS2、HBDS2')，其中虚拟消失点(34a、34b)不同于实际消失点(22)。

A method for generating 3D image data set from 2D image data set

【技术实现步骤摘要】
一种用于由2D图像数据集生成3D图像数据集的方法
本专利技术涉及一种用于由2D图像数据集生成3D图像数据集的方法。
技术介绍
相对于2D图像数据集，3D图像数据集还提供空间信息。通常，这种3D图像数据集由所谓的立体摄像机提供。立体摄像机通常具有两个彼此相邻安装的镜头，并且允许在被触发时同时获取3D图像所需的两个立体半图像。两个镜头的曝光控制和锐度设置是关联的。使用立体摄像机的替代方案是运动立体视觉，在该运动立体视觉中使用单个摄像机获取的连续图像来创建空间场景。然而，这需要将各个图像登记为图像序列。因此，有必要在图像中找到相同的点并确定图像差异。此外，普尔弗里希(Pulfrich)效应可用于生成3D图像数据集。然而，在此，摄像机或镜头必须始终(原则上并且永久地)执行恒定、缓慢、专门的水平移动。如果仅违反这些要求中的一个，也不会发生3D效果。
技术实现思路
因此，本专利技术的一个目的是提供一种方法，利用该方法可以在不使用立体摄像机的情况下提供3D图像数据集。该目的通过一种用于由2D图像数据集生成3D图像数据集的方法来实现，包括以下步骤：读取代表具有实际消失点的实际图像的2D图像数据集，评估2D图像数据集，从而确定至少一个静止和/或可移动的对象，对至少一个静止和/或可移动的对象进行分类，并且为至少一个静止和/或可移动的对象分配关键字，使用关键字读取关于至少一个分类的静止和/或可移动的对象的对象信息，和确定代表具有虚拟消失点的虚拟图像的至少一个辅助图像数据集，其中虚拟消失点不同于实际消失点。因此，基于关键字读取额外的对象信息，其用作关于在2D图像数据集中不可见的对象(例如因为对象被遮挡)的细节的隐藏信息。由此在没有立体摄相机的情况下也可以提供3D图像数据集。根据实施例，对象信息是关于分类对象的几何数据。几何数据可以是例如对象的形状和/或尺寸。由此可以特别容易地在不使用立体摄像机的情况下提供3D图像数据集。根据另一实施例，利用另一虚拟消失点确定至少一个另外的辅助图像数据集，其中该另一虚拟消失点与(前一)虚拟消失点和实际消失点不同。换句话说，形成两个辅助图像数据集，例如用于左侧虚拟图像的第一辅助图像数据集和用于右侧虚拟图像的第二辅助图像数据集。由此可以增强3D效果并且可以提供对称的3D图像数据集。根据另一实施例，确定至少一个辅助图像数据集包括确定核线。另一图像中给定点的对应像素可以仅位于核线上。这减少了搜索相应像素时的搜索工作量。根据另一实施例，确定至少一个辅助图像数据集包括将至少一个虚拟消失点布置在实际图像的地平线上。换句话说，生成右虚拟图像和左虚拟图像，该左、右虚拟图像对于机动车辆的驾驶员具有特别重要意义。根据另一实施例，确定代表具有虚拟消失点的虚拟图像的至少一个辅助图像数据集包括至少第一部分转换和第二部分转换，其中在第一部分转换时根据至少一个虚拟消失点改变静止和可移动的对象的至少一个位置从而确定辅助图像数据集，在第二部分转换时使用读取的对象信息从而在辅助图像数据集中插入隐藏的信息以确定辅助图像数据集。因此，提供了两阶段过程，其中在第一部分转换中仅使用2D图像数据集的数据，而在第二部分转换中使用来自数据库的额外数据。由此即使在没有给出数据库访问权限的情况下，3D图像数据集也可用。此外，由此使得由两个部分转换步骤组成的转换可以并行化并因此在不同的计算机上执行。此外，本专利技术包括用于执行这种方法的计算机程序产品、用于执行这种方法的设备和具有这种设备的机动车辆。附图说明现在将参考附图解释本专利技术。在图中：图1示出了用于执行这种方法的设备的示意图。图2示出了用于解释图1中所示设备的操作的实际图像和两个虚拟图像的示意图。具体实施方式首先参考图1。所示出的是用于由2D图像数据集2D-BD(2D-Bilddatensatz)生成3D图像数据集3D-BD(3D-Bilddatensatz)的设备2。在本示例性实施例中，该设备2分配给机动车辆4(例如乘用车辆)，机动车辆4具有人机界面HMI(Mensch-Maschine-Schnittstelle)，例如用于再现3D图像数据集3D-BD的显示器。为机动车辆4分配摄像机6(例如CCD-摄像机)，该摄像机仅具有一个镜头并且提供没有空间深度信息的2D图像数据集2D-BD。设备2被设计为读取2D图像数据集2D-BD并输出3D图像数据集3D-BD。为此，本实施例中的设备2具有图像处理模块8、数据库10、第一转换模块12、第二转换模块14、3D模块16和中央模块18。设备2、图像处理模块8、数据库10、第一转换模块12、第二转换模块14、3D模块16和中央模块18可以为它们如下所述的输出和功能分别具有硬件和/或软件组件。现在将另外参考图2解释设备2的操作。所示出的是基于由机动车辆4的摄像机6所提供的2D图像数据集2D-BD的实际图像20的再现。2D图像数据集2D-BD在第一步骤中由设备2读取。在本实施例中，再现的实际图像20具有实际消失点22、地平线24和对象26、28和30。在本实施例中，对象26是可移动的和/或静止的对象(例如交通标志或其他交通参与者)、对象28是周围环境元素和/或背景元素(例如道路)、对象30是地面以及对象32是代表实际图像20的透视的图像特有特征。在另一步骤中，实际消失点22、地平线24和对象26、28和30通过图像处理确定，例如作为特征提取或对象识别的一部分。为此，可以使用霍夫(Hough)变换、对比度分析或颜色分类。在进一步的步骤中，检查对象26是否是可移动的和/或静止的对象。为此，可以使用例如NIC算法。结果是得到一个对象列表LO。此外，根据该分类，对象26被分配关键字SW。在进一步的步骤中，使用确定的关键字SW从数据库10读取与静止和/或可移动的对象26有关的对象信息OI。对象信息OI是与相应的可移动和/或静止的对象26有关的几何数据，例如其形状和/或尺寸。因此，设备2被提供有关于各个可移动和/或静止的对象26的隐藏信息，该隐藏信息不包含在所提供的2D图像数据集BD-2D中。数据库10是本实施例中的设备2的一部分。不同于本实施例，数据库10也可以单独形成，即，设备2包括图像处理模块8、第一转换模块12、第二转换模块14、3D模块16和中央模块18，而数据库10可以通过例如用于数据传输的无线连接进行读取。数据库10还可以托管在云中。在进一步的步骤中确定第一虚拟消失点34a。在本示例性实施例中，第一虚拟消失点34a布置在地平线24上的实际消失点22的右侧。换句话说，第一虚拟消失点34a的位置被确定用于左侧的图像。在进一步的步骤中，执行2D图像数据集BD-2D的第一部分转换，在该步骤中静止的和/或可移动的对象26、28、30、32的位置根据第一虚拟消失点34a进行调整。该第一部分转换的结果以第一辅助图像本文档来自技高网...

【技术保护点】
1.一种用于由2D图像数据集(2D-BD)生成3D图像数据集(3D-BD)的方法，所述方法具有以下步骤：/n读取代表具有实际消失点(22)的实际图像(20)的2D图像数据集(2D-BD)，/n评估所述2D图像数据集(2D-BD)，从而确定至少一个静止和/或可移动的对象(24、26、28、32)，/n对所述至少一个静止和/或可移动的对象(24、26、28、32)进行分类，并且为所述至少一个分类的静止和/或可移动的对象(24、26、28、32)分配关键字(SW)，/n使用所述关键字(SW)读取关于所述至少一个分类的静止和/或可移动的对象(24、26、28、32)的对象信息(OI)，和/n确定代表具有虚拟消失点(34a、34b)的虚拟图像(38a、38b)的至少一个辅助图像数据集(HBDS1、HBDS1'、HBDS2、HBDS2')，其中所述虚拟消失点(34a、34b)不同于所述实际消失点(22)。/n

【技术特征摘要】
20180629 DE 102018210786.61.一种用于由2D图像数据集(2D-BD)生成3D图像数据集(3D-BD)的方法，所述方法具有以下步骤：
读取代表具有实际消失点(22)的实际图像(20)的2D图像数据集(2D-BD)，
评估所述2D图像数据集(2D-BD)，从而确定至少一个静止和/或可移动的对象(24、26、28、32)，
对所述至少一个静止和/或可移动的对象(24、26、28、32)进行分类，并且为所述至少一个分类的静止和/或可移动的对象(24、26、28、32)分配关键字(SW)，
使用所述关键字(SW)读取关于所述至少一个分类的静止和/或可移动的对象(24、26、28、32)的对象信息(OI)，和
确定代表具有虚拟消失点(34a、34b)的虚拟图像(38a、38b)的至少一个辅助图像数据集(HBDS1、HBDS1'、HBDS2、HBDS2')，其中所述虚拟消失点(34a、34b)不同于所述实际消失点(22)。


2.根据权利要求1所述的方法，其中所述对象信息(OI)是关于分类的所述对象(24、26、28、32)的几何数据。


3.根据权利要求1或2所述的方法，其中确定具有另外的所述虚拟消失点(34b)的至少一个另外的所述辅助图像数据集(HBDS2、HBDS2')，其中所述另外的虚拟消失点(34b)与所述第一虚拟消失点(34a)和所述实际消失点(22)不同。


4.根据权利要求1至3任一项所述的方法，其中确定所述至少一个辅助图像数据集(HBDS1、HBDS1'、HBDS2、HBDS2')包括确定核线。


5.根据权利要求1至4任一项所述的方法，其中确定所述至少一个辅助图像数据集(HBDS1、HBDS1'、HBDS2、HBDS2')包括将至少一个所述虚拟消失点(34a、34b)布置在所述实际图像(20)的地平线(24)上。


6.根据权利要求1至5任一项所述的方法，其中确定代表具有虚拟消失点(34a、34b)的所述虚拟图像(38a、38b)的所述至少一个辅助图像数据集(HBDS1、HBDS1'、HBDS2、HBDS2')包括至少第一部分转换和第二部分转换，其中在所述第一部分转换时根据所述至少一个虚拟消失点(34a、34b)改变所述静止和可移动的对象(24、26、28、32)的至少一个位置从而确定所述辅助图像数据集(HBDS1、HBDS2)，在所述第二部分转换时使用读取的所述对象信息(OI)从而在所述辅助图像数据集(HBDS1、HBDS2)中插入隐藏的信息以确定所述辅助图像数据集(HBDS1'、HBDS2')。


7.一种计算机程序产品，所述计算机程序产品设计为用于执行根据权利要求1至6任一...

【专利技术属性】
技术研发人员：弗雷德里克·斯蒂芬，克里斯托夫·阿恩特·德尔·哈比尔，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国;US