产生车辆周围环境中至少一个物体的影像的方法和设备技术

本发明专利技术涉及一种产生车辆周围环境中至少一个物体的影像的方法和设备。所述方法具有下列步骤：确定的步骤(410)，该步骤基于所述车辆(100)的至少一个传感器(540)，特别是摄像机，的数据，确定物体(120、130)的对于传感器的不可见区域(210)；提供的步骤(420)，该步骤提供合成的图形元素(310)以插入所述物体(120、130)的不可见区域(21)中；以及插入的步骤(430)，该步骤将所述合成的图形元素(310)插入所述物体(210)的不可见区域(210)中，以从虚拟的摄像位置，特别是从鸟瞰视角产生车辆(100)周围环境中至少一个物体(120、130)的影像。

【技术实现步骤摘要】

本专利技术涉及根据各独立权利要求所述的一种用于从虚拟的摄像位置产生车辆周围环境中至少一个物体的影像的方法以及一种相应的设备。
技术介绍
在目前的驾驶员信息系统中尤其使用多摄像机系统，其目的为使驾驶员能够观察自己车辆四周。这些系统优选地用在停车机动动作中，以在显示器中为驾驶员示出可能的障碍物或者边界线。可能的呈现方式是同时显示各单个图像或者示出一幅由多幅图像组合成的360°全景图像。另一种呈现方式是所谓的“鸟瞰视角”，在该鸟瞰视角中摄像机的视角虚拟地通过换算改变，使得产生当鸟瞰向场景时的印象。DE 10 2007 053 305 Al公开一种用于基于预先规定的行驶路径在车辆中输出视觉的行驶建议的方法，该方法具有记录沿车辆行驶方向的车辆真实周围环境的图像的步骤以及探测车辆当前的地理位置的步骤。此外，所述方法具有根据预先规定的行驶路线和探测到的地理位置确定指示符号的步骤以及在视角上修正所述确定的指示符号的步骤，以实现与显示器中行驶路程上的路面标记图像相应的指示符号图像。最后，所述方法包括确定指示符号的步骤和将记录的图像与视角修正的指示符号相组合的步骤以及将组合的图像呈现在显示器上的步骤。
技术实现思路
在此背景下，通过本专利技术根据各独立权利要求提出一种用于从虚拟的摄像位置产生在车辆周围环境中至少一个物体的影像的方法，此外还提出一种使用该方法的设备以及最后提出一种相应的计算机程序产品。有利的设计方案分别由各个从属权利要求和后面的描述得出。本专利技术提出一种用于从虚拟的摄像位置，特别是从鸟瞰视角产生在车辆周围环境中至少一个物体的影像的方法，其中所述方法具有下列步骤-确定的步骤，该步骤基于车辆至少一个传感器特别是摄像机的数据确定对于传感器的不可见物体区域，以及-提供的步骤，该步骤提供合成的图形元素以插入物体的不可见区域，以及-插入的步骤，该步骤将合成的图形元素插入物体的不可见区域，以从虚拟的摄像位置，特别是从鸟瞰视角产生车辆周围环境中至少一个物体的影像。所述方法例如可以结合车辆的导航系统一起使用。影像可以例如是在导航系统屏幕上的图示。影像可以例如从鸟瞰视角重现正确的停车场景，该停车场景包括车辆连同车辆四周的物体，车辆的驾驶员必须注意这些物体，以便例如正确地且无损伤地停车。所述一个物体或者多个物体可以例如是另一车辆和它的类型、停车标记物和建筑物或植物，在停车过程中需绕开这些物体或者停车的车辆应相对于这些物体有一定的距离，以便例如可以在不损伤车辆和/或物体的危险的情况下打开车门。车辆的周围环境可以例如涉及环绕车辆360°角度内的全部物体，这些物体与车辆的停车过程相关，是非常重要的。虚拟的摄像位置例如通过换算车辆至少一个传感器的探测数据得到。虚拟的摄像位置可以位于车辆中间或在侧面位于车辆上方，使得车辆周围环境中全部相关的物体通过该虚拟的摄像位置对于摄像机是虚拟可见的。由传感器提供的数据可以代表由传感器探测到的车辆周围环境中物体的距离以及大小和形状。除了摄像机之外，传感器还可以是另一种光学的转换器。特别是为了确定物体的距离和三维特征，车辆还可以具有多个传感器，例如在车辆前部区域的传感器和后部区域中的传感器。光学传感器可以与距离传感器，例如雷达传感器或超声波传感器组合。 如果在车辆中仅可使用一个传感器，那么例如车辆与物体的距离也可以由之前确定的值得出，这些值例如可以储存在导航系统的存储器中。物体的不可见区域例如可以与载重汽车的车辆结构有关，该车辆结构通过安装在车辆车身上的传感器探测范围得出。可以例如以适合的算法执行确定的步骤。本专利技术是以如下认识为基础的通过车辆周围环境中探测到的物体的合成的图示，可以对车辆驾驶员完整地示出从鸟瞰视角观察的车辆周围环境以及场景，由此驾驶员基本上可以直观地理解周围环境以及场景。依据这里提出的方案，可以考虑到如下问题安装在车辆上的摄像机自然安装在很低的高度上，因此高的物体和在物体后面的区域不能完全地探测到。有利地，通过这里提出的方案，通过如下方式可以避免在车辆周围环境的图示中的未示出区域或者说“黑色区域(sctwaze Flecken) ”，即插入合成产生的图像物体代替这些“黑色区域”。这例如也适用于虽然已知且可完全示出但由于视角失真对于驾驶员不再可直观理解的物体。为了用可直观理解的内容填充这些“黑色”的区域，有利地例如可以用合成的图形元素填充这些区域的轮廓。如果借助于物体分类甚至已知涉及哪种物体，例如涉及行人、汽车、载重货车、交通标识等等，那么对于被辨识出且分类的物体例如将相应的图形元素在正确位置绘入图示中。合成的图形元素可以例如为对于确定的车辆类型为典型的部分区域例如车身。在此也可以是建筑物部分，例如通过换算由传感器探测的建筑物区域的数据可以使得该建筑物部分在视觉上可示出。合成的图形元素例如可以从存储器中调用或者在始终当前的情况下从探测的和已知的关于物体的数据中确定并间接地提供。可以通过一种适合的算法执行插入的步骤。合成的图形元素可以被构造用于在插入的状态下覆盖物体的全部不可见区域或不可见区域的一部分。通过这种方式，至少一个物体的影像例如可以示出在导航系统的屏幕上，使得对于车辆的驾驶员来说看一眼屏幕即可直观地理解该物体。依据一种实施方式，所述方法此外还包括将物体分类的步骤。在此，在提供的步骤中可以为被分类的物体的至少一个部分区域提供符号形式的合成的图形元素。在分类的步骤中可以确定，局部被探测的物体是否为行人、交通标识或另一车辆。局部被探测的车辆的类型，例如载重货车或者轿车可以在分类的步骤中确定，例如通过将探测到的部分区域与在导航系统数据库中的储存的样本物体进行比较。由此，插入的步骤有利地可以实质上更快地完成并且可以立刻替代全部不可见的区域。依据另一实施方式，所述方法还可以具有从另一位置探测关于物体的其他数据的步骤，该另一位置与传感器探测用于所述确定步骤的数据的位置不同。在此，所述其他数据可以至少与物体的对于传感器的不可见区域的一部分有关。此外，所述方法可以具有至少部分进行代替的步骤，该步骤用从其他位置探测的物体区域的视图来至少部分进行代替合成的图形元素。另一位置可以是在车辆上的另一传感器的位置或也可以是已经提供了关于物体的数据的同一传感器在时间上和/或地点上错开的位置。时间上和/或地点上错开的位置例如通过车辆在物体旁驶过得到。通过这种方式，逐步用真实的物体部分的视图代替合成的元素，其中所述物体对于车辆的驾驶员被持续地保持为可直观理解的。此外，当其他数据代表设想的物体整个表面的预先确定的部分时，实施所述至少部分进行代替的步骤。如此，可以有利地避免，由于过多地例如在导航仪的屏幕上转换视图而使车辆的驾驶员混乱。当已认识到，物体延伸超过传感器的竖直探测区域时，也可以停止至少部分进行代替的步骤。有利地，如此可以使所述物体对于驾驶员是能更好地直观理解的，因为可以避免在对于传感器的不可见区域中的所谓的黑色面。依据本专利技术的另一种实施方式，当在车辆周围环境中存在至少一个其它物体的情况下识别出，所述其它物体延伸超过传感器的竖直探测区域时，可以停止所述至少部分进行代替的步骤。在这里，给出的优点是避免由于过于频繁的视图转换而对驾驶员视觉产生过度要求。依据本专利技术的一种实施方式，可以根据车辆驾驶员的设定实施所述至少部分本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：T·福克，A·欣里希，M·雷斯蓬德克，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：