用于监视车辆内部的可视化环视系统技术方案

本发明专利技术涉及一种用于监视车辆内部的可视化环视系统，特别是一种包括计算单元(3)的设备，该计算单元被配置成将至少一个相机(Cam1～Cam8)的至少一个相机图像(Img1～Img8)投影到虚拟投影表面(Proj)上，以便创建车辆内部空间(2)的虚拟视图(ImgV)。此外，本发明专利技术还涉及一种用于车辆内部空间的监视系统，其包括一个或多个相机以及上述设备，该设备被配置成基于相机的一个或多个相机图像来创建车辆内部空间的虚拟视图。此外，本发明专利技术还涉及一种包括将至少一个相机的至少一个相机图像投影到虚拟投影表面上，以便创建车辆内部空间的虚拟视图的方法。

Visual Circumferential Vision System for Monitoring Vehicle Interior

【技术实现步骤摘要】
用于监视车辆内部的可视化环视系统
本专利技术涉及驾驶员辅助系统领域，更具体地涉及一种用于车辆内部空间的监视系统。
技术介绍
驾驶员辅助系统是用于机动车辆的电子装置，这种电子装置应使驾驶员在安全方面和提高驾驶舒适性方面得到帮助。这类驾驶员辅助系统例如包括所谓的注意力辅助系统(也称为“驾驶员状况识别装置”或“疲劳识别装置”)。这样的注意力辅助系统包括用于监视驾驶员的传感器系统，该传感器系统例如跟踪驾驶员的活动和眼睛，从而确定疲劳或注意力分散，并视情况发出警告。此外，还公知有监视车辆内部空间的驾驶员辅助系统。为使行程负责人能够观察车辆内部空间的状况，在这种类型的系统中设置一个或多个监视内部空间的相机。例如参阅德国专利文献DE4406906A1，其公知了一种基于红外辐射来监视车辆内部空间的系统。另外，公知有用于检测车辆附近环境的停车与调车辅助系统。停车与调车辅助系统一般包括倒车摄像头。现代停车与调车辅助系统也称为环视系统，除倒车摄像头之外，这种系统还例如在车辆的正面和侧面包括另外的广角相机。这样的环视系统自上而下地产生车辆的鸟瞰图。这种环视系统例如参阅欧洲专利文献EP2511137A1。如果来自不同视角的多个相机观察车辆的外部空间，并且单独地且未经处理地显示每一个相机图像，则会导致驾驶员无法概览而难以掌握信息。就此而言，德国专利文献DE102015205507B3公开了一种用于车辆的全景系统，该系统的评估单元用于处理由多个外置相机拍摄的图像。评估单元通过计算所拍摄的图像到虚拟投影表面上的投影并计算投影到虚拟投影表面上的俯视图，从所拍摄的图像生成俯视图像。专利技术内容本专利技术的任务是：提供一种进一步提高车辆安全性的驾驶员辅助系统。该任务通过按照权利要求1的根据本专利技术的设备、按照权利要求9的根据本专利技术的监视系统以及按照权利要求10的根据本专利技术的方法来解决。由从属权利要求和下文对本专利技术优选实施例的描述得出本专利技术的其它有利实施方案。根据下文所描述的实施例，提供如下设备，该设备包括计算单元，该计算单元被配置成将至少一个相机的至少一个相机图像投影到虚拟投影表面上，以便创建车辆内部空间的虚拟视图。一个或多个相机可以例如是灰度或彩像相机、立体相机或飞行时间相机。优选地，相机配置为广角光学器件。相机可以例如按如下方式布置，使得车辆内部中的每一部位均位于至少一个相机的视野中。在此情形下，在安装相机时，可以考虑典型的乘客座位，这样就不会或尽量少遮挡人员。相机图像例如由多个像素组成，这些像素分别定义灰度值、色值或任选的深度信息。车辆内部空间可以例如是机动车辆的整个或部分车辆内部，但也可以是诸如货车载货区域或房车起居区域的车辆内部空间。诸如货车、露营车、SUV以及普通乘用车的大型车辆的内部空间通常因同乘者、散置的货物、行李等十分混杂而无法一眼概览全貌。驾驶中，驾驶员也无法看清内部空间，因为他必须注视前方的道路，而不能回头观看。另外，在驾驶中，例如也可能要改变儿童座椅上儿童的安全带状态，因此，驾驶员或行程负责人(在自动驾驶车辆中)在驾驶时仅检查内部空间一次还不够。在自动驾驶车辆中，正如露营车等大型车辆一样，同乘者也可能在驾驶中移动货物或重物。这就导致旅途中可能会因人员未正确系好安全带或部分货物不符合安全规定而产生风险。凭借本专利技术生成的车辆内部空间的虚拟视图或虚拟成像可以由计算单元例如发送到显示设备并在该显示设备进行显示。显示设备可以例如是位于车辆内部以使驾驶员可以看见的显示器。在显示器上显示的车辆内部空间的虚拟成像可以例如帮助驾驶员检查是否全部乘员都已经就位并系好安全带以及车辆内部空间中是否存在危险物体。采用这种方式虚拟表示内部空间的优点在于，虚拟相机可以被放置在任意位置，例如也可放置在车辆外部，或者放置在车辆内部难以触及的位置，因此可以为驾驶员生成特别一目了然的内部空间图像。通过远高于车辆放置的虚拟相机例如可以生成车辆内部空间的俯视图，诸如由定位于车辆内部空间上方的长焦相机生成的俯视图，也就是说，同时避免失真效果，诸如定位于待成像对象附近的相机广角拍摄时产生的失真效果。采用这种方式，例如可以获得鸟瞰视角的车辆内部空间的虚拟视图，这为驾驶员提供车辆内部空间的一目了然的图示。例如，一眼就能辨认桌台上有潜在危险的物体，或者后座上的儿童从其座位上解开安全带。此外，采用这种方法，将多个相机的图像换算成虚拟图像，这就为用户提高了概览度。根据下文所描述的实施例，生成用于在显示设备上显示的车辆内部空间的虚拟图像通过将各自的相机的一个或多个相机图像投影到虚拟投影表面上来实现。投影表面可以例如是车辆内部空间模型，特别是由诸如矩形或多边形的一个或多个面或者由诸如球、半球等曲面的构成的表面，这样对车辆内部空间建模。车辆内部空间模型用作相机图像数据的投影表面。投影表面不必是平面。确切而言，投影表面可以例如是嵌入三维空间的2D表面。形成2D表面的矩形或多边形或曲面可以例如彼此成特定角度布置，以便该2D表面对车辆内部空间建模。形成投影表面的各面可以相互连接，以便产生整体的投影表面。但替代地，投影表面也可以由相互分开的部分投影表面组成，这些部分投影表面均由一个或多个投影面组成。例如，可以借助虚拟光学成像法来执行至少一个相机图像的投影，这例如是通过用投影表面分割穿过相机图像各个像素的光束。通过投影一个或多个相机图像，例如为车辆内部空间3D模型提供当前相机数据，以便为3D模型提供当前纹理和色彩信息。计算单元可以例如是处理器等。计算单元可以例如是机动车辆的车载计算机的计算单元，并且除生成车辆内部空间的虚拟视图之外还承担机动车辆中的其它功能。但计算单元也可以是专用于生成车辆内部空间的虚拟视图的组件。根据一种优选实施方式，计算单元被配置成生成相机图像投影到虚拟投影表面上的虚拟成像。例如借助虚拟光学技术，可以从投影到投影表面上的相机图像重建车辆内部空间的虚拟视图。虚拟图像可以例如通过由虚拟相机“翻拍”投影到投影表面上的相机图像来生成。这种虚拟翻拍又可以借助光学成像法来完成，这例如是通过用投影表面分割穿过虚拟相机图像各个像素的光束。这样计算单元例如可以被配置成基于相机图像从虚拟相机(或虚拟观测器)“拍射”车辆内部空间的建模3D场景。为此，可以选择该相机的位置和方向。例如，可以选择虚拟相机在车辆上方居中并指向正下方的虚拟位置，或者以一定倾斜方向略偏离侧面的虚拟位置。可行地，所述系统的用户也可以例如通过触摸显示器影响虚拟相机本身的位置和方向。计算单元也可以被配置成将各自的相机的多个相机图像投影到虚拟投影表面上，以便由此创建合成虚拟视图。这可以例如是通过借助本领域技术人员公知的拼接技术将多个相机图像拼合成合成相机图像，然后将其投影到虚拟投影表面上。拼接技术可以例如包括阿尔法混合技术，这表示从所涉及的相机图像获取一定比例的像素值。替代地，相机图像也可以单独投影到虚拟投影表面上，然后这些单独的相机图像投影可以例如借助“拼接”技术拼合成合成投影图像，再由虚拟相机进行“翻拍”。替代地，相机图像可以单独投影并“翻拍”，然后所得的虚拟相机图像例如借助“拼接”技术拼合成合成虚拟相机图像。虚拟投影表面可以从车辆内部空间模型推导出，特别是从车辆内部空间3D模型推导出。车辆内部空间模型可以例如包括本文档来自技高网...

【技术保护点】
1.包括计算单元(3)的设备，所述计算单元被配置成：将至少一个相机(Cam1～Cam8)的至少一个相机图像(Img1～Img8)投影到虚拟投影表面(Proj)上，以便创建车辆内部空间(2)的虚拟视图(ImgV)。

【技术特征摘要】
2018.03.07 DE 102018203405.21.包括计算单元(3)的设备，所述计算单元被配置成：将至少一个相机(Cam1～Cam8)的至少一个相机图像(Img1～Img8)投影到虚拟投影表面(Proj)上，以便创建车辆内部空间(2)的虚拟视图(ImgV)。2.根据权利要求1所述的设备，其中，所述计算单元(3)被配置成：生成投影到所述虚拟投影表面(Proj)上的相机图像的虚拟成像(ImgV)。3.根据权利要求1所述的设备，其中，所述计算单元(3)被配置成：将各自的相机(Cam1～Cam8)的多个相机图像(Img1～Img8)投影到所述虚拟投影表面(Proj)上，以便由此创建所述车辆内部空间(2)的合成的虚拟视图(ImgV)。4.根据权利要求1所述的设备，其中，所述虚拟投影表面(Proj)由所述车辆内部空间的模型(Mod3D)推导出。5.根据权利要求4所述的设备，其中，所述车辆内部空间的模型(Mod3D)是所述车辆内部空间的预定义的参考模型(Mod3Db)。6.根据权利要求4所述的...

【专利技术属性】
技术研发人员：约亨·阿布豪，沃尔夫冈·菲韦格尔，
申请(专利权)人：ZF腓德烈斯哈芬股份公司，
类型：发明
国别省市：德国,DE