用于生成机动车辆及机动车辆的环境区域的至少一个合并的视角观察图像的方法、相机系统以及机动车辆技术方案

本发明专利技术涉及一种用于生成至少一个合并的视角观察图像的方法，该图像从动态虚拟相机的动态可变的视角示出机动车辆及其环境区域并且其是基于至少两个相机的原始图像以及基于机动车辆的视角模型而被确定的，该方法包括以下步骤：a)确定合并的视角观察图像是否包括至少一个受干扰信号影响的图像区域，如果是，则识别至少一个受干扰信号影响的图像区域；b)(S63)确定至少一个受干扰信号影响的图像区域内的干扰信号的严重性；c)(S61)根据虚拟相机的视角，确定干扰信号的重要性；d)根据虚拟相机的视角，通过机动车辆的模型，确定受干扰信号影响的图像区域的覆盖度；e)仅在严重性超过预定严重性阈值且重要性超过预定重要性阈值以及覆盖度保持在预定覆盖度阈值以下时，才减少干扰信号。此外，本发明专利技术还涉及一种相机系统以及一种机动车辆。

Methods, camera systems, and motor vehicles for generating at least one combined viewing image of the motor vehicle and its environmental area

【技术实现步骤摘要】
【国外来华专利技术】用于生成机动车辆及机动车辆的环境区域的至少一个合并的视角观察图像的方法、相机系统以及机动车辆
本专利技术涉及一种用于生成至少一个合并的视角观察图像的方法，该图像从动态虚拟相机的动态可变的视角示出了机动车辆及机动车辆的环境区域并且其是基于至少两个车辆侧相机的原始图像以及基于虚拟相机的视角的机动车辆的视角模型而被确定的。此外，本专利技术涉及一种相机系统以及一种机动车辆。
技术介绍
从现有技术中已经知道，借助于机动车辆的相机系统例如环视相机系统的相机来监视机动车辆的环境区域。为此，相机可以捕获来自环境区域的原始图像或原始图像数据，它们可以在机动车辆的显示设备例如屏幕上显示给机动车辆的驾驶员。从所谓的第三人称视角的环境区域的三维表示也越来越多地显示在显示设备上。这种第三人称视角从车辆外部观察者(所谓的虚拟相机)的视角示出了机动车辆的环境区域以及机动车辆本身。可以通过合并由相机系统的相机检测到的原始图像来生成从第三人称视角的环境区域的此类视角图像，由此合并并因此得到的视角图像视图取决于虚拟相机的视角。合并的视角观察图像给人的印象是在虚拟相机的姿势下由真实相机捕获。这种合并的视角观察图像例如可以是观察者从上方竖直向下看向机动车辆的俯视图。因此，虚拟相机沿着机动车辆竖直轴线布置在机动车辆上方并且朝向机动车辆定向。该顶视图图像可以显示在显示设备上，并且示出了具有车顶的机动车辆的上侧以及机动车辆周围的环境区域，特别是路面。在这种情况下，合并的视角观察图像可能具有干扰信号，这也被称为混叠效果混叠。这些干扰信号例如可以是在显示设备上显示的图像中的人为闪烁效果。这些闪烁效果通常出现在合并的视角观察图像的图像区域中，其示出了机动车辆附近的环境区域的底部区域，特别是在机动车辆移动时。显示在显示设备上的这些闪烁效果使显示给驾驶员的合并的视角观察图像的图像质量劣化，并且可能会干扰驾驶员。从现有技术中已知用于减轻干扰信号的抗混叠方法。然而，这些可能包括高计算成本，特别是当环境区域的图像应实时显示给驾驶员时。
技术实现思路
本专利技术的目的是提供一种关于如何能够快速且不花费大量计算精力来生成机动车辆及机动车辆的环境区域的高质量的合并的视角观察图像的解决方案。根据本专利技术，该目的通过具有根据各个独立权利要求的特征的方法、相机系统以及机动车辆来解决。本专利技术的有利实施例是从属权利要求、说明书及附图的主题。根据方法的一个实施例，生成至少一个合并的视角观察图像，其从动态虚拟相机的动态可变的视角示出机动车辆及机动车辆的环境区域，其中合并的视角观察图像是基于至少两个车辆侧相机的原始图像以及基于取决于虚拟相机的视角的视角模型而被确定的。在步骤a)中，特别确定合并的视角观察图像是否包括至少一个受干扰信号影响的图像区域，如果是，则识别合并的视角观察图像中的至少一个受干扰信号影响的图像区域。在步骤b)中，可以确定至少一个受干扰信号影响的图像区域中的干扰信号的严重性，并且在步骤c)中，可以根据虚拟相机的视角，确定干扰信号的重要性，其中具有虚拟相机的视角的图像区域的至少一个几何参数的特征在于该重要性。特别地，在步骤d)中，根据虚拟相机的视角，通过要插入到合并的视角观察图像中的机动车辆的模型，确定受干扰信号影响的图像区域的覆盖度。特别地，在步骤e)中，仅在干扰信号的严重性超过预定严重性阈值且干扰信号的重要性超过预定重要性阈值以及覆盖度保持在预定覆盖度阈值以下时，才为合并的视角观察图像减少干扰信号。根据方法的特别优选的实施例，生成至少一个合并的视角图像，其从动态虚拟相机的动态可变的视角示出机动车辆及机动车辆的环境区域，其中合并的视角观察图像是基于至少两个车辆侧相机的原始图像以及基于取决于虚拟相机的视角的机动车辆的视角模型而被确定的。在步骤a)中，确定合并的视角图像是否包括在合并的视角观察图像内的至少一个受干扰信号影响的图像。在步骤b)中，确定至少一个受干扰信号影响的图像区域内的干扰信号的严重性，并且在步骤c)中，根据虚拟相机的视角，确定干扰信号的重要性，其中具有虚拟相机的视角的图像区域的至少一个几何参数的特征在于该重要性。此外，在步骤d)中，根据虚拟相机的视角，通过要插入到合并的视角观察图像中的机动车辆的模型，确定受干扰信号影响的图像区域的覆盖度。在步骤e)中，仅在干扰信号的严重性超过预定严重性阈值且干扰信号的重要性超过预定重要性阈值以及覆盖度保持在预定覆盖度阈值以下时，才为合并的视角观察图像减少干扰信号。通过该方法可以生成高质量的视角观察图像，其从虚拟相机的视角示出机动车辆及机动车辆周围的环境区域。视角图像可以视频序列特别是实时视频的形式显示给机动车辆的驾驶员。视角图像由原始图像生成，原始图像由至少两个车辆侧相机捕获。为了生成或渲染视角图像，原始图像例如通过车辆侧图像处理设备而被合并。在此，以与虚拟相机捕获视角观察图像的相同方式使用将原始图像合并成视角观察图像。特别地，原始图像由机动车辆的具有高分辨率的广角多相机系统捕获。例如，多相机系统可以配置为具有安装在机动车辆上的四个相机的环视相机系统。环视相机系统可以包括：前相机，用于捕获来自机动车辆前方的环境区域的原始图像；后相机或倒车相机，用于捕获来自机动车辆后方的环境区域的原始图像；以及两个侧相机，用于捕获来自机动车辆旁边的环境区域的原始图像。为了扩大相机的检测范围，相机可以包括广角镜头，例如鱼眼镜头。原始图像以及合并的视角观察图像可以显示在机动车辆的显示设备上，使得驾驶员可以捕获在显示设备上看见的环境区域。因此，例如在停车时，可以帮助驾驶员操纵机动车辆。环视相机系统和显示设备形成相机监视系统(CMS)，其例如也可以替代机动车辆的侧镜。作为合并的视角观察图像，在此生成图像，其从动态虚拟相机的动态可变的视角示出环境区域。这意味着虚拟相机的位置以及虚拟相机相对于机动车辆的定向即动态虚拟相机的姿态可以改变。在这种情况下，例如，可以从相机的原始图像生成来自多个合并的视角观察图像的序列，其从各个视角示出环境区域，因此给人的印象就像是虚拟相机在捕获视角观察图像期间在机动车辆上方以及围绕机动车辆飞行一样。例如，可以预先确定虚拟相机的运动路径或飞行路径。由于机动车辆本身不能被相机捕获，因此机动车辆的模型被插入到合并的图像中。被建模的机动车辆的模型也取决于虚拟相机的当前视角。因此，机动车辆的模型可以随着虚拟相机的视角而改变。优选地，为了生成合并的视角观察图像，将原始图像投影到预定的弯曲表面上，其中将机动车辆的模型定位在该表面的预定位置中，并且基于具有投影的原始图像的表面和机动车辆的模型以及基于动态虚拟相机的视角来确定合并的视角观察图像。因此，特别地，生成所谓的碗状视图作为合并的视角观察图像。弯曲表面例如可以通过四次多项式确定或指示。机动车辆的模型例如可以位于弯曲表面的中间。合并的视角观察图像可以包括干扰信号或混叠，其可以通过抗混叠方法来抑制或减轻。这些干扰信号尤其不存在于原始图像中，而是在生成合并的视角观察图像期间被插入，特别是在机动车辆和/或虚拟相机移动的情况下。为了在生成合并的视角观察本文档来自技高网...

【技术保护点】
1.一种用于生成至少一个合并的视角观察图像(24)的方法，该图像从动态虚拟相机(12)的动态可变的视角(P1、P2、P3)示出机动车辆(1)及机动车辆(1)的环境区域(4)并且其是基于至少两个车辆侧相机(5a、5b、5c、5d)的原始图像(25)以及基于取决于虚拟相机(12)的视角(P1、P2、P3)的机动车辆(1)的视角模型(17)而被确定的，该方法包括以下步骤：/na)确定合并的视角观察图像(24)是否包括至少一个受干扰信号影响的图像区域，如果是，则识别合并的视角观察图像(24)内的至少一个受干扰信号影响的图像区域；/nb)(S63)确定至少一个受干扰信号影响的图像区域内的干扰信号(27)的严重性；/nc)(S61)根据虚拟相机(12)的视角(P1、P2、P3)，确定干扰信号(27)的重要性，其中，具有虚拟相机(12)的视角(P1、P2、P3)的图像区域的至少一个几何参数的特征在于所述重要性；/nd)(S62)根据虚拟相机(12)的视角(P1、P2、P3)，通过要插入到合并的视角观察图像(24)中的机动车辆(1)的模型(17)，确定受干扰信号影响的图像区域的覆盖度；/ne)(35)仅在干扰信号(27)的严重性超过预定严重性阈值且干扰信号(27)的重要性超过预定重要性阈值以及覆盖度保持在预定覆盖度阈值以下时，才为合并的视角观察图像(24)减少干扰信号(27)。/n...

【技术特征摘要】
【国外来华专利技术】20170630 DE 102017114611.31.一种用于生成至少一个合并的视角观察图像(24)的方法，该图像从动态虚拟相机(12)的动态可变的视角(P1、P2、P3)示出机动车辆(1)及机动车辆(1)的环境区域(4)并且其是基于至少两个车辆侧相机(5a、5b、5c、5d)的原始图像(25)以及基于取决于虚拟相机(12)的视角(P1、P2、P3)的机动车辆(1)的视角模型(17)而被确定的，该方法包括以下步骤：
a)确定合并的视角观察图像(24)是否包括至少一个受干扰信号影响的图像区域，如果是，则识别合并的视角观察图像(24)内的至少一个受干扰信号影响的图像区域；
b)(S63)确定至少一个受干扰信号影响的图像区域内的干扰信号(27)的严重性；
c)(S61)根据虚拟相机(12)的视角(P1、P2、P3)，确定干扰信号(27)的重要性，其中，具有虚拟相机(12)的视角(P1、P2、P3)的图像区域的至少一个几何参数的特征在于所述重要性；
d)(S62)根据虚拟相机(12)的视角(P1、P2、P3)，通过要插入到合并的视角观察图像(24)中的机动车辆(1)的模型(17)，确定受干扰信号影响的图像区域的覆盖度；
e)(35)仅在干扰信号(27)的严重性超过预定严重性阈值且干扰信号(27)的重要性超过预定重要性阈值以及覆盖度保持在预定覆盖度阈值以下时，才为合并的视角观察图像(24)减少干扰信号(27)。


2.根据权利要求1所述的方法，
其特征在于，
在原始图像(25)和/或合并的视角观察图像(24)内减少干扰信号(27)，其中，在至少在原始图像(25)中减少干扰信号(27)的情况下，步骤a)至d)在创建合并的视角观察图像(24)之前根据原始图像(25)进行预测性地执行。


3.根据权利要求1或2所述的方法，
其特征在于，
将原始图像(25)投影到预定弯曲表面(16)上，其中，机动车辆(1)的模型(17)位于表面(16)上的预定位置处，并且合并的视角观察图像(24)是基于具有投影的原始图像(25)和机动车辆(1)的模型(17)的表面(16)以及基于动态虚拟相机(12)的视角(P1、P2、P3)而被确定的。


4.根据前述权利要求中任一项所述的方法，
其特征在于，
在步骤a)中，确定至少一种环境条件，尤其是机动车辆(1)的路面(13)的纹理和/或白天和/或天气条件，并且基于至少一种环境条件，预测合并的视角观察图像(24)是否包括至少一个受干扰信号影响的图像区域。


5.根据前述权利要求中任一项所述的方法，
其特征在于，
在步骤a)中，确定干扰信号指示符，并且基于该干扰信号指示符，确定至少一个受干扰信号影响的图像区域的存在以及所述至少一个图像区域在合并的视角观察图像(24)内的位置，其中，在步骤b)中，基于干扰信号指示符，确定干扰信号(27)的严重性。


6.根据权利要求5所述的方法，
其特征在于，
作为干扰信号指示符，根据相机(5a、5b、5c、5d)的至少一个相机参数来确定像素密度图(PDM)，其描述了依赖于原始图像(25)的有助于创建合并的视角观察图像(24)的像素数量分...

【专利技术属性】
技术研发人员：H郭，BMT迪根，V兹洛科里卡，
申请(专利权)人：康诺特电子有限公司，
类型：发明
国别省市：爱尔兰;IE