用于机动车的视觉系统技术方案

一种用于机动车的视觉系统(10)包括：适于从所述机动车的周围捕获图像的成像装置(11)、以及适于对由所述成像装置(11)捕获的图像执行图像处理以便检测所述机动车的周围的对象的数据处理单元(14)。所述数据处理单元(14)包括闪烁缓解软件模块(33)，适于通过对于对应于当前图像帧的捕获的当前图像(30

【技术实现步骤摘要】
【国外来华专利技术】用于机动车的视觉系统


[0001]本专利技术涉及用于机动车的视觉系统，包括适于从所述机动车的周围捕获图像的成像装置、以及适于对所述成像装置捕获的图像进行图像处理以便检测机动车周围的对象的数据处理单元。

技术介绍

[0002]一些光源闪烁。这种光源的示例是，例如，LED交通灯、LED交通标志、LED路灯、50/60Hz的DC供电的光源、和车辆前灯。在欧盟，交通灯的最低频率是90Hz。闪烁通常来说具有高于人类观察者可以检测到的频率，但它会导致视频记录中的闪烁。闪烁给对象检测算法带来了困难。在为例如事件数据记录(EDR)应用、行车记录仪应用、增强现实应用记录视频图像时或在车辆中显示视频时，也不希望出现闪烁视频。
[0003]已知图像传感器提供LED闪烁缓解(LFM)。这种技术主要是为了捕获来自例如交通灯和交通标志的LED脉冲而开发的。这通常是使用具有很低灵敏度的传感器来实施的。这允许使用长曝光时间，例如，11ms来处理90Hz。然而，长曝光时间会在驾驶时产生较大的运动模糊伪影，这通常不利于对象检测算法。有LFM支持的传感器通常夜间性能也会稍微下降。在像素非常小的图像传感器中实施LFM也很困难。LFM本身不能解决来自交通灯和交通标志的低闪烁视频的问题，因为例如一帧可以捕获一个LED脉冲，而下一图像可以捕获两个。LFM本身也不能解决当场景被闪烁光源照亮时引起的闪烁条带问题。目前大多数可用的汽车视觉系统的传感器都不提供LFM。前向视觉相机实际上具有没有这种闪烁缓解像素的图像传感器。
[0004]已知的机动车相机被优化以提供对于对象检测算法最优的图像，这与生成对于EDR或显示器/行车记录仪/增强现实应用最优的图像/视频相冲突。
[0005]使帧频适应于闪烁的光源的频率，可以减少光源处的闪烁、和场景被相同频率的光源照亮时的闪烁条带。这通常意味着在60Hz的国家以30fps(帧每秒)运行，在50Hz的国家以25fps运行。然而，在不同的国家有不同的帧频是车辆制造商不期望的。
[0006]也可能使曝光时间适应于闪烁光源的频率，例如，在50Hz的国家使用10ms的曝光时间(有100Hz的闪烁)，在60Hz的国家使用8.3ms或16.7ms的曝光时间。使曝光时间适应于光源的频率，而不是使曝光时间适应于场景的照明水平，这给予了SNR(信噪比)和运动伪影之间非最佳的折衷方法。对于没有LFM支持的多次曝光HDR(高动态范围)传感器，这种方法只适用于较暗信号的长曝光时间，而场景的亮部将使用较短的曝光时间，并会出现闪烁。上述两种方法都不能用于，例如，不是50和60Hz的倍数的LED脉冲调制光。
[0007]已知的相机解决方案是基于这样的帧频，其被具体定制以导致50Hz和60Hz光源的两帧之间的最大闪烁。这允许检测从50/60Hz电网运行的光源，并将它们与车辆光源分开。它还减少了白天在两个连续帧中错过来自50/60Hz交通灯和交通标志的LED脉冲的风险，因为建立的帧频导致这类频率的两个连续图像帧之间接近0.5周期相移(π相移)。
[0008]通过不使用LFM图像传感器，可能在白天和黄昏期间使用较短的曝光时间，这给予
减少的运动模糊以及更好的检测性能。因此，未经处理的相机视频会闪烁。在白天，主要是强光源的闪烁，如低频率LED交通灯。在夜间，它主要是城市场景，其中以50/60Hz对路灯供电。对于对象检测算法来说这不是问题，但对于像增强现实和行车记录仪这样的应用来说，这是问题。

技术实现思路

[0009]本专利技术的根本问题是提供一种视觉系统，有效地减少由闪烁光源引起的捕获的图像中的伪影，和/或为事件数据记录或显示/行车记录仪/增强现实应用提供无闪烁的视频，并且同时提供适于对象检测算法的高质量图像。
[0010]本专利技术以独立权利要求的特征解决了这个问题。根据本专利技术，所述数据处理单元包括闪烁缓解软件模块，适于通过对对应于当前图像帧的捕获的当前图像和对应于较早图像帧的至少一个捕获的较早图像进行滤波处理，来为当前图像帧生成闪烁缓解的当前图像。
[0011]本专利技术通过纯软件或图像处理解决方案解决了视频闪烁的问题。成像装置的成像设备，如相机，可以具有传统的图像传感器，而不需要硬件中的LED闪烁缓解支持。利用本专利技术，就有可能满足流畅视频流的要求，而不需要具有LED闪烁缓解的图像传感器。
[0012]根据本专利技术的第一基本实施例，闪烁缓解软件模块适于对所述捕获的当前图像和所述至少一个捕获的较早图像中检测到的光源周围的区域进行时间滤波。该解决方案是基于通过本身已知的检测算法来检测光源。可以检测的光源可以包括，例如，交通灯、交通标志、其他车辆前灯、其他车辆尾灯中的一个或多个。根据本专利技术，关于跟踪的光源检测的信息被处理以对图像的部分进行时间滤波。
[0013]第一基本实施例专利技术解决了在源处局部闪烁的问题。即，它可以在白天和夜间减少实际交通灯或交通标志的闪烁，并解决了例如事件数据记录(EDR)、行车记录仪和显示应用的视频的闪烁问题。
[0014]优选地，数据处理单元适于将所述捕获的当前图像中检测到的光源周围的第一图像区域与所述至少一个捕获的较早图像中的对应的第二图像区域混合。更优选地，所述第一图像区域和第二图像区域以第一和第二权重混合在一起。
[0015]根据本专利技术的实施例，计算所述第一和所述第二图像区域的平均图像区域，并将其混合到所述第一图像区域中所述捕获的当前图像中(上)，产生闪烁缓解的当前图像。如上所述，取平均值对应于将第一和第二图像区域以相等的第一和第二权重混合在一起。
[0016]其他混合方案可以在处理设备中建立。在一些实施例中，第一图像区域和第二图像区域以不同的第一和第二权重混合在一起。
[0017]在本专利技术的又一个实施例中，第一和第二权重在所述第一和第二图像区域内变化。例如，第一和第二权重可以从所述第一和第二图像区域的中心到边缘单调地变化。例如，在光源的ROI的中心(第一和第二图像区域)，时间帧N和时间帧N+1的50％混合(加权)，然后在ROI的边缘(第一和第二图像区域)，在时间帧N+1上逐渐增加到100％权重。
[0018]以上描述的所有解决方案都可以很容易地推广到对应于不同时间帧的两个以上捕获图像(捕获的当前图像和两个或更多捕获的较早图像)。
[0019]在上述的一些实施例中，第一和第二图像区域被统计地混合在一起，例如通过取
平均、或加权平均。
[0020]替代地，其中光源可见的图像区域可以混合到由于光源闪烁使得光源不可见、或几乎不可见的捕获的当前图像中对应的图像区域上，从而形成比在原始捕获的当前图像中光源更好得可见的闪烁缓解的当前图像。优选地，为了寻找其中光源可见的图像区域，闪烁缓解软件模块可以包括能够确定第一图像区域或第二图像区域种的哪个具有更高的亮度和/或预定义的颜色的亮度/颜色检测器。然后，这可以作为真正的图像区域，并混合到捕获的当前图像的第一图像区域上。例如，如果考虑交通灯、亮度/颜色检测器检测到交通灯周围的图像区域在第N帧中是本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于机动车的视觉系统(10)，包括适于从所述机动车的周围捕获图像的成像装置(11)、以及适于对由所述成像装置(11)捕获的图像执行图像处理以便检测所述机动车周围的对象的数据处理单元(14)，其特征在于所述数据处理单元(14)包括闪烁缓解软件模块(33)，适于通过对对应于所述当前图像帧的捕获的当前图像(30
N+1
)和对应于较早的图像帧的至少一个捕获的较早图像(30
N
)进行滤波处理，为当前图像帧生成闪烁缓解的当前图像(30')。2.如权利要求1所述的视觉系统，其中所述数据处理单元(14)适于检测由所述成像装置(11)捕获的图像中的一个或多个光源，其中所述闪烁缓解软件模块(33)适于对所述捕获的当前图像(30
N+1
)和所述至少一个所述捕获的较早图像(30
N
)中的检测到的光源周围的区域进行时间滤波。3.如权利要求2所述的视觉系统，其中所述闪烁缓解软件模块适于将所述捕获的当前图像(30
N+1
)中检测到的光源周围的第一图像区域(40
N+1
，41
N+1
)与所述至少一个捕获的较早图像(30
N
)中的对应的第二图像区域(40
N
，41
N
)混合。4.如权利要求3所述的视觉系统，其中所述第一图像区域(40
N+1
，41
N+1
)和所述第二图像区域(40
N
，41
N
)以第一和第二权重混合在一起。5.如权利要求4所述的视觉系统，其中所述第一和第二权重在所述第一和第二图像区域(40
N+1
，41
N+1
；40
N
，41
N
)内变化。6.如权利要求5所述的视觉系统，其中所述第一和第二权重从所述第一和第二图像区域(40
N+1
，41
N+1
；40
N
，41
N
)的中心到边缘单调地变化。7.如权利要求2所述的视觉系统，其中光源可见的所述捕获的较早图像(30
N
)中的图像区域(40
N<...

【专利技术属性】
技术研发人员：L林德格伦，
申请(专利权)人：安致尔软件公司，
类型：发明
国别省市：