本发明专利技术涉及一种用于车辆以用于获得防闪烁超分辨率图像的成像系统，所述成像系统包括：图像传感器装置(3)，其用于获得一系列图像；以及图像处理装置(5)，其适于：接收所述一系列图像，将所述一系列图像中的一个最新图像的图像信息与参考图像进行比较，以检测所述最新图像中的至少一个失配图像区域，从所述最新图像的所述图像信息中去除检测到的所述图像区域，以获得经调整的图像信息，以及将所述最新图像的所述经调整的图像信息添加到超分辨率图像中。本发明专利技术还涉及一种包括至少一个成像系统的至少一部分的后视显示设备，并且涉及一种获得防闪烁超分辨率图像的方法。
A Vehicle Imaging System for Obtaining Scintillation-Resistant Super-Resolution Images
【技术实现步骤摘要】
【国外来华专利技术】用于获得防闪烁超分辨率图像的车辆成像系统和方法
本专利技术涉及一种成像系统并涉及一种用于获得防闪烁超分辨率图像的方法，所述系统包括适于获得一系列图像的图像传感器装置；和图像处理装置，其适于：接收所述一系列图像，将所述一系列图像的一个最新图像的图像信息与参考图像进行比较，以检测所述最新图像中的至少一个失配图像区域，从所述最新图像的所述图像信息中去除所检测到的所述图像区域以获得经调整的图像信息，以及将所述最新图像的所述经调整的图像信息添加到超分辨率图像中。
技术介绍
发光二极管LED已成为现代照明设备的准标准。LED灯用于路灯、汽车前灯、交通信号灯、警告标志和/或广告显示器。LED一般地基于快速脉冲发射的原理操作，即LED以通常对于人眼是不可见的的非常高的速率或频率接通和断开。然而，现代相机，特别是数码相机以非常高的可能类似于LED的脉冲速率的速率捕获图像。不幸的是，捕获图像的速率和LED的脉冲速率并不总是完全重叠，即可以在LED的关闭阶段期间捕获图像。如果这些图像然后在显示设备上呈现为视频流，则由于频率的失配而出现所谓的“闪烁效应”。这种效应甚至可以通过滚动快门的效应加剧。特别地，对于车辆的内容管理系统(CMS)或高级驾驶员辅助系统(ADAS)来说，“闪烁效应”可能会出现问题，因为这些系统依赖于对各类应用的持续的灯光识别，如交通信号灯识别、汽车检测方法、盲点检测夜间模式等。最常见的防闪烁途径涉及由标准电源系统供电的LED灯泡的LED闪烁。当使用对应于电源频率的倍数的快门速度时，几乎可以完全避免闪烁效应。遗憾的是，这些方案仅适用于具有固定同步电源的光源，而独立动力汽车则不然。在现有技术中，描述了用于闪烁检测和缓解的方案。例如，在US2016/006919A1和WO2014/164951A1中描述了用于使记录相机与LED频率同步化的方案。在WO2006/118686A2中描述了另一种途径，其中来自附加传感器的信息用于检测闪烁。在US6421097B1中描述了一种用于检测一系列图像中的闪烁并执行时间滤波的时间滤波器。设计用于汽车工业的途径通常涉及对所获得的图像进行下采样并且通过来自视频系列(videosequence)的一组不同的图像获取固定像素的平均值，如US6380985B1中所描述的那样。在US6563511B1中所描述的途径涉及影响像素的智能减少。另一种途径在US9232153B2中有描述并且涉及对两个后续图像进行平均。然而，这些途径仅对于保持空间静态的对象才能获得良好的结果，然而，对于运动对象，或者当相机相对于对象运动时，这些途径则不能很好地奏效。一种增强由车辆的设备捕获的图像的图片质量的途径在US2014/0193032A1中有描述并且涉及创建超分辨率图像。即使超分辨率图像提供了改善的图像质量，闪烁效果仍然可以降低图像质量。因此，本专利技术旨在提供一种改进的成像系统和方法，所述成像系统和方法可以在车辆上使用，并且提供高质量的防闪烁图像。
技术实现思路
本专利技术提供一种用于车辆以用于获得防闪烁超分辨率图像的成像系统，其包括：图像传感器装置，其适于获得一系列图像；以及图像处理装置，其适于：接收所述一系列图像，将所述一系列图像的一个最新图像的图像信息与参考图像进行比较，以检测所述最新图像中的至少一个失配图像区域，从所述最新图像的所述图像信息中去除所检测到的所述图像区域以获得经调整的图像信息，以及将所述最新图像的所述经调整的图像信息添加到超分辨率图像中。这里，术语“防闪烁”可以用来指所得的图像基本上没有可能由脉冲光引起的闪烁。术语“超分辨率图像”可以用来指增强图像，其中至少两个图像的整个图像信息或部分图像信息用来创建光学增强图像。“图像传感器装置”可以是一个相机，例如(作为举例)数码相机，或者多个相机，所述多个相机可以布置成阵列，并且能够获得可以是连续系列的“一系列图像”，即可以连续拍摄的图像。所述“一系列图像”可以包括在不同时间实例(timeinstances)和/或从不同位置获得的图像，所述位置取决于所述图像传感器装置相对于所成像的对象的空间运动。图像信息的所述比较可以通过将所述一系列图像中的图像的图像信息与参考图像进行比较来完成，其中所述参考图像可以是在记录所述图像之前刚记录的一个图像，或者是在记录所述图像之前刚记录的多个图像。替代地，所述参考图像可以是包含先前记录的多个图像的图像信息的超加强图像(super-imposedimage)。所述信息的所述比较可以，例如通过某个(某些)像素位置的亮度值的逐像素或逐像素群集比较来完成。然而，如果所述图像是从不同位置拍摄的，则所述比较也可以通过识别配准误差来完成。术语“经调整的图像信息”可以用来指所述图像中的未检测到未命中匹配的那部分的图像信息或像素数据。在一个实施方案中，所述参考图像包括所述一系列图像中的在所述最新图像之前的至少一个图像，优选地所述至少一个图像是直接在所述最新图像之前的图像；和/或所述超分辨率图像。在另一个实施方案中，所述图像传感器装置包括至少一个相机，优选地所述至少一个相机是车辆的高级驾驶员辅助系统(ADAS)和/或内容管理系统(CMS)的相机。在又一个实施方案中，所述图像传感器装置包括：至少一个相机阵列，所述相机阵列包括多个相机，优选地所述相机阵列包括4到9个相机，并且优选地，所述相机以范围在1cm到2cm的距离彼此分开地定位；和/或立体相机。在一个实施方案中，所述多个相机中的每一个适于获得至少一个图像，并且其中所述多个相机适于在不同时间实例获得图像，优选地，其中所述多个相机中的每个相机适于以每秒14至300或600个帧的速率操作，优选地所述多个相机中的每个相机适于以每秒60或30个帧的速率操作，并且适于以16或33ms的间隔获得图像。在另一个实施方案中，所述失配图像区域包括至少一个像素。在又一个实施方案中，检测所述最新图像中的至少一个失配图像区域包括检测包括以下项的图像区域：(i)与所述参考图像中的相同区域相比包括不同的亮度水平，优选地，其中所述亮度值相差超过10％，(ii)当使用亚像素精度朝向所述参考图像配准时包括配准误差，优选地，其中所述配准误差大于0.5像素，和/或(iii)包括平均距离误差，所述平均距离误差由从所述最新图像到所述参考图像再回到所述最新图像的光流级联的前向-后向检查所产生，优选地，其中所述平均距离大于0.2像素。这里，术语“配准误差”可以理解为将所述最新图像的图像数据的不同区域变换为所述参考图像的坐标系中的误差。在另一个实施方案中，所述图像处理装置适于基本上实时地处理所述一系列图像。这里，术语“实时”可用来指基本上实时地运行的过程，即不考虑所述图像处理装置的处理速度而运行的过程。例如，可以在与所述图像传感器装置不同的时间实例逐个地接收图像，然后可以足够快地完成比较、去除检测到的图像区域，以及将经调整的图像信息添加到超分辨率图像，使得将不断更新的图像显示给驾驶员。因此，在另一个实施方案中，所述成像系统包括适于显示所述超分辨率图像的图像显示装置，优选地，所述图像显示装置包括屏幕，最优选地所述屏幕是CMS系统中的高清(HD)设备。在又一个实施方案中，所述图像处理装置在片上系统上实现。本专利技术还涉及一种用于车辆的后视显示设本文档来自技高网...
【技术保护点】
1.一种用于车辆以用于获得防闪烁超分辨率图像的成像系统，所述成像系统包括：图像传感器装置(3)，其适于获得一系列图像；以及图像处理装置(5)，其适用于：接收所述一系列图像，将所述一系列图像中的一个最新图像的图像信息与参考图像进行比较，以检测所述最新图像中的至少一个失配图像区域，从所述最新图像的所述图像信息中去除检测到的所述图像区域，以获得经调整的图像信息，以及将所述最新图像的所述经调整的图像信息添加到超分辨率图像中。
【技术特征摘要】
【国外来华专利技术】2016.11.28 DE 102016122934.21.一种用于车辆以用于获得防闪烁超分辨率图像的成像系统，所述成像系统包括：图像传感器装置(3)，其适于获得一系列图像；以及图像处理装置(5)，其适用于：接收所述一系列图像，将所述一系列图像中的一个最新图像的图像信息与参考图像进行比较，以检测所述最新图像中的至少一个失配图像区域，从所述最新图像的所述图像信息中去除检测到的所述图像区域，以获得经调整的图像信息，以及将所述最新图像的所述经调整的图像信息添加到超分辨率图像中。2.如权利要求1所述的成像系统，其特征在于，所述参考图像包括：所述一系列图像中的在所述最新图像之前的至少一个图像，优选地所述至少一个图像是直接在所述最新图像之前的图像；和/或所述超分辨率图像。3.如权利要求1或2所述的成像系统，其特征在于，所述图像传感器装置(3)包括至少一个相机，优选地所述至少一个相机是车辆的高级驾驶员辅助系统(ADAS)和/或内容管理系统(CMS)的相机。4.如权利要求1或2所述的成像系统，其特征在于，所述图像传感器装置(3)包括：至少一个相机阵列，所述相机阵列包括多个相机，优选地所述相机阵列包括4到9个相机，并且优选地，所述相机以范围在1cm到2cm的距离彼此分开地定位；和/或立体相机。5.如权利要求4所述的成像系统，其中所述多个相机中的每一个适于获得至少一个图像，并且其中所述多个相机适于在不同时间实例获得图像，优选地，其中所述多个相机中的每个相机适于以每秒14至300或600个帧的速率操作，优选地所述多个相机中的每个相机适于以每秒60或30个帧的速率操作，并且适于以16或33ms的间隔获得图像。6.如前述权利要求中任一项所述的成像系统，其中所述失配图像区域包括至少一个像素。7.如前述权利要求中任一项所述的成像系统，其中检测所述最新图像中的至少一个失配图像区域包括检测包括以下项的图像区域：(i)与所述参考图像中的相同区域相比包括不同的亮度水平，优选地，其中所述亮度值相差超过10％，(ii)当使用亚像素精度朝向所述参考图像配准时包括配准误差，优选地，其中所述配准误差大于0.5像素，和/或(iii)...
【专利技术属性】
技术研发人员：凯·乌维·哈根伯格，
申请(专利权)人：SMR专利责任有限公司，
类型：发明
国别省市：卢森堡,LU
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。