用于动态后视镜的图像超分辨率制造技术

本发明专利技术公开了用于动态后视镜的图像超分辨率。用于将超分辨率应用到由车辆的相机设备捕获到的图像的方法包括接收由相机设备捕获到的多个图像帧。对于每个图像帧，在图像帧内识别要求增加与每像素细节有关的分辨率的关注区域。将空间上实施的超分辨率应用到每个图像帧内的关注区域以提高关注区域内的图像清晰度。

【技术实现步骤摘要】
用于动态后视镜的图像超分辨率相关申请的交叉引用此申请要求2013年1月7日提交的序号为61/749,778的美国临时申请的权益，该申请以引用的方式并入本文。
此披露涉及改进与图像的像素细节有关的分辨率。
技术介绍
这个部分中的陈述仅提供与本披露有关的背景信息。因此，这些陈述并不意欲构成对现有技术的承认。车辆系统可以使用车载视觉系统用于后视场景观看或检测、侧视场景观看或检测以及前视场景观看或检测。在一个示例中，从主车辆的后视摄像设备获得的原始图像可能要求放大该原始图像的中心区域以供显示在车辆内的后视镜设备（例如，动态后视镜）上。在此示例中，放大的中心区域通过伸展原始图像来产生，由此导致中心区域中基于每个像素的分辨率降低。超分辨率（SR）是一种用于提高与由包括摄像设备的成像系统获得的图像的每像素细节有关分辨率的技术。多帧SR方法是在时间上实施的并且可以使用同一个场景的多个低分辨率图像之间的子像素平移，从而通过合并来自所有这些低分辨率图像的信息来产生与图像的每像素细节有关的改进的分辨率。单帧SR方法是在空间上实施的，并且试图在不引入模糊的情况下放大原始图像。已知的是，当噪音使得原始图像降级时应用多次曝光图像降噪。噪音可以通过平均多次曝光以获得最适合的组合从而减少噪音来降低。另外已知的是，在某些情形下，诸如当存在光学离焦和光学像差时，在图像中应用单帧去模糊以减轻模糊。单帧去模糊在衍射强制的通带中应用空间频率过滤。
技术实现思路
用于将超分辨率应用到由车辆的摄像设备捕获到的图像的方法包括接收由摄像设备捕获到的多个图像帧。对于每个图像帧，在该图像帧内识别要求增加与每像素细节有关的分辨率的关注区域。将空间上实施的超分辨率应用到每个图像内的关注区域，以提高关注区域内的图像清晰度。方案1.用于将超分辨率应用到由车辆的摄像设备捕获到的图像的方法，包括：获得由摄像设备捕获的多个图像帧；对于每个图像帧：在图像帧内识别要求增加与每像素细节有关的分辨率的关注区域；以及将空间上实施的超分辨率应用到图像帧内的关注区域以提高关注区域内的图像清晰度。方案2.如方案1所述的方法，其中识别的关注区域对应于在伸展由摄像设备捕获的具有光学像差的原始图像之后的显示图像帧的放大中心区域，放大中心区域具有与每像素细节有关的减小的分辨率。方案3.如方案1所述的方法，其中识别的关注区域包括整个图像帧。方案4.如方案1所述的方法，其中将空间上实施的超分辨率应用到图像帧内的关注区域包括：应用去噪滤波器以通过平滑化关注区域内的一个或多个识别的平面同时保持识别的关注区域内的一个或多个识别的边缘来降低噪音。方案5.如方案4所述的方法，其中应用去噪滤波器包括：监测识别的关注区域内的图像梯度；在监测的图像梯度是至少梯度边缘阈值处识别一个或多个边缘；在监测的图像梯度小于梯度边缘阈值处识别一个或多个平面；以及用来自一个或多个识别的平面内的邻近像素的像素值的加权平均值来替换识别的一个或多个平面内的每个像素的像素值。方案6.如方案1所述的方法，其中将空间上实施的超分辨率应用到图像帧内的关注区域包括：应用取决于位置的锐化滤波器以实现关注区域内的希望的锐化增加，所述希望的锐化增加是基于调整与关注区域相关的锐化滤波器的滤波器设置来实现。方案7.如方案6所述的方法，其中应用取决于位置的锐化滤波器进一步在关注区域外部的区域中实现希望的锐化减少，所述希望的锐化减少是基于调整与关注区域外部的相应区域相关的锐化滤波器的滤波器设置来实现。方案8.如方案6所述的方法，其中调整锐化滤波器的滤波器设置包括：关注区域内的识别的边缘的调整的半径，调整的半径与调整的过冲量成反比；以及用于控制与将被锐化的识别的边缘相关的像素的最小强度改变的调整的强度阈值。方案9.如方案1所述的方法，其进一步包括：对于已经对其应用空间上实施的超分辨率的多个图像帧：根据图像帧的每一个内的位置将时间上实施的超分辨率应用到图像帧，所述位置包括识别的关注区域；以及基于应用到图像帧的时间上实施的超分辨率来产生所得图像。方案10.如方案9所述的方法，其进一步包括：在已经对其应用空间上实施的超分辨率的多个图像帧中检测物体运动的程度；以及如果物体运动程度包括颠簸、不运动和小于运动阈值的运动量中的一个则仅将时间上实施的超分辨率应用到图像帧。方案11.如方案9所述的方法，其中将时间上实施的超分辨率应用到图像帧包括：对于图像帧中的每一个：识别静止区域和移动区域；应用图像配准以辨别静止区域和移动区域的每一个内的特征和物体中的至少一个；基于应用的图像配准来识别图像帧的每一个之间的差异；从图像帧中的相应帧去除识别的差异；以及在去除识别的差异之后，在输入图像帧中应用时间上实施的超分辨率以产生具有提高的分辨率的所得图像帧。方案12.用于将超分辨率应用到由主车辆的摄像设备捕获到的一个或多个图像的方法，包括：对于表示主车辆后方视场的场景的一个时间段期间的多个图像帧：识别多个图像帧内的关注区域；在多个图像帧中检测物体运动的程度；如果物体运动程度包括颠簸、不运动和小于运动阈值的小量运动中的一个，则应用图像配准以辨别输入图像帧内的物体和特征中的至少一个；应用时间上实施的超分辨率以提高多个图像帧的关注区域内的分辨率；以及基于已经对其应用时间上实施的超分辨率的多个图像帧产生所得图像。方案13.如方案12所述的方法，其进一步包括：对于表示主车辆后方视场的场景的单个图像帧：识别单个图像帧内的关注区域；应用取决于位置的空间上实施的超分辨率以提高识别的关注区域内的分辨率，所述空间上实施的超分辨率包括各自取决于对应于关注区域的位置的去噪滤波器和锐化滤波器中的至少一个。方案14.如方案12所述的方法，其中多个图像帧中的每一个对应于以下各项之一：在检测物体运动程度之前已经对其应用取决于位置的空间上实施的超分辨率的单个图像帧中的相应图像帧；以及由摄像设备捕获到的原始图像帧中的相应图像帧。方案15.如方案13所述的方法，其中已经对识别的关注区域应用取决于位置的空间上实施的超分辨率的单个图像对应于以下各项之一：基于多个图像帧产生的所得图像；以及由摄像设备捕获到的原始图像帧。方案16.如方案12所述的方法，其中识别的关注区域对应于通过伸展由摄像设备捕获到的原始图像产生的显示图像的放大中心区域，放大中心区域具有与每像素细节有关的减小的分辨率。方案17.如方案13所述的方法，其中锐化滤波器包括非锐化屏蔽滤波器并且去噪滤波器包括双边滤波器。方案18.如方案12所述的方法，其进一步包括：如果物体运动程度检测到颠簸，则在应用图像配准之前应用图像稳定。方案19.用于将超分辨率应用到由主车辆的基于视觉的成像系统捕获到的一个或多个图像的装置，包括：配置成捕获表示主车辆后方视场的场景的多个图像帧的后视摄像设备；以及处理设备，所述处理设备配置成：接收由后视摄像设备捕获到的多个图像帧，在每个图像帧内识别具有与每像素细节有关的减少的分辨率的放大中心区域，将去噪滤波器和锐化滤波器中的至少一个应用到每个图像帧内的放大中心区域以提高放大中心区域内的分辨率，对于已经对其应用去噪滤波器和锐化滤波器中的至少一个的多个图像帧：根据图像帧的每一个内的位置将时间上实施的超分辨率应用到图像帧，所述位置包括识别的关注区域，基于本文档来自技高网...

【技术保护点】
用于将超分辨率应用到由车辆的摄像设备捕获到的图像的方法，包括：获得由摄像设备捕获的多个图像帧；对于每个图像帧：     在图像帧内识别要求增加与每像素细节有关的分辨率的关注区域；以及     将空间上实施的超分辨率应用到图像帧内的关注区域以提高关注区域内的图像清晰度。

【技术特征摘要】
2013.01.07 US 61/749,778;2013.09.30 US 14/041,0581.用于将超分辨率应用到由车辆的摄像设备捕获到的图像的方法，包括：获得由摄像设备捕获的多个图像帧；对于每个图像帧：在图像帧内识别要求增加与每像素细节有关的分辨率的关注区域；以及将空间上实施的超分辨率应用到图像帧内的关注区域以提高关注区域内的图像清晰度；所述方法进一步包括：对于已经对其应用空间上实施的超分辨率的多个图像帧：根据图像帧的每一个内的位置将时间上实施的超分辨率应用到图像帧，所述位置包括识别的关注区域；以及基于应用到图像帧的时间上实施的超分辨率来产生所得图像。2.如权利要求1所述的方法，其中识别的关注区域对应于在伸展由摄像设备捕获的具有光学像差的原始图像之后的显示图像帧的放大中心区域，放大中心区域具有与每像素细节有关的减小的分辨率。3.如权利要求1所述的方法，其中识别的关注区域包括整个图像帧。4.如权利要求1所述的方法，其中将空间上实施的超分辨率应用到图像帧内的关注区域包括：应用去噪滤波器以通过平滑化关注区域内的一个或多个识别的平面同时保持识别的关注区域内的一个或多个识别的边缘来降低噪音。5.如权利要求4所述的方法，其中应用去噪滤波器包括：监测识别的关注区域内的图像梯度；在监测的图像梯度是至少梯度边缘阈值处识别一个或多个边缘；在监测的图像梯度小于梯度边缘阈值处识别一个或多个平面；以及用来自一个或多个识别的平面内的邻近像素的像素值的加权平均值来替换识别的一个或多个平面内的每个像素的像素值。6.如权利要求1所述的方法，其中将空间上实施的超分辨率应用到图像帧内的关注区域包括：应用取决于位置的锐化滤波器以实现关注区域内的希望的锐化增加，所述希望的锐化增加是基于调整与关注区域相关的锐化滤波器的滤波器设置来实现。7.如权利要求6所述的方法，其中应用取决于位置的锐化滤波器进一步在关注区域外部的区域中实现希望的锐化减少，所述希望的锐化减少是基于调整与关注区域外部的相应区域相关的锐化滤波器的滤波器设置来实现。8.如权利要求6所述的方法，其中调整锐化滤波器的滤波器设置包括：关注区域内的识别的边缘的调整的半径，调整的半径与调整的过冲量成反比；以及用于控制与将被锐化的识别的边缘相关的像素的最小强度改变的调整的强度阈值。9.如权利要求1所述的方法，其进一步包括：在已经对其应用空间上实施的超分辨率的多个图像帧中检测物体运动的程度；以及如果物体运动程度包括颠簸、不运动和小于运动阈值的运动量中的一个则仅将时间上实施的超分辨率应用到图像帧。10.如权利要求1所述的方法，其中将时间上实施的超分辨率应用到图像帧包括：对于图像帧中的每一个：识别静止区域和移动区域；应用图像配准以辨别静止区域...

【专利技术属性】
技术研发人员：W张，J王，KS利贝克，JS皮亚塞基，RM弗拉克斯，TS赫斯特，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国;US