用于处理图像的设备和方法技术

提供用于处理图像的设备和方法。一种用于处理图像的设备，包括：图像传感器，用于输出基于第一曝光时间的长曝光图像帧和具有与第一曝光时间不同的单一的第二曝光时间的至少两个短曝光图像帧；模式确定单元，用于基于从图像传感器输出的图像帧中的饱和像素的数量来确定第二曝光时间；快门控制器，用于基于来自模式决定单元的输出信号来控制图像传感器的每一帧的曝光时间；图像处理单元，用于对长曝光图像帧和所述至少两个短曝光图像帧进行融合以输出宽动态范围(WDR)图像。还公开了用于处理WDR图像的方法。

Devices and methods for image processing

Devices and methods for processing images are provided. An apparatus for image processing includes an image sensor for outputting a long exposure image frame based on the first exposure time and at least two short exposure image frames with a single second exposure time different from the first exposure time; a mode determining unit for determining a second exposure time based on the number of saturated pixels in the image frame outputted from the image sensor; The shutter controller is used to control the exposure time of each frame of the image sensor based on the output signal from the mode determining unit; the image processing unit is used to fuse the long exposure image frame and the at least two short exposure image frames to output the wide dynamic range (WDR) image. Methods for processing WDR images are also disclosed.

【技术实现步骤摘要】
用于处理图像的设备和方法
本专利技术的示例性实施例总体涉及一种图像处理设备和方法，更具体地讲，涉及一种能够去除宽动态范围(WDR)图像中的运动伪像的图像处理设备和方法。
技术介绍
最近，诸如数码相机、数码摄像机和相机手机的数字图像处理设备的用户需求正在快速增长。因此，数字图像处理设备已变得更加复杂，并且已经增加更多不同的功能。然而，传统数字图像处理设备不处理关于实际场景的所有信息，因为与实际场景的动态范围相比，通过图像传感器可获得的动态范围相对小。具体地讲，当在由于背光导致图像的亮的部分与暗的部分之间的照度强度的差很大的条件下获得图像时，难以获得关于图像的亮的部分和暗的部分二者的充分的信息。因此，这样的区的图像质量可被显著地劣化。为了解决这个问题，已经开发了宽动态范围(WDR)图像处理。WDR处理通过对短曝光图像和长曝光图像进行融合从而能够产生图像的亮的部分和暗的部分二者都清晰可见的图像。短曝光图像的曝光时间被调节为很短，使得图像的亮的部分可被清楚地看见，长曝光图像的曝光时间被调节为很长，使得图像的暗的部分可被清楚地看见。然而，当运动对象出现在将被捕捉的实际场景中时，可能在通过WDR处理产生的图像中产生运动伪像。本
技术介绍
部分中公开的上述信息仅为了理解本专利技术构思的
技术介绍
，因此，可包含不构成现有技术的信息。
技术实现思路
根据本专利技术的示例性实施方式构造的用于处理图像的设备和方法能够通过确定关于捕捉的实际场景是获得使动态范围最大化的第一WDR图像还是获得运动伪像被校正的第二WDR图像来提高WDR图像的质量。根据本专利技术的示例性实施例构造的用于处理图像的设备和方法能够通过将具有相同的曝光时间的至少两个短曝光图像帧与长曝光图像帧进行比较并基于哪个图像帧具有最小的运动改变量来校正运动伪像。本专利技术构思的额外的特征将在下面的描述中阐述，并且部分通过该描述将是清楚的，或者可通过本专利技术构思的实践来获知。根据本专利技术的一方面，一种用于处理图像的设备，包括：图像传感器，用于输出基于第一曝光时间的长曝光图像帧和具有与第一曝光时间不同的单一的第二曝光时间的至少两个短曝光图像帧；模式确定单元，用于基于从图像传感器输出的图像帧中的饱和像素的数量来确定第二曝光时间；快门控制器，用于基于来自模式检测单元的输出信号来控制图像传感器的每一帧的曝光时间；图像处理单元，用于对长曝光图像帧和所述至少两个短曝光图像帧进行融合以输出宽动态范围(WDR)图像。图像处理单元可包括：运动检测单元，用于将长曝光图像帧中的图像帧的预定区域与所述至少两个短曝光图像帧中的每一个进行比较，并检测图像帧中的对象的运动的改变；帧选择单元，用于基于哪个图像帧在图像帧的预定区域中具有最小的对象运动改变量来选择长曝光图像帧或短曝光图像帧；融合单元，用于对所有选择的图像帧区域进行融合并输出宽动态范围(WDR)图像。如果长图像帧的所述预定区域中的像素未饱和，则帧选择单元可选择长图像帧的所述预定区域。如果长图像帧的所述预定区域中的像素饱和，则帧选择单元可基于哪个图像帧在每个短图像帧的预定区域中具有最小的对象运动改变量来选择短曝光图像帧的所述预定区域。模式确定单元可包括：饱和像素计数器，用于接收从图像传感器输出的与预定图像帧对应的信号，并对包括在预定图像帧中的饱和像素的数量进行计数；比较器，用于将饱和像素的数量与预定参考值进行比较；模式决定单元，用于基于来自比较器的输出来确定图像处理单元的操作模式。所述操作模式可包括第一操作模式和第二操作模式，其中，当饱和像素的数量大于所述参考值时采用第一操作模式；当饱和像素的数量小于所述参考值时采用第二操作模式。在第二操作模式下，图像处理单元可接收基于第一曝光时间的长曝光图像帧和具有比第一曝光时间小的第二曝光时间的三个短曝光图像帧。第二曝光时间可小于第一曝光时间。根据本专利技术的另一方面，一种用于图像处理的设备，包括：图像传感器，用于输出基于第一曝光时间的长曝光图像帧和具有与第一曝光时间不同的单一的第二曝光时间的至少两个短曝光图像帧；运动检测单元，用于将长曝光图像帧中的图像帧的预定区域与所述至少两个短曝光图像帧中的每一个进行比较，并检测图像帧中的对象的运动的改变；帧选择单元，用于基于哪个图像帧在图像帧的预定区域中具有最小的对象运动改变量来选择长曝光图像帧或短曝光图像帧；融合单元，用于对所有选择的图像帧区域进行融合并输出宽动态范围(WDR)图像。如果长图像帧的所述预定区域中的像素未饱和，则帧选择单元可选择长图像帧的预定区域。如果长图像帧的所述预定区域中的像素饱和，则帧选择单元可基于哪个图像帧在每个短图像帧的预定区域中具有最小的对象运动改变量来选择该短曝光图像帧的所述预定区域。所述至少两个短曝光图像帧可包括三个短曝光图像帧，第二曝光时间可小于第一曝光时间。根据本专利技术的另一方面，一种用于处理图像的方法，包括以下步骤：接收与预定图像帧对应的信号；对包括在预定图像帧中的饱和像素的数量进行计数；将饱和像素的数量与预定参考值进行比较；当饱和像素的数量小于所述参考值时，输出基于第一曝光时间的长曝光图像帧和具有与第一曝光时间不同的单一的第二曝光时间的至少两个短曝光图像帧；将长曝光图像帧中的图像帧的预定区域与所述至少两个短曝光图像帧中的每一个进行比较，并检测图像帧中的对象的运动的改变；基于哪个图像帧在图像帧的预定区域中具有最小的对象运动改变量来选择长曝光图像帧或短曝光图像帧；对所有选择的图像帧区域进行融合并输出宽动态范围(WDR)图像。选择长曝光图像帧或短曝光图像帧的步骤可包括：如果长图像帧的预定区域中的像素未饱和，则选择长图像帧的所述预定区域。选择长曝光图像帧或短曝光图像帧的步骤可包括：如果长图像帧的预定区域中的像素饱和，则基于哪个图像帧在短图像帧的每一个的预定区域中具有最小的对象运动改变量来选择该短曝光图像帧的所述预定区域。所述至少两个短曝光图像帧可包括三个短曝光图像帧，第二曝光时间可小于第一曝光时间。所述方法还可包括以下步骤：当饱和像素的数量大于所述参考值时，输出基于第一曝光时间的长曝光图像帧和具有与第一曝光时间不同的至少两个第二曝光时间的所述至少两个短曝光图像帧。所述至少两个短曝光图像帧可包括：具有小于第一曝光时间的不同的三个第二曝光时间的三个短曝光图像帧。将理解，上面的总体描述和下面的具体实施方式二者是示例性和解释性的，并且意在提供请求保护的本专利技术的进一步解释。附图说明被包括以提供对本专利技术的进一步理解并被合并在本说明书中且构成本说明书的一部分的附图示出本专利技术的示例性实施例，并且与说明书一起用于解释本专利技术构思。图1A和图1B是示出WDR处理中产生的运动伪像的示意图。图2A是根据本专利技术的示例性实施例构造的图像处理设备的框图。图2B是示出从图2A中所示的图像传感器输出的长图像帧和短图像帧在两种操作模式下的曝光时间的示意图。图3是图2A中所示的模式确定单元的框图。图4是用于示出根据本专利技术的示例性实施例的图像处理方法的流程图。图5是示出图2A中所示的第二模式处理单元的示例性实施例的内部组件的框图。图6是用于示出由图5中所示的第二模式处理单元实施的示例性图像处理方法的流程图。图7是示出用于根据图5中所示的第二模式处理单元对图像帧的块进行融合的处理的示意图。具体实施方式本文档来自技高网...

【技术保护点】
1.一种用于处理图像的设备，包括：图像传感器，用于输出基于第一曝光时间的长曝光图像帧和具有与第一曝光时间不同的第二曝光时间的至少两个短曝光图像帧；模式确定单元，用于基于从图像传感器输出的预定图像帧中的饱和像素的数量来确定图像处理单元的操作模式；快门控制器，用于基于来自模式确定单元的输出信号来控制图像传感器的每一帧的曝光时间；图像处理单元，用于对长曝光图像帧和所述至少两个短曝光图像帧进行融合以输出宽动态范围WDR图像。

【技术特征摘要】
2018.05.01 US 15/968,1471.一种用于处理图像的设备，包括：图像传感器，用于输出基于第一曝光时间的长曝光图像帧和具有与第一曝光时间不同的第二曝光时间的至少两个短曝光图像帧；模式确定单元，用于基于从图像传感器输出的预定图像帧中的饱和像素的数量来确定图像处理单元的操作模式；快门控制器，用于基于来自模式确定单元的输出信号来控制图像传感器的每一帧的曝光时间；图像处理单元，用于对长曝光图像帧和所述至少两个短曝光图像帧进行融合以输出宽动态范围WDR图像。2.根据权利要求1所述的设备，其中，图像处理单元包括：运动检测单元，用于将长曝光图像帧中的图像帧的预定区域与所述至少两个短曝光图像帧中的每一个的所述预定区域进行比较，并检测所述预定区域中的对象的运动的改变；帧选择单元，用于基于哪个图像帧在所述预定区域中具有最小的对象运动改变量来选择长曝光图像帧或短曝光图像帧的所述预定区域；融合单元，用于对所有选择的图像帧的预定区域进行融合并输出WDR图像。3.根据权利要求2所述的设备，其中，如果长曝光图像帧的所述预定区域中的像素饱和，则帧选择单元基于哪个短曝光图像帧在所述预定区域中具有最小的对象运动改变量来选择该短曝光图像帧的所述预定区域。4.根据权利要求1所述的设备，其中，模式确定单元包括：饱和像素计数器，用于接收从图像传感器输出的与预定图像帧对应的信号，并对包括在预定图像帧中的饱和像素的数量进行计数；比较器，用于将饱和像素的数量与预定参考值进行比较；模式决定单元，用于基于来自比较器的输出来确定图像处理单元的操作模式。5.根据权利要求4所述的设备，其中，所述操作模式包括第一操作模式和第二操作模式，其中，当饱和像素的数量大于所述预定参考值时采用第一操作模式，当饱和像素的数量小于或等于所述预定参考值时采用第二操作模式。6.根据权利要求5所述的设备，其中，在第二操作模式下，图像处理单元接收基于第一曝光时间的长曝光图像帧和具有比第一曝光时间小的单一的第二曝光时间的三个短曝光图像帧。7.一种用于处理图像的设备，包括：图像传感器，用于输出基于第一曝光时间的长曝光图像帧和具有与第一曝光时间不同的单一的第二曝光时间的至少两个短曝光图像帧；运动检测单元，用于将长曝光图像帧中的图像帧的预定区域与所述至少两个短曝光图像...

【专利技术属性】
技术研发人员：李畅玟，
申请(专利权)人：韩华泰科株式会社，
类型：发明
国别省市：韩国,KR