图像处理装置、成像装置、图像处理方法和计算机程序制造方法及图纸

一种图像处理装置，包括：　　　　图像输入单元，被配置以接收长期曝光图像和短期曝光图像；　　　　图像分析单元，被配置以基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素；以及　　　　像素值校正单元，被配置以校正由该图像分析单元检测的亮度变化像素的像素值，　　　　其中该像素值校正单元包括　　　　组合图像生成器，被配置以选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像，　　　　中间图像生成器，被配置以生成中间图像，该中间图像是该组合图像的模糊图像，以及　　　　输出图像生成器，被配置以使用该组合图像中的对应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。

【技术实现步骤摘要】

本专利技术涉及图像处理装置、成像装置和图像处理方法以及计算机程序。具体地，本专利技术涉及基于两类图^象、即长期曝光图像(long-time exposure image)和短期曝光图像来生成高质量输出图像的图像处理装置、成像装置和 图像处理方法以及计算机程序。
技术介绍
固态成像元件、诸如视频摄像机、数字静态摄像机等等中使用的电荷耦 合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器 积累与其上的入射光量对应的电荷，并输出与所积累的电荷对应的电信号， 换句话说，进行光电转换。但是，能够被积累在光电转换元件中的电荷量存 在限制。当接收到多于某个电平的光量时，所积累的电荷量到达饱和电平， 以至于比某个值更亮的物体区域被设为饱和亮度电平。即，产生泛白 (white-out)问题。为了避免这种泛白现象，根据周围光中的变化等等来控制在光电转换元 件中积累电荷的时间段，以调整曝光时间来最佳地控制灵敏度。例如，当拍 摄明亮物体时，以高速释放(release)快门来减少曝光时间，以减少在光电 转换元件中积累电荷的时间段，以便在所积累的电荷量到达了饱和电平之前 输出电信号。这允许通过准确再现与物体一致的灰度及来输出图像。在包括明亮区域和暗沉区域两者的物体的拍摄中，高速快门释放不保证 在暗沉区域中的足够的曝光时间，导致了信噪(S/N )比的恶化和低图像质量。 在包括明亮和暗沉区域两者的这种物体的拍摄的图像中，通过增加具有在图 像传感器上的少量入射光的像素中的曝光时间，来准确地再现明亮和暗沉区 域的亮度电平，以在避免具有大量入射光的像素中的饱和的同时实现高S/N 比。在例如2005年2月的IEEE International Solid-State Circuits Conference (ISSCC)2005，pp.354中描述了用于实现这种准确再现的方法。具体地，如图1所示，放大型图像传感器包括以矩阵排列的像素100，每个像素具有光电二极管101、转移晶体管102、复位晶体管103、放大晶体管104、和选择晶体 管105。为了截止转移晶体管102,将被施加到转移晶体管102的控制电极的 电压被设置为允许在某个值以上过多的电子流入浮动扩散(floating diffusion ) (FD)节点106的电平Vtrg，而不是用于完全截止转移晶体管102的标准电平。当在光电二极管101中积累的电子数量超过电平Vtrg时，在低于阈值的 区域中开始发生过多电子泄漏到FD节点106。该泄漏在低于阈值的区域中操 作，保持在光电二极管101中的电子数量是对数响应的。如图2所示，在时间段TO中复位操作以后，当电压Vtrg仍然被施加到 转移晶体管102的控制电极时执行电子的积累。在积累的电子数量小的时间 段T1中，所有电子被存储在光电二极管101中。当所积累的电子数量超过电 平Vtrg时，如时间)殳T2所指示的，电子开始泄漏到FD节点106 。由于在低于阈值的区域中的泄漏，即使当积累继续(在时间段T3中)时， 电子也关于入射光强度呈对数特性地积累。在时间段T4中，复位溢出到FD 节点106的电子，且通过完全转移读取被存储在光电二极管101中的所有电 子。图3示出入射光强度和输出电子的数量之间的关系。关于超过由电压Vtrg 限定的线性区域的上限Qlinear的入射光强度，由对数响应来确定输出电子的 数量。虽然在前述现有技术中发表了 124dB的动态范围的实现，但是能够实现 高S/N比的线性区域的饱和电平小于或等于标准饱和电平Qs的一半。此外， 当由对数响应实现了很宽的动态范围时，对数响应电路易受转移晶体管102 的阈值改变等等的影响。因此，即使消除了阚值改变，对于对数区域的5mV 大的固定图样噪声，与对于线性区域的0.8mV的固定图样噪声相比，也保持 在宽的动态范围内。
技术实现思路
因此希望提供适合于产生包括明亮和暗沉区域的物体的拍摄的图像的图 像处理装置、成像装置、图像处理方法和计算机程序，其中生成两类图像、 即长期曝光图像和短期曝光图像，以及对所生成的图像进行图像处理以获得 在高亮度区域中有少量泛白且在低亮度区域中有高S/N比的高的高质量输出9图像。还希望提供适合于对两类输入图像、即长期曝光图像和短期曝光图像进 行图像处理的图像处理装置、成像装置、图像处理方法和计算机程序，其中 其亮度电平等等由于物体的运动等等而变化的像素被检测，并经过限制性处理，以防止像素的灰度级错误或伪色(false color)以生成高质量图像。根据本专利技术的某些实施例， 一种图像处理装置包括以下元件。图像输入 单元，被配置以接收长期曝光图像和短期曝光图像。图像分析单元，被配置 以基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中 确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像 素。像素值校正单元，被配置以校正由该图像分析单元检测的亮度变化像素 的像素值。像素值校正单元包括以下元件。组合图像生成器，被配置以选择 性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成 组合图像。中间图像生成器，被配置以生成中间图像，该中间图像是该组合 图像的模糊图像。输出图像生成器，被配置以使用该组合图像中的对应像素 的像素值和在该模糊图像中的该对应像素的像素值来确定由该图像分析单元 检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位 置上。在本专利技术的实施例中，在该图像处理装置中，该输出图像生成器被配置 以使用以下等式确定在输出图像中的该对应像素的像素值[Rv]=a x [Dv] +b x [Mv] 其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图 像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素 值，a和b标示系数，其中a+b=l。在本专利技术的实施例中，在该图像处理装置中，该图像分析单元被配置以 检测从该短期曝光图像获得有效输出值且从该长期曝光图像获得有效输出值 的像素位置，并被配置以确定位于所检测的像素位置上的像素是其亮度电平 从高亮度电平改变到低亮度电平的亮度变化像素。在本专利技术的实施例中，在该图像处理装置中，该图像分析单元被配置以 检测在该长期曝光图像中的像素值饱和且没有从该短期曝光图像获得有效输 出值的像素位置，并被配置以确定位于所检测的像素位置上的像素是其亮度 电平从低亮度电平改变到高亮度电平的亮度变化像素。在本专利技术的实施例中，在该图像处理装置中，该图像分析单元被配置以 使用平滑滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转 换，并被配置以基于作为该图像转换的结果而获得的图像来排除错误检测到 的亮度变化像素。在本专利技术的实施例中，在该图像处理装置中，该图像分析单元被配置以 使用滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转换，并 被配置以放大亮度变化像素区域。在本专利技术的实施例中，在该图像处理装置中，该输出图像生成器被配置以使用系数通过以下等式来确定在输出图像中的该对应像素的像素值[Rv]=a x [Dv] +b x [Mv] 其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图 像中的该对应像素的像素值，本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：图像输入单元，被配置以接收长期曝光图像和短期曝光图像；图像分析单元，被配置以基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素；以及像素值校正单元，被配置以校正由该图像分析单元检测的亮度变化像素的像素值，其中该像素值校正单元包括组合图像生成器，被配置以选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像，中间图像生成器，被配置以生成中间图像，该中间图像是该组合图像的模糊图像，以及输出图像生成器，被配置以使用该组合图像中的对应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。

【技术特征摘要】
1.一种图像处理装置，包括图像输入单元，被配置以接收长期曝光图像和短期曝光图像；图像分析单元，被配置以基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素；以及像素值校正单元，被配置以校正由该图像分析单元检测的亮度变化像素的像素值，其中该像素值校正单元包括组合图像生成器，被配置以选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像，中间图像生成器，被配置以生成中间图像，该中间图像是该组合图像的模糊图像，以及输出图像生成器，被配置以使用该组合图像中的对应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。2. 根据权利要求1所述的图像处理装置，其中该输出图像生成器被配置 以使用以下等式确定在输出图像中的该对应像素的像素值[Rv]=a x [Dv] +b x [Mv] 其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图 像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素 值，a和b标示系数，其中a+b=l。3. 根据权利要求1所述的图像处理装置，其中该图像分析单元被配置以 检测从该短期曝光图像获得有效输出值且从该长期曝光图像获得有效输出值 的像素位置，并被配置以确定位于所检测的像素位置上的像素是其亮度电平 从高亮度电平改变到低亮度电平的亮度变化像素。4. 根据权利要求1所述的图像处理装置，其中该图像分析单元被配置以 检测在该长期曝光图像中的像素值饱和且没有从该短期曝光图像获得有效输 出值的像素位置，并被配置以确定位于所检测的像素位置上的像素是其亮度 电平从低亮度电平改变到高亮度电平的亮度变化像素。5. 根据权利要求1所述的图像处理装置，其中该图像分析单元被配置以 使用平滑滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转 换，并被配置以基于作为该图像转换的结果而获得的图像来排除错误检测到 的亮度变化像素。6. 根据权利要求1所述的图像处理装置，其中该图像分析单元被配置以 使用滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转换，并 被配置以放大亮度变化像素区域。7. 根据权利要求6所述的图像处理装置，其中该输出图像生成器被配置 以使用系数通过以下等式来确定在输出图像中的该对应像素的像素值[Rv]=a x [Dv] +b x [Mv] 其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图 像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素 值，a和b标示系数，其中a+b-l，以及其中该输出图像生成器被配置以通过使用被用于确定基于该组合图像而 检测到的亮度变化像素区域的像素值的第一组系数和用于确定使用该滤波器 放大的该亮度变化像素区域的像素值的第二组系数作为系数，来确定在该输 出图像中的该对应像素的像素值，该第一组系数和该第二组系数具有彼此不 同的值。8. 根据权利要求1所述的图像处理装置，其中该中间图像生成器被配置 以对该组合图像施加平滑滤波器，以生成模糊图像。9. 根据权利要求1所述的图像处理装置，其中该中间图像生成器被配置 以缩小和放大该组合图像以生成模糊图像。10. 根据权利要求1所述的图像处理装置，其中该像素值校正单元进一 步包括图像校正单元，其被配置以缩小由该组合图像生成器生成的组合图像 的颜色饱和，以生成饱和减少图像，以及其中该中间像素生成器被配置以接收由该图像校正单元生成的该饱和减 少图像以生成模糊图像。11.根据权利要求1所述的图像处理装置，其中该像素值校正单元进一 步包括图像校正单元，其被配置以进行对由该输出图像生成器生成的图像施 加低通滤波器的图像校正处理。12.根据权利要求1到11中的任意一项的图像处理装置，其中生成该长期曝光图像的曝光时间段包括生成该短期曝光图像的曝光时间段，以及其中该短期曝光图像和该长期曝光图像是由单个成像元件从相同像素生成的图像。13. —种成像装置，包括成像设备，被配置以生成长期曝光图像和短期曝光图像； 图像分析单元，被配置以基于在该长期曝光图像和该短期曝光图像中的 像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发 生了亮度变化的亮度变化像素；以及像素值校正单元，被配置以校正由该图像分析单元检测的亮度变化像素 的像素值，其中该像素值校正单元包括组合图像生成器，被配置以选择性地组合该长期曝光图像中的像素 值与该短期曝光图像中的像素值，以生成组合图像，中间图像生成器，被配置以生成中间图像，该中间图像是该组合图 像的模糊图像，以及输出图像生成器，被配置以使用该组合图像中的对应像素的像素值 和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮 度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。14. 根据权利要求13所述的...

【专利技术属性】
技术研发人员：笠井政范，大池佑辅，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP