一种摄像机及其图像处理方法技术

本申请实施例公开了一种摄像机及其图像处理方法，涉及图像传感器领域，能够降低两次曝光之间的时间间隔，确保两次曝光拍摄的图像中运动物体没有明显的移动。具体方案为：摄像机包括CMOS传感器和控制器，对于CMOS传感器中的每个像素电路，控制器，用于：在第一曝光结束后产生用于导通第一晶体管的第一脉冲信号，将光电二极管产生的第一电子转移至电荷存储区；在第二曝光开始前产生用于导通第二晶体管的第二脉冲信号，将电荷存储区存储的第一电子转移至浮动扩散节点；在第二曝光结束后产生用于导通第一晶体管的第三脉冲信号，将光电二极管产生的第二电子转移至电荷存储区。产生的第二电子转移至电荷存储区。产生的第二电子转移至电荷存储区。

【技术实现步骤摘要】
一种摄像机及其图像处理方法
[0001]本申请要求于2021年10月25日提交国家知识产权局、申请号为202111241467.1、申请名称为“一种在FD中保持信号的暗电流抑制方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请实施例涉及图像传感器领域，尤其涉及一种摄像机及其图像处理方法。

技术介绍

[0003]互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)传感器因具备体积小、功耗低等优势，在图像传感器领域得到了广泛应用。
[0004]在智能交通场景中，被车灯直射的车牌等区域照度可达数千勒克斯，而其他区域照度可能只有几勒克斯，动态范围非常大。如果采用CMOS传感器进行单次曝光，可能造成过曝或欠曝的问题，因此单次曝光的成像动态范围非常有限。为了提升图像的动态范围，可以采用全局快门CMOS传感器进行两次曝光，并对两次曝光拍摄的图像进行宽动态合成。但是采用传统全局快门CMOS传感器受限于读出速度，每次拍摄的时间间隔较长。在智能交通场景中拍摄高速运动物体时，如果相隔最近的两帧图像间存在明显的运动位移，将造成两次曝光的图像进行宽动态合成的结果会出现运动伪影。因此，如何降低两次曝光之间的时间间隔成为了亟待解决的问题。

技术实现思路

[0005]本申请实施例提供一种摄像机及其图像处理方法，能够降低两次曝光之间的时间间隔，确保两次曝光拍摄的图像中运动物体没有明显的移动。
[0006]为达到上述目的，本申请实施例采用如下技术方案：
[0007]本申请实施例的第一方面，提供一种摄像机，该摄像机包括互补金属氧化物半导体CMOS传感器和控制器，CMOS传感器包括多个像素电路，该多个像素电路中的每个像素电路包括至少一个光电二极管，电荷存储区，耦合在光电二极管与电荷存储区之间的第一晶体管，耦合在电荷存储区与浮动扩散节点之间的第二晶体管；对于每个像素电路，控制器，用于：在第一曝光结束后产生用于导通第一晶体管的第一脉冲信号，将光电二极管产生的第一电子转移至电荷存储区；在第二曝光开始前产生用于导通第二晶体管的第二脉冲信号，将电荷存储区存储的第一电子转移至浮动扩散节点；在第二曝光结束后产生用于导通第一晶体管的第三脉冲信号，将光电二极管产生的第二电子转移至电荷存储区。
[0008]基于本方案，通过将第一曝光产生的第一电子从光电二极管传输并存储在浮动扩散节点中，将第二曝光产生的第二电子传输并存储在电荷存储区，即第一曝光产生的第一电子和第二曝光产生的第二电子可以存储在不同的器件中。与第二次曝光必须等到第一次曝光全部读出后才能进行相比，由于本方案将两次曝光产生的电子分别存储在浮动扩散节点和电荷存储区，因此第二次的曝光不需要等待第一次曝光读出以后再进行，能够减小第
二曝光与第一曝光之间的时间间隔，能够实现无时隙双重曝光。
[0009]在一种可能的实现方式中，上述像素电路还包括第三晶体管和第四晶体管，第三晶体管的栅极耦合至浮动扩散节点，第三晶体管的源极耦合至第四晶体管的漏极，第三晶体管的漏极耦合至预设电压，第四晶体管的栅极耦合至控制器，第四晶体管的源极为信号输出端；控制器，还用于在第三曝光结束后产生用于导通第四晶体管的第四脉冲信号，将浮动扩散节点上的噪声信号读出。
[0010]基于本方案，CMOS传感器产生第三曝光后，由于控制器不会产生导通第一晶体管的第一脉冲信号，因此光电二极管产生的第三电子不会传输至电荷存储区，也不会传输至浮动扩散节点，故浮动扩散节点上暗电流产生FD电压，通过第三晶体管转换为第三输出电压，该第三输出电压即为暗电流噪声信号。CMOS传感器中多个像素电路中每个像素电路采集的暗电流噪声信号转换后得到的图像可以称为暗帧。
[0011]在另一种可能的实现方式中，上述控制器，还用于在第四曝光结束后产生用于导通第一晶体管的第五脉冲信号，将光电二极管产生的第四电子转移至电荷存储区；其中，第四曝光与第三曝光之间间隔的时长与第二曝光与第一曝光之间间隔的时长相同。
[0012]基于本方案，可以通过CMOS传感器依次产生第三曝光和第四曝光标定暗电流噪声，由于CMOS传感器产生第三曝光后，控制器不会产生导通第一晶体管的第一脉冲信号，因此光电二极管产生的第三电子不会传输至电荷存储区，也不会传输至浮动扩散节点，故浮动扩散节点上暗电流产生FD电压，通过第三晶体管转换为第三输出电压，该第三输出电压即为暗电流噪声信号。
[0013]在又一种可能的实现方式中，上述摄像机还包括处理器；该处理器，用于：获取第一图像和暗帧，该第一图像为第一曝光对应的图像，该暗帧为多个像素电路中每个像素电路采集的噪声信号转换后得到的图像；根据暗帧，对第一图像进行处理，得到去噪声后的第一图像。
[0014]基于本方案，由于第一图像中包含图像信号和噪声信号，通过处理器根据标定的暗电流噪声(暗帧)对受暗电流影响的第一图像进行噪声校正，从而降低第一图像中的暗电流影响，得到高信噪比的图像。
[0015]在又一种可能的实现方式中，上述第一曝光的时长小于上述第二曝光的时长；上述处理器，还用于根据上述去噪声后的第一图像和上述第二曝光对应的第二图像，得到宽动态图像。
[0016]基于本方案，通过对去噪声后的第一图像和第二图像进行宽动态合成，不仅可以消除暗区的kTC噪声，同时能够提升图像的动态范围。
[0017]在又一种可能的实现方式中，上述处理器，具体用于：将上述去噪声后的第一图像的亮度与上述第二图像的亮度对齐，得到第三图像；将该第三图像中信号强度低于预设阈值的区域与上述第二图像中的对应区域进行融合处理，得到上述宽动态图像。
[0018]基于本方案，通过将第三图像中信号强度低于预设阈值的区域采用第二图像中的对应区域进行融合处理，使得宽动态图像中信号强度高于预设阈值的区域为第三图像中的对应区域，宽动态图像中信号强度低于预设阈值的区域为第二图像中的对应区域。可以理解的，进行宽动态合成后，较暗区域主要由第二图像的对应像素进行填充，由于第二图像可以消除kTC噪声，因此图像暗区的信噪比会有明显的提升。较亮区域的像素为第三图像的对
应像素，由于较亮区域中图像信号较强，因此kTC噪声影响相对较小。因此通过将去噪声后的第一图像与第二图像进行宽动态合成，可以进一步消除暗区的kTC噪声，同时达到了提升动态范围的效果。
[0019]在又一种可能的实现方式中，上述融合处理包括加权融合或直接替换。
[0020]基于本方案，可以通过将第三图像中信号强度低于预设阈值的区域采用第二图像中的对应区域进行直接替换，或者，将第三图像中信号强度低于预设阈值的区域和第二图像中的对应区域进行加权融合，不仅能够提升图像暗区的信噪比，而且能够提升图像的动态范围。
[0021]在又一种可能的实现方式中，上述CMOS传感器为全局快门CMOS传感器。
[0022]基于本方案，通过将两次曝光产生的电子分别存储在浮动扩散节点和电荷存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种摄像机，其特征在于，所述摄像机包括互补金属氧化物半导体CMOS传感器和控制器，所述CMOS传感器包括多个像素电路，所述多个像素电路中的每个像素电路包括至少一个光电二极管，电荷存储区，耦合在所述光电二极管与所述电荷存储区之间的第一晶体管，耦合在所述电荷存储区与浮动扩散节点之间的第二晶体管；对于所述每个像素电路，所述控制器，用于：在第一曝光结束后产生用于导通所述第一晶体管的第一脉冲信号，将所述光电二极管产生的第一电子转移至所述电荷存储区；在第二曝光开始前产生用于导通所述第二晶体管的第二脉冲信号，将所述电荷存储区存储的所述第一电子转移至所述浮动扩散节点；在第二曝光结束后产生用于导通所述第一晶体管的第三脉冲信号，将所述光电二极管产生的第二电子转移至所述电荷存储区。2.根据权利要求1所述的摄像机，其特征在于，所述像素电路还包括第三晶体管和第四晶体管，所述第三晶体管的栅极耦合至所述浮动扩散节点，所述第三晶体管的源极耦合至所述第四晶体管的漏极，所述第三晶体管的漏极耦合至预设电压，所述第四晶体管的栅极耦合至所述控制器，所述第四晶体管的源极为信号输出端；所述控制器，还用于在第三曝光结束后产生用于导通所述第四晶体管的第四脉冲信号，将所述浮动扩散节点上的噪声信号读出。3.根据权利要求2所述的摄像机，其特征在于，所述控制器，还用于在第四曝光结束后产生用于导通所述第一晶体管的第五脉冲信号，将所述光电二极管产生的第四电子转移至电荷存储区；其中，所述第四曝光与所述第三曝光之间间隔的时长与所述第二曝光与所述第一曝光之间间隔的时长相同。4.根据权利要求2或3所述的摄像机，其特征在于，所述摄像机还包括处理器；所述处理器，用于：获取第一图像和暗帧，所述第一图像为所述第一曝光对应的图像，所述暗帧为所述多个像素电路中每个像素电路采集的所述噪声信号转换后得到的图像；根据所述暗帧，对所述第一图像进行处理，得到去噪声后的第一图像。5.根据权利要求4所述的摄像机，其特征在于，所述第一曝光的时长小于所述第二曝光的时长；所述处理器，还用于根据所述去噪声后的第一图像和所述第二曝光对应的第二图像，得到宽动态图像。6.根据权利要求5所述的摄像机，其特征在于，所述处理器，具体用于：将所述去噪声后的第一图像的亮度与所述第二图像的亮度对齐，得到第三图像；将所述第三图像中信号强度低于预设阈值的区域与所述第二图像中的对应区域进行融合处理，得到所述宽动态图像。7.根据权利要求6所述的摄像机，其特征在于，所述融合处理包括加权融合或直接替换。8.根据权利要求1
‑
7中任一项所述的摄像机，其特征在于，所述CMOS传感器为全局快门CMOS传感器。9.一种摄像机中的图像处理方法，其特征在于，所述摄像机包括互补金属氧化物半导
体CMOS传感器...

【专利技术属性】
技术研发人员：赤羽隆弘，张峥，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：