基于脉冲间隔的脉冲图像传感器的噪声消除方法及装置制造方法及图纸

本发明专利技术公开了基于脉冲间隔的脉冲图像传感器的噪声消除方法及装置，应用于脉冲像素结构，所述方法包括：考虑时间域噪声和空间域噪声获取像素由均匀光照引起的第一脉冲间隔以及像素在无光条件下的第二脉冲间隔；获取暗电流系数矩阵；利用暗电流系数矩阵对含有噪声的脉冲矩阵进行暗电流非一致性校正得到暗电流校正后的脉冲矩阵，然后进行多次引导滤波得到噪声矩阵，利用暗电流校正后的脉冲矩阵减去噪声矩阵得到去噪后的脉冲矩阵，完成噪声消除；本发明专利技术的优点在于：直接对脉冲数据进行处理，处理方式简单有效，具有在硬件上实现的潜力。

【技术实现步骤摘要】
基于脉冲间隔的脉冲图像传感器的噪声消除方法及装置
本专利技术涉及CMOS图像传感器图像处理领域，更具体涉及基于脉冲间隔的脉冲图像传感器的噪声消除方法及装置。
技术介绍
脉冲图像传感器借鉴了生物视觉中场景信息脉冲化和帧频图像传感器中信息完备的优点，将全部光强信息转换为时域脉冲信号表示，具有高速、低数据、信息完备的特点。解决了传统帧频图像传感器存在的随着帧频的不断提升，数据量将会同比增长，严重的影响了数据处理速度，而且增加了芯片的输出管脚、面积和功耗的问题；同时避免了地址事件表示图像传感器由于异步通信协议无法有效输出背景信息事件，无法保证信息的完备性的问题。由于脉冲图像传感器采用的脉冲型像素中存在各种不同类型的像素噪声，噪声在光强量化为脉冲信号中引入误差，这些误差严重影响了成像质量及后续的脉冲数据处理。脉冲图像传感器中的噪声主要包括两大类：空间域噪声和时间域噪声。伴随着脉冲图像传感器在目标识别、目标追踪、特征提取等众多应用的出现，各种使用场合对于成像质量的要求也不断提高。脉冲图像传感器的噪声消除问题成为亟待解决的难题之一。目前国际上和国内已经存在一定数量的相关研究，但仍不完善。这种不完善一方面体现在研究噪声对于脉冲数据及后续处理的影响，现有研究主要讨论了脉冲图像传感器噪声的来源。对于脉冲数据及后续处理的影响远远不够。另一方面体现在研究针对脉冲数据的去噪算法，现有算法都是基于重构后的图像进行噪声消除，而针对脉冲数据进行直接去噪，对于后续的处理显得尤为重要。中国专利申请号CN201811609552.7，公开了一种应用于脉冲式图像传感器的固定模式噪声消除方法，通过理论分析得出噪声的存在模式，将光电二极管、晶体管、暗电流引入的噪声分别表示，在复位电压和参考电压固定的情况下，采用均匀光源，使用两组暗光照射得到暗电流系数矩阵，再使用一组强光照射，得到用于矫正光电二极管和晶体管引入噪声的系数矩阵。在真实拍摄复杂场景时，引入这两个系数矩阵可实现噪声的消除，改善传感器的成像质量，但是该专利申请中使用的系数矩阵是通过任意选取一个像素作为参考点得到的，因此对于选取的参考点存在偶然性，如果该参考点恰好为坏像素则该方法将失效；另外该方法仅消除了传感器中的空间域噪声，并未消除时间域噪声，因此该专利申请提出的噪声消除方法存在偶然性且未消除时间域噪声，除噪效果不明显。
技术实现思路
本专利技术所要解决的技术问题在于现有技术存在偶然性且未消除时间域噪声，除噪效果不明显的问题。本专利技术通过以下技术手段实现解决上述技术问题的：基于脉冲间隔的脉冲图像传感器的噪声消除方法，应用于脉冲像素结构，所述方法包括：步骤a：考虑时间域噪声和空间域噪声获取像素由均匀光照引起的第一脉冲间隔；步骤b：考虑时间域噪声和空间域噪声获取像素在无光条件下的第二脉冲间隔；步骤c：根据第一脉冲间隔和第二脉冲间隔获取暗电流系数矩阵；步骤d：利用暗电流系数矩阵对含有噪声的脉冲矩阵进行暗电流非一致性校正得到暗电流校正后的脉冲矩阵，然后进行多次引导滤波得到噪声矩阵，利用暗电流校正后的脉冲矩阵减去噪声矩阵得到去噪后的脉冲矩阵，完成噪声消除。本专利技术结合暗电流非一致性校正和引导滤波器，通过直接对含有噪声的脉冲矩阵处理，估计得到实际噪声矩阵，最后通过暗电流校正后的脉冲矩阵和噪声矩阵得到去噪后的脉冲矩阵，该去噪后的脉冲矩阵可用于完成后续的图像重构、图像拖尾消除等处理，基于脉冲间隔补偿和改进引导滤波的噪声消除方法直接对脉冲数据进行处理，综上，本专利技术并不是采用选取参考点的方式消除噪声，因此不存在偶然性，另外，综合考虑了时间域噪声和空间域噪声，不仅消除了空间域噪声，还消除了时间域噪声，除噪效果较为显著。进一步地，所述脉冲像素结构包括光电二极管、复位管、比较器、自复位单元和像素内读出单元，光电二极管的阳极接电源VSS，光电二极管的阴极分别接复位管的发射极以及比较器的反相端，复位管的集电极与电源VDD连接，比较器的同相端接阈值电压Vref，比较器的输出端以及复位管的基极均接自复位单元，自复位单元接像素内读出单元，像素内读出单元与列总线连接。更进一步地，所述步骤a，包括：利用公式获取在理想条件下，像素由均匀光照引起的连续两个脉冲的时间间隔，其中，CPD为光电二极管的结电容容量，Vrst为复位电压，Vref为阈值电压，Iph为光电流；考虑时间域噪声和空间域噪声，利用公式获取像素由均匀光照引起的第一脉冲间隔，其中，tactual为第一时间间隔；θC为第一参数且Coffset表示光电二极管非一致性；θOS为第二参数且VOS表示比较器和复位管引入的失调电压；θshot为第三参数且Vshot表示散粒噪声；θnoise为第四参数且Vnoise表示其他时间域噪声；θI为第五参数且Idark表示暗电流。更进一步地，所述步骤b，包括：考虑时间域噪声和空间域噪声，利用公式获取像素在无光条件下的第二脉冲间隔，其中，tdark为第二脉冲间隔。更进一步地，所述步骤c，包括：根据第一脉冲间隔和第二脉冲间隔，利用公式获取暗电流与光电流的比值作为暗电流系数矩阵。更进一步地，所述步骤d，包括：利用暗电流系数矩阵对含有噪声的脉冲矩阵进行暗电流非一致性校正，得到暗电流校正后的脉冲矩阵；在第一设定参数下利用引导滤波器对暗电流校正后的脉冲矩阵进行滤波，将暗电流校正后的脉冲矩阵中的高频分量与平滑部分进行分离，得到暗电流校正后的脉冲矩阵的高频分量矩阵H1；在第二设定参数下利用引导滤波器对得到的高频分量矩阵H1进行引导滤波，将高频分量矩阵H1的高频分量中的噪声和平滑部分进行分离，获得噪声矩阵，用暗电流校正后的脉冲矩阵减去该噪声矩阵，得到去噪后的脉冲矩阵。再进一步地，在第一设定参数下利用引导滤波器对暗电流校正后的脉冲矩阵进行滤波时，暗电流校正后的脉冲矩阵定义为引导图像和输入图像，引导滤波器的参数设置为r＝2，ε＝0.1，其中，r为窗口半径，ε为截断值；在第二设定参数下利用引导滤波器对得到的高频分量矩阵H1进行引导滤波时，高频分量矩阵H1定义为引导图像和输入图像，引导滤波器的参数设置为r＝8，ε＝0.4。本专利技术还提供基于脉冲间隔的脉冲图像传感器的噪声消除装置，应用于脉冲像素结构，所述装置包括：第一脉冲间隔获取模块，用于考虑时间域噪声和空间域噪声获取像素由均匀光照引起的第一脉冲间隔；第二脉冲间隔获取模块，用于考虑时间域噪声和空间域噪声获取像素在无光条件下的第二脉冲间隔；暗电流系数矩阵获取模块，用于根据第一脉冲间隔和第二脉冲间隔获取暗电流系数矩阵；去噪处理模块，用于利用暗电流系数矩阵对含有噪声的脉冲矩阵进行暗电流非一致性校正得到暗电流校正后的脉冲矩阵，然后进行多次引导滤波得到噪声矩阵，利用暗电流校正后的脉冲矩阵减去噪声矩阵得到去噪后的脉冲矩阵，完成噪声消除。进一步地，所述脉冲像素结构包括光电二极管、复位管、比较器、自复位单元和像素内读出单元，光电二极管的阳极接电源VSS，光电二极管本文档来自技高网...

【技术保护点】
1.基于脉冲间隔的脉冲图像传感器的噪声消除方法，应用于脉冲像素结构，其特征在于，所述方法包括：/n步骤a：考虑时间域噪声和空间域噪声获取像素由均匀光照引起的第一脉冲间隔；/n步骤b：考虑时间域噪声和空间域噪声获取像素在无光条件下的第二脉冲间隔；/n步骤c：根据第一脉冲间隔和第二脉冲间隔获取暗电流系数矩阵；/n步骤d：利用暗电流系数矩阵对含有噪声的脉冲矩阵进行暗电流非一致性校正得到暗电流校正后的脉冲矩阵，然后进行多次引导滤波得到噪声矩阵，利用暗电流校正后的脉冲矩阵减去噪声矩阵得到去噪后的脉冲矩阵，完成噪声消除。/n

【技术特征摘要】
1.基于脉冲间隔的脉冲图像传感器的噪声消除方法，应用于脉冲像素结构，其特征在于，所述方法包括：
步骤a：考虑时间域噪声和空间域噪声获取像素由均匀光照引起的第一脉冲间隔；
步骤b：考虑时间域噪声和空间域噪声获取像素在无光条件下的第二脉冲间隔；
步骤c：根据第一脉冲间隔和第二脉冲间隔获取暗电流系数矩阵；
步骤d：利用暗电流系数矩阵对含有噪声的脉冲矩阵进行暗电流非一致性校正得到暗电流校正后的脉冲矩阵，然后进行多次引导滤波得到噪声矩阵，利用暗电流校正后的脉冲矩阵减去噪声矩阵得到去噪后的脉冲矩阵，完成噪声消除。


2.根据权利要求1所述的基于脉冲间隔的脉冲图像传感器的噪声消除方法，其特征在于，所述脉冲像素结构包括光电二极管、复位管、比较器、自复位单元和像素内读出单元，光电二极管的阳极接电源VSS，光电二极管的阴极分别接复位管的发射极以及比较器的反相端，复位管的集电极与电源VDD连接，比较器的同相端接阈值电压Vref，比较器的输出端以及复位管的基极均接自复位单元，自复位单元接像素内读出单元，像素内读出单元与列总线连接。


3.根据权利要求2所述的基于脉冲间隔的脉冲图像传感器的噪声消除方法，其特征在于，所述步骤a，包括：
利用公式获取在理想条件下，像素由均匀光照引起的连续两个脉冲的时间间隔，其中，CPD为光电二极管的结电容容量，Vrst为复位电压，Vref为阈值电压，Iph为光电流；
考虑时间域噪声和空间域噪声，利用公式获取像素由均匀光照引起的第一脉冲间隔，其中，tactual为第一时间间隔；θC为第一参数且Coffset表示光电二极管非一致性；θOS为第二参数且VOS表示比较器和复位管引入的失调电压；θshot为第三参数且Vshot表示散粒噪声；θnoise为第四参数且Vnoise表示其他时间域噪声；θI为第五参数且Idark表示暗电流。


4.根据权利要求3所述的基于脉冲间隔的脉冲图像传感器的噪声消除方法，其特征在于，所述步骤b，包括：
考虑时间域噪声和空间域噪声，利用公式获取像素在无光条件下的第二脉冲间隔，其中，tdark为第二脉冲间隔。


5.根据权利要求4所述的基于脉冲间隔的脉冲图像传感器的噪声消除方法，其特征在于，所述步骤c，包括：
根据第一脉冲间隔和第二脉冲间隔，利用公式获取暗电流与光电流的比值作为暗电流系数矩阵。


6.根据权利要求5所述的基于脉冲间隔的脉冲图像传感器的噪声消除方法，其特征在于，所述步骤d，包括：
利用暗电流系数矩阵对含有噪声的脉冲矩阵进行暗电流非一致性校正，得到暗电流校正后的脉冲矩阵；
在第一设定参数下利用引导滤波器对暗电流校正后的脉冲矩阵进行滤波，将暗电流校正后的脉冲矩阵中的高频分量与平滑部分进行分离，得到暗...

【专利技术属性】
技术研发人员：徐江涛，徐亮，高志远，
申请(专利权)人：天津大学合肥创新发展研究院，
类型：发明
国别省市：安徽;34