基于FPGA的实时固定模式噪声去除方法、装置、介质及系统制造方法及图纸

本发明专利技术提供一种基于FPGA的实时固定模式噪声去除方法、装置、介质及系统。所述方法包括：步骤1.从传感器获取视频图像f(x,y)，并对获取的视频图像进行二维离散傅里叶变换，得到频谱图像F(u,v)；步骤2.对频谱图像F(u,v)中搜寻特殊频点；步骤3.对特殊频点进行点值替换，生成新的傅里叶频谱图像F1(u,v)；步骤4.新生成的傅里叶频谱图像F1(u,v)进行二维离散傅里叶逆变换，得到去除固定模式噪声的图像f1(x,y)。本发明专利技术消除了由于EB

【技术实现步骤摘要】
基于FPGA的实时固定模式噪声去除方法、装置、介质及系统


[0001]本专利技术涉及实时图像处理
，尤其涉及基于FPGA的实时固定模式噪声去除方法、装置、介质及系统。

技术介绍

[0002]EB
‑
CMOS传感器(Electron Bombarded Complementary Metal Oxide Semiconductor)是像增强器中在电子透镜的焦平面位置加入CMOS成像器件，使阴极上发射出来的电子直接从背面入射到CMOS器件上进行成像。该器件具有极好的微光性能，能够在10
‑
6lx的极低照度下进行成像，EB
‑
CMOS传感器具有高增益、低噪声和高分辨率，可以在很低的照度状态下工作，甚至可以记录单个光子，量子效率高达90%。其结构如图1所示。
[0003]EB
‑
CMOS传感器由于CMOS传感器中的列缓冲(Column Buffer)的工作性质，引入了大量的固定模式噪声(FPN，Fixed Pattern Noise)，该模式噪声如图2所示为固定的竖条纹状(或者横条纹状)。这是由于CMOS图像传感器是基于列的CMOS图像传感器，在基于列的CMOS图像传感器中，虽然像素被均匀地暴露于光，但是由于列的输出系统的处理属性的变动，对于不同的列，像素的输出是不均匀的。因此，基于列的CMOS图像传感器表现出垂直条纹固定模式噪声，从而降低了图像的质量。现有的去除固定模式噪声的方法（比如现有技术CN101277386A），通常是通过从图像传感器的输出信号中减去与偏移分量相对应的校正信号以及光强度相关分量来去除垂直条纹固定模式噪声。然而实现上述方法的电路结构比较复杂。另外，现有的光电传感器后端的处理器通常采用DSP或ARM处理器，完成上述这么大数据量的运算速度较慢，处理速度不够实时，期待在不损失实时处理速度的情况下提高校正固定模式噪声的能力的新技术。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供一种实时固定模式噪声去除方法、装置、介质及系统，尤其用于EB
‑
CMOS图像传感器的条纹状固定图像噪声实时消除，可以消除由于EB
‑
CMOS图像传感器输出的列与列之间差异所产生的条纹状固定模式噪声。另外，采用带有傅里叶IP核的FPGA来完成上述运算，能够实时完成上述运算。
[0005]依据本专利技术的一个方面，本专利技术实施例提供了一种基于FPGA的实时固定模式噪声去除方法，包括如下步骤：一种基于FPGA的实时固定模式噪声去除方法，包括如下步骤：步骤1.从传感器获取视频图像f(x,y)，并对获取的视频图像进行二维离散傅里叶变换，得到频谱图像F(u,v)；步骤2.对二维离散傅里叶变换后得到的频谱图像F(u,v)中搜寻特殊频点；步骤3.对频谱图像中的特殊频点进行点值替换，生成新的傅里叶频谱图像F1(u,v)；步骤4.对步骤3中新生成的傅里叶频谱图像F1(u,v)进行二维离散傅里叶逆变换，
得到去除固定模式噪声的图像f1(x,y)。
[0006]在一种可能的实施方式中，步骤1中，所述二维离散傅里叶变换的公式为：其中，F(u,v)为进行二维离散傅里叶变换后得到的频谱图像，f(x,y)为获取的视频图像，M为视频图像的宽度，N为视频图像的高度。
[0007]在一种可能的实施方式中，步骤2中，对二维离散傅里叶变换后得到的频谱图像F(u,v)中搜寻特殊频点具体为：对二维离散傅里叶变换后得到的频谱图像，在事先设定好的中心位置掩膜中采用混合高斯模型搜寻特殊频点，其为一系列(u,v)值，记为{a1,a2,a3,
…
}。
[0008]在一种可能的实施方式中，步骤3对频谱图像中的特殊频点进行点值替换具体为：依照步骤2搜寻获得的一系列(u,v)值，在原二维离散傅里叶变换后获得的频谱图像中将一系列(u,v)值对应的值替换为0，生成新的傅里叶频谱图像F1(u,v)：其中，F1(u,v)为新生成的傅里叶频谱图像，F(u,v)为进行二维离散傅里叶变换后得到的频谱图像。
[0009]在一种可能的实施方式中，步骤4中，二维离散傅里叶逆变换的公式为：其中，f1(x,y)为去除固定模式噪声的图像，F1(u,v)为新生成的傅里叶频谱图像，M为视频图像的宽度，N为视频图像的高度。
[0010]在一种可能的实施方式中，所述步骤2中特殊频点为幅值较大且随时间变化较小的一系列(u,v)值，所述幅值较大指所述频谱图像的幅度大于设定的经验阈值T，所述变化较小指所述频谱图像满足混合高斯模型方法的判据公式；所述混合高斯模型方法的判据公式为：其中，F
t+1
(u,v)表示第t+1帧频谱图像F(u,v)，μ
i,t
表示根据第t帧频谱图像更新的第i个高斯模型期望值，D
b
取经验值3，σ
i,t
表示根据第t帧频谱图像更新的第i个高斯模型方差值。
[0011]依据本专利技术的另一方面，本专利技术实施例还提供了一种基于FPGA的实时固定模式噪声去除装置，包括：二维离散傅里叶变换模块，用于从传感器获取视频图像f(x,y)并进行二维离散傅里叶变换，得到频谱图像F(u,v)；特殊频点搜索模块，用于对二维傅里叶变换后的频谱图像中进行特殊频点搜索，得到一系列频点值；
点值替换模块，用于对频谱图像中的特殊频点进行点值替换，生成新的傅里叶频谱图像F1(u,v)；二维离散傅里叶逆变换模块，用于对新生成的傅里叶频谱图像进行二维离散傅里叶逆变换，得到去除固定模式噪声的图像f1(x,y)。
[0012]依据本专利技术的又一方面，本专利技术实施例还提供了一种基于FPGA的实时固定模式噪声去除装置，包括：处理器；存储器，用于存储处理器可执行指令；其中，所述处理器被配置为执行所述指令时实现前述的实时固定模式噪声去除方法。
[0013]依据本专利技术的又一方面，本专利技术实施例还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述的实时固定模式噪声去除方法。
[0014]依据本专利技术的再一方面，本专利技术实施例还提供了一种基于FPGA的实时固定模式噪声去除系统，包括EB
‑
CMOS传感器、FPGA芯片和DDR存储器，在FPGA芯片上执行前述的实时固定模式噪声去除方法，并且执行过程中生成的中间数据存储在DDR存储器中。
[0015]本专利技术与现有技术相比，其有益效果在于：本专利技术提供一种基于FPGA的实时固定模式噪声去除方法、装置、介质及系统，尤其用于EB
‑
CMOS图像传感器，电路结构简单，在一个FPGA芯片上就能实现，同时，根据本专利技术算法需要进行傅里叶变换的特点，采用带有傅里叶IP核的FPGA来完成上述运算，利用FPGA强大的数据处理能力，能够实时完成上述运算，实时消除了由于EB
‑
CMOS图像传感器输出的列与列之间差异所产生的条纹状固定模式噪声，具有有益的技术效果。...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA的实时固定模式噪声去除方法，其特征在于，包括如下步骤：步骤1.从传感器获取视频图像f(x,y)，并对获取的视频图像进行二维离散傅里叶变换，得到频谱图像F(u,v)；步骤2.对二维离散傅里叶变换后得到的频谱图像F(u,v)中搜寻特殊频点；步骤3.对频谱图像中的特殊频点进行点值替换，生成新的傅里叶频谱图像F1(u,v)；步骤4.对步骤3中新生成的傅里叶频谱图像F1(u,v)进行二维离散傅里叶逆变换，得到去除固定模式噪声的图像f1(x,y)。2.根据权利要求1所述的实时固定模式噪声去除方法，其特征在于：步骤1中，所述二维离散傅里叶变换的公式为：其中，F(u,v)为进行二维离散傅里叶变换后得到的频谱图像，f(x,y)为获取的视频图像，M为视频图像的宽度，N为视频图像的高度。3.根据权利要求1所述的实时固定模式噪声去除方法，其特征在于：步骤2中，对二维离散傅里叶变换后得到的频谱图像F(u,v)中搜寻特殊频点具体为：对二维离散傅里叶变换后得到的频谱图像，在事先设定好的中心位置掩膜中采用混合高斯模型搜寻特殊频点，其为一系列(u,v)值，记为{a1,a2,a3,
…
}。4.根据权利要求3所述的实时固定模式噪声去除方法，其特征在于：步骤3对频谱图像中的特殊频点进行点值替换具体为：依照步骤2搜寻获得的一系列(u,v)值，在原二维离散傅里叶变换后获得的频谱图像中将一系列(u,v)值对应的值替换为0，生成新的傅里叶频谱图像F1(u,v)：其中，F1(u,v)为新生成的傅里叶频谱图像，F(u,v)为进行二维离散傅里叶变换后得到的频谱图像。5.根据权利要求1所述的实时固定模式噪声去除方法，其特征在于：步骤4中，二维离散傅里叶逆变换的公式为：其中，f1(x,y)为去除固定模式噪声的图像，F1(u,v)为新生成的傅里叶频谱图像，M为视频图像的宽度，N为视频图像的高度。6.根据权利要求1所述的实时固定模式噪声去除方法，其特征在于：所述步骤2中特殊频点为幅值较大且随时间...

【专利技术属性】
技术研发人员：徐英伟，廖观万，宋炜，王方亮，王建平，周殿涛，吴继平，宋建华，周传，
申请(专利权)人：北京万龙精益科技有限公司，
类型：发明
国别省市：