图像处理装置、图像处理方法和程序制造方法及图纸

本发明专利技术涉及图像处理装置、图像处理方法和程序。一种图像处理装置包括：图像概率模型生成单元，其计算作为成像设备的所捕捉图像的分区的局部区域单位内的特征量，并生成由计算出的特征量形成的图像概率模型，该图像概率模型指示每一个无噪声像素值的生成概率；存储器，其存储从取决于成像单元的噪声特性信息生成的噪声概率模型，该噪声概率模型指示在生成给定的无噪声像素值的情况下生成给定有噪声像素值的条件概率；和贝叶斯估算单元，其通过应用了图像概率模型和噪声概率模型的贝叶斯估算处理来生成所捕捉图像的噪声被降低的已降噪图像。

【技术实现步骤摘要】

本专利技术涉及图像处理装置、图像处理方法和程序。更详细地说，本专利技术涉及对图像中包括的噪音执行降噪处理的图像处理装置、图像处理方法和程序。
技术介绍
近年来，数码相机等的成像元件中的像素数量迅速增加，也就是像素数量已经增力口。结果是，各个像素已被小型化，由像素的小型化引起的噪音量增大已成为严重的问题。相关技术中已存在各种提议来对成像元件在图像捕获过程中其每一个像素内产生的噪音进行降噪处理。然而，存在一个问题，即便应用了相关技术的降噪技术，也没有在像素已被小型化的现代成像元件上展现出充分的效果。相关技术的降噪技术未有效发挥作用的一个原因被认为是噪声建模不充分。成像元件中产生噪音的原因很多，由各个原因引起的噪音表现也不同。利用相关技术中的降噪技术，噪音常常被建模为加性高斯噪声，其是对成像元件的噪声模型的粗略估算。相关技术中存在各种降噪处理技术，比如老式的滤波器应用处理，比如，中值滤波器或维纳(Wiener)滤波器。另外，近年来，应用双向滤波器作为降噪技术的降噪技术被广泛使用。在此,例如在1998年关于计算机视觉的IEEE国际会议的会议记录中由C.Tomasi和R.Manduchi所写的“用于灰色和彩色图像的双向滤波器”(Bilateral Filtering forGray and Color Images) —文中对应用双向滤波器的降噪技术进行了描述。另外，还使用了许多非局部(NL)平均技术。例如，在2005年关于计算机视觉和模式识别的IEEE国际会议的会议记录中由A-Buades，8.&)11，和丄1^0代1所写的“用于图像降噪的非局部算法”(A Non LocalAlgorithm for Image Denoising;/ ) 一文中对非局部(NL)平均技术进行了描述。在这两种降噪方法中，并未考虑噪音本身的特征的细节，且处理内容是考虑到加性高斯噪声的处理。同时，在2008年有关信号处理的第九届国际会议的会议记录中由H.Phelippeau等人所写的“散粒噪声自适应双向滤波器”(Shot Noise Adaptive BilateralFilter)和日本未经实审专利申请公开号2011-101359 图像传感器的综合噪音建模方法和使用建模方法的降噪方法”中提出了将成像元件中的噪音行为考虑在内的降噪技术。在2008年关于信号处理的第九届国际会议的会议记录中H.Phelippeau等人所写的“散粒噪声自适应双向滤波器”(Shot Noise Adaptive Bilateral Filter) —文公开了将成像元件的噪声中的光学散粒噪声考虑在内的降噪处理。另外，以上描述的日本未经实审专利申请公开号2011-101359 提议了将暗电流噪声、光学散粒噪声和固定图案噪声(fixed pattern noise)考虑在内的降噪技术。通过这些文献中描述的处理，对成像元件捕获的图像进行的降噪处理比未将噪声行为考虑在内的处理可能更有效。然而，由于以上描述的2008年关于信号处理的第九届国际会议的会议记录中H.Phelippeau等人所写的“散粒噪声自适应双向滤波器”和以上描述的日本未经实审专利申请公开号2011-101359均将双向滤波器用作降噪处理的滤波器，因此这些处理模拟了高斯噪声作为噪声。在以上描述的日本未经实审专利申请公开号2011-101359的情况下，各个噪声元素均由高斯噪声来近似，且均由用于整合各个噪声元素的高斯噪声的一个元素来近似。然而，存在一个问题，即成像元件中噪声的实际行为与高斯噪声并不相同，结果就是，实际噪声和高斯噪声之间的误差降低了噪声消除噪性能。被认为是成像元件中产生的一种噪声的随机电报噪声并不是高斯噪声，如在例如荷兰技术文摘，2006年国际电子设备会议中由X.Wang, P.R.Rao, A.Mierop和A.J.P.Theuwissen所写的“CMOS图像传感器像素中的随机电报信号”(Random telegraphsignal in CMOS image sensor pixels)中所不出的那样。此外，在日本未经实审专利申请公开号2006-310999 图像处理装置、方法和程序，，(Image Processing Device,Method,and Program)中公开了将噪声看作一种任意概率密度函数而非将其近似为具体图案的处理，其优于以上描述的技术。然而，日本未经实审专利申请公开号2006-310999的配置在使用直方图匹配执行降噪处理时存在问题。该处理将包括噪声和最初所捕捉图像信号的图像的直方图与理想噪声的直方图进行匹配，并提取原始图像信号分量，且直方图匹配前后的图像中包括的像素值的顺序不改变。然而，在噪声被叠加在实际上并不包括噪声的图像信号上的情况下，由于像素值的顺序可能改变，因此处理与实际现象并不相符。因此，存在不能充分展现噪声消除性能的问题。
技术实现思路
期望提供执行有效消除或降低图像中所包括的噪声的处理的图像处理装置、图像处理方法和程序。利用本专利技术实施例的配置，通过将噪声行为表示为复杂的概率模式来实现高性能降噪处理。另外还期望提供即便在计算资源很少的环境下，通过压缩概率模型的数据大小并使高速降噪处理成为可能而实现有效降噪的图像处理装置、图像处理方法和程序。根据本专利技术的实施例，提供了图像处理装置，其包括:图像概率模型生成单元，其计算作为成像设备的所捕捉图像的分区的局部区域单位内的特征量，并生成由计算出的特征量形成的图像概率模型，该图像概率模型指示每一个无噪声像素值的生成概率；存储器，其存储从取决于成像单元的噪声特性信息生成的噪声概率模型，该噪声概率模型指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率；和贝叶斯估算单元，其通过应用了图像概率模型和噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像。此外，在图像处理装置中，图像概率模型生成单元可包括:局部像素选择单元，其从包括降噪处理对象像素的局部区域中选择与降噪处理对象像素的像素值差值等于或小于阈值的像素作为参考像素；和局部平均值方差计算单元，其计算由局部像素选择单元选择的参考像素的平均值和方差值，其中，图像概率模型可以是由局部平均值方差计算单元的计算值形成的近似图像概率模型。此外，在图像处理装置中，储存于存储器中的噪声概率模型可以是通过应用高斯混合模型近似生成的近似噪声概率模型，高斯混合模型近似通过相加多个高斯分布来表示任意的分布。此外，在图像处理装置中，储存于存储器中的噪声概率模型可以是通过应用高斯混合模型近似而生成的近似噪声概率模型，高斯混合模型近似通过相加多个高斯分布来表示任意的分布，且高斯混合模型近似的参数可以是通过应用EM(期望最大化)算法计算出的参数。此外，在图像处理装置中，储存于存储器中的噪声概率模型可以是通过应用模拟处理数据生成的噪声概率模型，模拟处理数据虚拟地生成这样的像素值，在该像素值中由出现在成像元件的所捕捉图像上的多个噪声生成原因引起的噪声信号相重叠。此外，在图像处理装置中，图像概率模型生成单元可生成由单个正态分布形成的近似图像概率模型，储存于存储器中的噪声概率模型可以是通过应用高斯混合模型近似而生成的近似噪声概率模型，该高斯混合模型近似通过本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：图像概率模型生成单元，其计算作为成像设备的所捕捉图像的分区的局部区域单位内的特征量，并生成由计算出的特征量形成的图像概率模型，所述图像概率模型指示每一个无噪声像素值的生成概率；存储器，其存储从取决于成像单元的噪声特性信息生成的噪声概率模型，所述噪声概率模型指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率；和贝叶斯估算单元，其通过应用了所述图像概率模型和所述噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像。

【技术特征摘要】
2011.11.29 JP 2011-2610351.一种图像处理装置，包括: 图像概率模型生成单元，其计算作为成像设备的所捕捉图像的分区的局部区域单位内的特征量，并生成由计算出的特征量形成的图像概率模型，所述图像概率模型指示每一个无噪声像素值的生成概率； 存储器，其存储从取决于成像单元的噪声特性信息生成的噪声概率模型，所述噪声概率模型指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率；和贝叶斯估算单元，其通过应用了所述图像概率模型和所述噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像。2.根据权利要求1所述的图像处理装置， 其中，所述图像概率模型生成单元包括: 局部像素选择单元，其从包括降噪处理对象像素的局部区域中选择与降噪处理对象像素的像素值差值等于或小于阈值的像素作为参考像素；和 局部平均值方差计算单元，其计算由所述局部像素选择单元选择的所述参考像素的平均值和方差值， 其中，所述图像概率模型是由所述局部平均值方差计算单元的计算值形成的近似图像概率模型。3.根据权利要求1所述的图像处理装置， 其中，储存于所述存储器中的所述噪声概率模型是通过应用高斯混合模型近似所生成的近似噪声概率模型，所述高斯混合模型近似通过相加多个高斯分布来表示任意的分布。4.根据权利要求1所述的图像处理装置， 其中，储存于所述存储器中的噪声概率模型是通过应用高斯混合模型近似所生成的近似噪声概率模型，所述高斯混合模型近似通过相加多个高斯分布来表示任意的分布，以及所述高斯混合模型近似的参数是通过应用期望最大化算法计算出的参数。5.根据权利要求1所述的图像处理装置， 其中，储存于所述存储器中的噪声概率模型是通过应用模拟处理数据生成的噪声概率模型，所述模拟处理数据虚拟地生成这样的像素值，在该像素值中由出现在成像元件的所捕捉图像上的多个噪声生成原因引起的噪声信号相重叠。6.根据权利要求1所述的图像处理装置， 其中，所述图像概率模型生成单元生成由单个正态分布形成的近似图像概率模型，储存于所述存储器中的噪声概率模型是通过应用高斯混合模型近似而生成的近似噪声概率模型，所述高斯混合模型近似通过相加多个高斯分布来表示任意的分布，以及 所述贝叶斯估算单元通过应用了所述近似图像概...

【专利技术属性】
技术研发人员：野村宜邦，
申请(专利权)人：索尼公司，
类型：发明
国别省市：