图像处理和图像合成中图像数据和关联噪声模型的同时和一致的处理制造技术

本公开一个方面涉及图像处理和图像合成中图像数据和关联噪声模型的同时和一致的处理，公开了一种图像数据的处理方法，包括：获取输入原始图像数据，输入原始图像数据包含像素值y；处理输入原始图像数据；输出处理后的图像数据。获取输入数据包括从所述输入数据获取输入噪声模型；处理所述输入原始图像数据包括至少一个预处理或图像合成操作，确定反映输出数据中的噪声的输出噪声模型，以及产生统计上与输出噪声模型一致的输出原始图像数据；输出处理后的图像数据包括存储输出原始图像数据和输出噪声模型，输出原始图像数据和所述输出噪声模型一起形成输出数据，以允许将输出数据作为输入数据进行处理，使得处理适合于流水线处理。理。理。

【技术实现步骤摘要】
图像处理和图像合成中图像数据和关联噪声模型的同时和一致的处理


[0001]本专利技术属于图像处理领域，特别涉及一种图像数据的处理方法，其中所述图像数据包括噪声和信息，所述方法包括以下步骤：获取输入数据，所述输入数据包含待处理以供存储和/或发送的输入原始图像数据，所述输入原始图像数据包含用于获得图像数据的图像传感器的像素的值，处理所述输入原始图像数据，并且通过提供输出数据输出处理后的图像数据。

技术介绍

[0002]一般来说，本专利技术处于正在寻求进入越来越多的设备中的图像传感器的背景下。因此可以容易并且廉价地大量生成图像数据，而复杂的处理算法能够实现广泛的应用。
[0003]处理算法的整体性能一般在很大程度上取决于图像数据的质量。通常最好从原始图像数据，即，来自获取设备的未被改变的图像数据开始进行任何类型的处理和分析。包括但不限于将图像数据从滤色阵列转换为RGB数据或应用标准有损压缩的操作会导致重大的信息和质量损失，从而应该避免。为此，申请人以前开发了一种图像压缩技术，其中解压后的图像数据在统计上相当于未压缩的原始传感器数据，如在欧洲专利申请EP 3820150中公开的。
[0004]原始图像数据常常存在例如由图像传感器的不均匀响应或坏像素、不完美的光照、或导致失真和渐晕的不完美光学元件引起的缺陷。为了从图像处理和分析中获得更好的结果，以及在主观上更好看的图像，现有技术中已经开发了许多方法来解决这些问题。虽然这些方法在改善单个图像的外观方面相当成功，但是归因于通常认为原始图像数据的噪声包含具有非线性行为的信号相关分量的事实，这些方法不能保持图像数据的统计属性。为此，诸如像素值的缩放或者用邻域的平均值替换像素值之类的线性校正的应用修改了噪声的局部特性，使噪声在整个图像中不一致。
[0005]例如，美国专利7,683,948公开了一种用于图像处理中坏像素替换的方法，其中检测损坏的像素，并用选择的邻近像素的平均值(average)、均值(mean)、最大值或其他统计函数替换。平均值、均值或中位数的应用产生噪声水平低于预期的替换像素值，这将在同时处理序列中的几个图像时变得明显。
[0006]Seibert等人题为“Flat
‑
field correction technique for digital detectors”的文献揭示了一种用于校正传感器的非均匀响应的方法。该方法基于针对每个单独的像素测量响应曲线。然后利用线性模型近似所述曲线，从而每个像素产生两个参数。然后通过对特定于像素的响应曲线使用归一化来实现平场校正。虽然这种方法有助于改善图像的外观，但它几乎肯定会恶化图像数据的统计特性。最近，美国专利9,143,709对该方法进行了改进，以使其适合于具有非线性响应的图像传感器，但是上面提到的噪声不一致的问题仍然存在。
[0007]此外，Adobe公司的数字负片(DNG)规范认识到校正坏像素和渐晕的需要。这是通
过为这些特殊目的提供特别参数化的操作(用所谓的操作码表示)来解决的。所关注的操作码是FixVignetteRadial、FixBadPixelsConstant and FixBadPixelsList。然而，与上面引用的现有技术类似，所述实现并不寻求保持如上所述意义上的一致噪声。具体地，FixVignetteRadial通过应用径向变化的归一化来产生作用，相当于上述现有技术的方法；并且FixBadPixelsConstant和FixBadPixelsList目的在于使用插值校正坏像素，这相当于用局部平均值替换像素值。
[0008]一些现有技术也使用噪声模型进行图像处理。例如，所述DNG规范允许以DNG文件格式存储关于噪声剖面的信息。这里，主要目的是使用噪声剖面去噪。然而，大多数图像数据并未伴随有关于噪声特性的任何信息，并且由于不同量的校正和预处理，合适的噪声模型甚至可能不存在。为了直接从图像数据估计噪声参数，开发了去噪方法，比如在Azzari和Foi的文章“Variance Stabi l ization for Noisy+Estimate Combination in Iterative Poisson Denois ing”中提出的去噪方法。然而，直接从图像数据估计噪声模型往往很差，这样的技术不能可靠地用于一般的图像处理目的。
[0009]噪声模型还为除了去噪以外的其他应用，例如，使用x射线的医学成像领域带来好处，其中通过模拟可以研究不同成像形态的减少患者的辐射暴露的可能性。这里，较低的x射线剂量是以降低信噪比(SNR)为代价的，这进而只能通过使用噪声模型来逼真地模拟。Veldkamp等人在“ATechnique for Simulating the Effect of Dose Reduction on Image Qual i ty in Digital Chest Radiography”一文中公开了一种通过缩放和噪声注入的结合来模拟剂量减少的方法，其中噪声模型用于所述噪声注入。然而，就像上面提到的应用一样，噪声模型的使用在该现有应用中仍然相当有限。
[0010]最后，对于图像数据的处理和/或解释，越来越多的应用依赖于机器学习技术。然而在更传统的图像处理中，核心挑战通常是专利技术和开发合适的算法，在机器学习背景下的另一个挑战是大量高质量的训练数据的可用性。
[0011]为了通过机器学习获得可靠的结果，训练图像集必须包含在目标环境中预期的所有变化的样本，并且训练数据的量随着参数空间呈指数增长。通过引入数据扩充，即，通过在训练集中添加作为现有数据的修改版本的合成图像，部分缓解了该问题。这种修改的例子包括几何变换(旋转、平移、缩放和翻转)以及对比度和颜色的操作，或者噪声的注入。按照现有技术的这种数据扩充不包括噪声模型的使用。
[0012]总之，按照现有技术的成像缺陷的校正和合成图像的生成存在这样的缺陷：由于关注于图像的外观，它们忽略了原始图像数据的主要特性之一，即源自获取设备的基本物理原理和技术属性的信号与噪声之间非常特定的关系。打破这种关系阻止在处理算法中可靠地使用包含在图像原始数据中的噪声和/或测量不确定性，在用于机器学习的训练集中引入令人迷惑的元素，从而使得实际上不可能找到来自不同传感器的图像数据的合适且一致的归一化。

技术实现思路

[0013]本专利技术的目的
[0014]本专利技术的目的是克服上述缺点。一般来说，本专利技术的目的是提供在整个图像内维持一致的噪声模型的图像处理方法。本专利技术的另一个目标是使图像数据的用户能够获得具
有明确限定的统计属性的图像数据，并使所述统计属性可以用于它们自己的基于这些图像数据的计算和分析。
[0015]本专利技术的另一个目标是提供用于校正存在于获取硬件或条件中的各种瑕疵的图像预处理方法。
[0016]本专利技术的另一个目的是提供从现有图像数据生成合成图像数据的方法，目的在于使生成的合成图像数据非常适合于机器学习算法的训练、具有挑战性的条件下的图像处理的验证以及其他类似目的。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于处理图像数据的方法，其中所述图像数据包括噪声和信息，所述方法包括以下步骤：
‑
获取输入数据(100)，所述输入数据(100)包含待处理以供存储和/或发送的输入原始图像数据(110)，所述输入原始图像数据(110)包含用于获得图像数据的图像传感器的像素的值y，
‑
处理(130)所述输入原始图像数据(110)，
‑
通过提供输出数据(140)输出处理后的图像数据，其特征在于，获取输入数据(100)的步骤包括以下步骤：ο从所述输入数据(100)获取输入噪声模型(120)，所述输入噪声模型(120)适合于反映存在于所述输入原始图像数据(110)中的噪声，所述输入原始图像数据(110)和所述输入噪声模型(120)以将输入原始图像数据(110)链接到输入噪声模型(120)的方式一起形成所述输入数据(100)，其特征在于，处理(130)所述输入原始图像数据(110)的步骤包括以下处理操作中的至少一个：ο校正所述输入原始图像数据(110)的像素值，ο对所述输入原始图像数据(110)应用平场校正，ο对所述输入原始图像数据(110)应用光响应非均匀性的校正，ο对所述输入原始图像数据(110)应用合并和/或平均操作，ο进行所述输入原始图像数据(110)的归一化，ο对所述输入原始图像数据(110)应用取整和/或截断操作和/或整数量化，ο进行图像合成，尤其是通过基于所述输入原始图像数据(110)创建和/或添加合成图像，和/或通过调制所述输入原始图像数据(110)进行图像合成，所述处理步骤(130)还包括以下步骤：ο基于所述输入噪声模型(120)，并取决于对输入原始图像数据(110)应用的所述处理操作，确定适合于反映存在于所述输出数据(140)中的噪声的输出噪声模型(160)，和ο基于应用于输入原始图像数据(110)的所述处理操作，以及所述输入噪声模型(120)和/或所述输出噪声模型(160)，产生在统计上与所述输出噪声模型(160)一致的输出原始图像数据(150)，并且其特征在于，输出处理后的图像数据的步骤包括：ο存储和/或发送所述输出原始图像数据(150)和所述输出噪声模型(160)，所述输出原始图像数据(150)和所述输出噪声模型(160)以将输出原始图像数据(150)链接到输出噪声模型(160)的方式一起形成所述输出数据(140)，以便允许通过所述处理操作中的任一个，单独地或以其任何组合，将所述输出数据(140)作为输入数据(100)进行处理(130)，使得所述处理(130)适合于流水线处理。2.按照前一权利要求所述的方法，其特征在于，所述输入噪声模型(120)和/或所述输出噪声模型(160)由用于获得图像数据的图像传感器的给定像素的值y的平均像素值μ
y
到像素值标准偏差σ
y
的映射σ
y
(μ
y
)，平均像素值μ
y
到像素值方差的映射或平均像素值μ
y
到信噪比SNR
y
的映射SNR
y
(μ
y
)来表示。
3.按照前述权利要求之一所述的方法，其特征在于，所述输入噪声模型(120)和/或所述输出噪声模型(160)由以下表示：
‑
有限点集，所述有限点集适合于通过线性或非线性插值获得连续模型σ
y
(μ
y
)，
‑
适合于构造近似连续模型σ
y
(μ
y
)的多项式函数的一组系数，或者
‑
具有连续模型σ
y
(μ
y
)的自由参数并与所述参数的特定值结合的函数，其中σ
y
是用于获得图像数据的图像传感器的给定像素的值y与其平均值μ
y
的标准偏差。4.按照前述权利要求之一所述的方法，其特征在于，所述输入噪声模型(120)和/或所述输出噪声模型(160)适合于表示遵循泊松
‑
高斯分布的所述输入原始图像数据(110)和/或所述输出原始图像数据(150)中的噪声，泊松
‑
高斯分布由下式描述其中σ
y
是用于获得图像数据的图像传感器的给定像素的值y与其平均值μ
y
的标准偏差，σ
y.dark
是在没有光的情况下的像素值的标准偏差，μ
y.dark
是在没有光的情况下的像素值的平均值，K是增益因子。5.按照前述权利要求之一所述的方法，其特征在于，所述处理步骤(130)包括对用于获得图像数据的图像传感器的给定像素的值y应用表示噪声一致操作的变换S(y，q)，其中q是像素值减小因子，并且0＜q＜1，所述处理步骤(130)使用与输入噪声模型(120)相同的输出噪声模型(160)。6.按照前一权利要求所述的方法，其特征在于，表示噪声一致缩放操作的所述变换S(y，q)由y
′
＝q
·
y+δ(y，q)描述，其中y
′
是应用所述变换之后的校正像素值，δ是从具有平均值0和方差的正态分布采样的(伪)随机数，并且其中是对于像素值减小因子q，输出原始图像数据(150)的噪声的标准偏差σ
y
(qy)减小的因子，q＜q
′
＜1。7.按照前述权利要求4和6所述的方法，其特征在于，表示噪声一致缩放操作的所述变换S(y，q)的所述(伪)随机数δ的分布的方差由换S(y，q)的所述(伪)随机数δ的分布的方差由描述。8.按照前述权利要求1
‑
4之一所述的方法，其特征在于，所述处理步骤(130)包括对用于获得图像数据的图像传感器的给定像素的值y应用噪声不一致操作，所述处理步骤(130)使用与输入噪声模型(120)相比不同，并且与输出数据(140)的输出原始图像数据(150)的噪声一致的输出噪声模型(160)。9.按照与权利要求5
‑
7之一结合的前述权利要求1
‑
4之一所述的方法，其特征在于，在处理(130)所述输入原始图像数据(110)的步骤期间应用的所述至少一个处理操作选自包括以下处理操作的一组处理操作：ο校正所述输入原始图像数据(110)的像素值，ο对所述输入原始图像数据(110)应用平场校正，
ο对所述输入原始图像数据(110)应用光响应非均匀性的校正，所述处理操作中的每一个是通过确保输入噪声模型(120)对输出原始图像数据(150)的所有像素值保持有效，以输出噪声模型(160)与输入噪声模型(120)相同的方式应用于输入原始图像数据(110...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：多普顿股份公司，
类型：发明
国别省市：