减少图像中的噪声制造技术

一种训练神经网络以减少图像中的噪声的方法，包括从成像设备获得多个输入图像。该方法包括通过组合各自描绘相同对象的输入图像的子集来生成多个目标图像，以减少目标图像的噪声。该方法包括生成多个训练对，其中，训练对包括目标图像之一和训练图像，该训练图像基于与目标图像之一对应的输入图像的子集中的至少一个输入图像但不是全部输入图像。该方法包括使用多个训练对来训练神经网络。

Reduce noise in images

【技术实现步骤摘要】
【国外来华专利技术】减少图像中的噪声
本专利技术涉及用于减少图像中的噪声，特别是斑点噪声的方法和装置。更具体地，本专利技术涉及减少OCT图像中的斑点噪声。
技术介绍
成像设备通常可以基于从一个或多个传感器接收的信号来生成数字图像。生成的图像包含噪声。过去已经进行了许多研究来减少所生成图像中的噪声。光学相干断层扫描(OCT)是一种非侵入性成像方式，可提供微米分辨率的生物组织和其他样品的多维图像。在最常见的配置中，OCT图像是通过两种宽带激光束的干涉形成的：一种是从静态反射镜(“参考光束”)反射而另一种是从被测样品(“样品束”)反射出来的。在OCT术语中，A扫描是指由静态样本光束获取的单个列；B扫描是指通过样品光束相对于样品沿一条线移动而获得的二维截面图像；以及C扫描是指通过样品束以专用光栅图案相对于样品移动而获得的3维立体图像。尽管技术取得了重大进步，但OCT图像仍然受到斑点噪声的影响。斑点噪声可能是由热、电、多重散射效应以及数字处理算法的复杂组合引起的。实际上，在许多应用中，重构的OCT信号的频谱能量的75％是噪声。因此，减少斑点或降噪技术是一项深入研究的问题。第一种也是最简单的方法涉及对从同一样本位置获取的多个B扫描进行平均。由于斑点噪声是随机过程的结果，并且因此是去相关的，因此，平均n次B扫描会导致信噪比(SNR)提高因子通常在最终的重建图像中执行平均，而不是在干扰信号中执行。数字去噪算法试图对采集的图像进行后处理，以减少斑点噪声的数量，而不会损害其中包含的结构信息。此类方法的示例包括中值滤波以及其他各向同性和各向异性平滑技术。2013年应用光学中的第52卷第21号中的M.R.N.阿瓦纳基等人的“使用人工神经网络算法的斑点减少(Specklereductionusinganartificialneuralnetworkalgorith)”中公开了使用人工神经网络算法的斑点降噪方法。为了训练ANN，需要使用已知sigma值的噪声图像。瑞利噪声发生器用于产生已知sigma值的噪声图像。
技术实现思路
提供一种减少通过测量技术获得的图像的噪声的改进方法将是有利的。为了解决这个问题，本专利技术的一方面提供了一种训练神经网络以减少图像中的噪声的方法，包括从成像设备获得多个输入图像；识别输入图像的子集，其中，输入图像的子集的每个输入图像描绘的对象与该子集的其他输入图像相同；生成多个目标图像，其中，通过组合子集之一的输入图像来生成目标图像以减少噪声；生成多个训练对，其中，训练对包括目标图像之一，以及训练图像，训练图像基于与所述目标图像之一对应的子集的至少一个输入图像但不是全部输入图像；以及使用多个训练对训练神经网络。如此训练的神经网络能够减少噪声，因为它可以将噪声图像映射到相应的噪声减少的图像。因为神经网络是使用训练图像来训练的，该训练图像基于成像设备实际创建的图像和作为其噪声减少的版本的目标图像，所以神经网络可以了解成像设备及其生成的噪声的特性，并相应地消除检测到的噪声。当使用本文公开的技术时，由于训练图像固有地表示相关的噪声，所以不必事先确定所生成的噪声的细节(例如标准偏差)。如果训练图像基于一个以上的输入图像，则可以通过组合输入图像的子集中的所述一个以上但不是全部输入图像来生成训练图像，以减少训练图像的噪声。这允许网络从具有训练图像(包含部分减少的噪声)的对中学习。出人意料的是，这种方法可以改善神经网络训练的效果。生成多个训练图像的步骤可以包括：基于不同数量的输入图像来生成训练图像，通过组合不同数量的输入图像以获得训练图像。多个训练对可以包括第一训练对和第二训练对，第一训练对包括基于第一数量K1个输入图像的第一训练图像，第二训练对包括基于第二数量K2个输入图像的第二训练图像，其中，第一数量K1不同于第二数量K2。被组合的可变数量的图像导致训练图像中的噪声水平可变。第一训练图像将具有与第二训练图像不同的平滑度。这导致改进的神经网络训练结果。多个训练对可以包括具有相同目标图像但是基于不同数量的输入图像的不同训练图像的训练对。因此，相同目标图像可能会出现在多个训练对中，以训练不同级别的噪声。这提供了改进的训练结果。对于每个目标图像及其对应的N个输入图像的子集，对于小于N的所有正整数K，可以基于N个输入图像的子集中的K生成训练图像。专利技术人发现这可以改善神经网络的训练结果。对于任何值K，如果存在来自N个输入图像的子集中有K个输入图像的一个以上可能选择，则可以针对N个输入图像的子集中的K个输入图像中的一个以上选择生成训练图像。专利技术人发现这可以改善神经网络的训练结果。输入图像的组合可以包括对组合的输入图像的对应值求平均。这是减少目标图像和训练图像中的噪声的有效方法。该方法可以包括在生成目标图像和训练图像之前在空间上配准子集的输入图像。这可以改善组合图像的结果。该方法可以包括在训练神经网络之前，通过添加噪声或改变训练图像的方向来增强训练图像。这可以改善网络训练的结果。可以从光学计算机断层摄影术OCT获得输入图像。本公开中描述的方法特别适合于OCT成像中的降噪。例如，输入图像的特定子集的输入图像是从单个C扫描图像提取的B扫描图像。C扫描的这些B扫描图像具有在扫描之间以最少的时间获取图像的优点。因此，可以发生较少的运动失真，这使得更容易组合图像以减少噪声。此外，除了获取B扫描之外或替代于B扫描，还可以获取M扫描。在此，M扫描是随时间的在相同点上重复的B扫描。通过组合M扫描，可以减少图像中的噪声。例如，输入图像可以描绘视网膜的至少一部分。本公开中描述的方法特别适合于视网膜成像，特别是OCT视网膜成像中的降噪。不同子集的输入图像可以包括不同受试者中相同类型的组织或相同类型的器官的图像。这允许神经网络专门用于特定类型的组织或器官类型的图像。以这种方式，噪声可能更容易与对象本身的实际特征区分开。类似地，不同子集的输入图像可以包括相同类型的不同对象的图像。获得多个输入图像可以包括从多个不同的成像设备获得输入图像。这些图像可用于与来自不同成像设备的图像创建训练对。这可以为神经网络提供设备概括的能力。使用来自多个设备的图像对训练对进行训练可能有助于发现基础图像结构中的其他信息。当不同的成像设备具有不同的能力时，也是如此。例如，从组织穿透性更好的设备中添加样本可以使神经网络改善组织穿透性较差的设备上的深层组织质量。在训练之后，该方法可以包括：从成像设备接收新图像，并将新图像作为输入图像提供给神经网络，并从神经网络获得输出图像。在这一步中，可以将经训练的神经网络应用于减少任何图像中的噪声。根据本专利技术的另一方面，提供了一种成像设备的降噪设备。该设备包括输入单元，用于从成像设备接收图像；控制单元，用于根据经训练的神经网络处理图像，以生成输出图像；以及神经网络通过以下方式创建：从成像设备获得多个输入图像；识别输入图像的子集，其中，输入图像的子集的每本文档来自技高网...

【技术保护点】
1.一种训练神经网络以减少图像中的噪声的方法，包括：/n从成像设备获得(101)多个输入图像；/n识别(101a)所述输入图像的子集，其中，输入图像的子集的每个输入图像描绘的对象与所述子集的其他输入图像相同；/n生成(104)多个目标图像，其中，通过组合所述子集之一的所述输入图像来生成目标图像以减少噪声；/n生成(105)多个训练对，其中，训练对包括/n所述目标图像之一，以及/n训练图像，所述训练图像基于与所述目标图像之一对应的所述子集的至少一个所述输入图像但不是全部所述输入图像，其中，如果所述训练图像基于一个以上输入图像，则通过组合输入图像的子集中的所述一个以上所述输入图像但不是所有所述输入图像来生成所述训练图像，以减少所述训练图像的噪声；以及/n使用所述多个训练对训练(107)神经网络。/n

【技术特征摘要】
【国外来华专利技术】20170519 EP 17172039.41.一种训练神经网络以减少图像中的噪声的方法，包括：
从成像设备获得(101)多个输入图像；
识别(101a)所述输入图像的子集，其中，输入图像的子集的每个输入图像描绘的对象与所述子集的其他输入图像相同；
生成(104)多个目标图像，其中，通过组合所述子集之一的所述输入图像来生成目标图像以减少噪声；
生成(105)多个训练对，其中，训练对包括
所述目标图像之一，以及
训练图像，所述训练图像基于与所述目标图像之一对应的所述子集的至少一个所述输入图像但不是全部所述输入图像，其中，如果所述训练图像基于一个以上输入图像，则通过组合输入图像的子集中的所述一个以上所述输入图像但不是所有所述输入图像来生成所述训练图像，以减少所述训练图像的噪声；以及
使用所述多个训练对训练(107)神经网络。


2.根据权利要求1所述的方法，其中，所述多个训练对包括第一训练对和第二训练对，所述第一训练对包括基于第一数量K1个输入图像的第一训练图像，所述第二训练对包括基于第二数量K2个输入图像的第二训练图像，其中，所述第一数量K1不同于所述第二数量K2。


3.根据权利要求2所述的方法，其中，所述多个训练对包括具有相同目标图像但是基于不同数量的输入图像的不同训练图像的训练对。


4.根据前述权利要求中任一项所述的方法，其中，对于每个目标图像及其对应的N个输入图像的子集，针对小于N的所有正整数值K1，基于所述N个输入图像的子集的K1生成训练图像。


5.根据前述权利要求中任一项所述的方法，其中，对于任何值K2，如果存在来自所述N个输入图像的子集的K2个输入图像的一个以上的可能选择，则从所述N个输入图像的子集中针对所述K2个输入图像中的一个以上选择生成训练图像。


6.根据前述权利要求中任一项所述的方法，
其中，所述输入图像的组合包括对组合后的输入图像的相应值求平均，或者
还包括在生成所述目标图像和训练图像之前在空间上配准子集的所述输入图像，或者
还包括在训练所述神经网络之前，通过添加噪声或改变所述训练图像的方向来增强所述训练图像。


7.根据前述权利要求中任一项所述的方法，其中，所述输入图像是通过光学计算机断层摄影术OCT获得的。


8.根据权利要求7所述的方法，其中，输入图像的特定子集的所...

【专利技术属性】
技术研发人员：卡洛斯·西列尔·鲁伊兹，桑德罗·德·扎内特，斯特凡诺斯·阿波斯托洛普洛斯，
申请(专利权)人：视网膜医疗股份公司，
类型：发明
国别省市：瑞士;CH