用于对图像去噪的机器学习模型的构建单元以及使用其的系统和方法技术方案

本申请涉及用于对图像去噪的机器学习模型的构建单元以及使用其的系统和方法。在一些实例中，可训练机器学习模型以对图像去噪。在一些实例中，所述机器学习模型可至少部分地基于序列的至少一个其它图像识别所述序列的图像中的噪声。在一些实例中，所述机器学习模型可包含递归神经网络。在一些实例中，所述机器学习模型可具有包含一或多个构建单元的模块化架构。在一些实例中，所述机器学习模型可具有多分支架构。在一些实例中，可通过迭代过程识别所述噪声且从所述图像去除所述噪声。识别所述噪声且从所述图像去除所述噪声。识别所述噪声且从所述图像去除所述噪声。

【技术实现步骤摘要】
用于对图像去噪的机器学习模型的构建单元以及使用其的系统和方法
[0001]相关申请的交叉引用
[0002]本申请主张2021年3月19日申请的名称为“用于对图像去噪的模块化机器学习模型以及使用其的系统和方法(MODULAR MACHINE LEARNING MODELS FOR DENOISING IMAGES AND SYSTEMS AND METHODS FOR USING SAME)”的临时申请第63/163,678号、2021年3月19日申请的名称为“用于对图像去噪的机器学习模型的构建单元以及使用其的系统和方法(BUILDING UNITS FOR MACHINE LEARNING MODELS FOR DENOISING IMAGES AND SYSTEMS AND METHODS FOR USING SAME)”的临时申请第63/163,682号和2021年3月19申请的名称为“用于训练对图像去噪的机器学习模型的系统和方法(SYSTEMS AND METHODS FOR TRAINING MACHINE LEARNING MODELS FOR DENOISING IMAGES)”的临时申请第63/163,688号的优先权。前述申请出于任何目的以全文引用的方式并入本文中。


[0003]本申请涉及成像技术，且确切地说，涉及用于对图像去噪的机器学习模型的构建单元以及使用其的系统和方法。

技术介绍

[0004]例如聚焦离子束扫描电子显微术(FIB
‑
SEM)的成像技术的进步已实现前所未有的生物细胞的观测和分析以及生物细胞之间的交互。举例来说，使用FIB
‑
SEM，图像可具有约每像素4nm的分辨率，允许例如细胞内的细胞器的次微米级结构的观测。然而，随着分辨率增加，噪声也增加。成像模态的限制可使得难以或不可能在高分辨率下获得无噪声图像。返回到FIB
‑
SEM实例，对于纳米尺度下的分辨率，光学性质、光束变化和/或热效应的影响可不可能完全控制以消除来自图像的噪声。因此，可需要用于减少高分辨率图像中的噪声的替代性技术。

技术实现思路

[0005]根据本申请的一方面，提供一种设备。设备包括：逻辑电路，其配置成接收第一输入和第二输入，且进一步配置成提供图像的第一输出、第二输出和噪声部分；卷积器，其配置成卷积第一输入以产生第一输出；合成器，其配置成接收第一输入和第二输入以产生第二输出；噪声关注块，其配置成至少部分地基于第二输出提供噪声部分；以及加法器，其配置成组合噪声部分与图像。
[0006]根据本申请的另一方面，提供一种系统。系统包括：至少一处理器；以及处理器可存取的至少一个非暂时性媒体，所述至少一个非暂时性媒体经指令编码，所述指令在执行时致使系统实施机器学习模型，其中机器学习模型包括：多个构建单元，其中构建单元中的个别者配置成基于第二图像接收第一输入且至少部分地基于图像接收第二输入，且进一步配置成提供第一输出、第二输出和噪声部分；以及多个加法器，其配置成将由多个构建单元
提供的噪声部分组合到图像以提供输出图像。
附图说明
[0007]图1A说明用以对图像去噪的机器学习模型的实例。
[0008]图1B说明用以对图像去噪的机器学习模型的另一实例。
[0009]图2说明根据本公开的至少一个实例的对图像去噪的机器学习模型。
[0010]图3说明根据本公开的至少一个实例的图像的序列。
[0011]图4为根据本公开的实例配置的计算系统的示意性说明。
[0012]图5为根据本公开的实例的机器学习模型的功能框图。
[0013]图6为根据本公开的实例的构建单元的功能框图。
[0014]图7为根据本公开的实例的机器学习模型的功能框图。
[0015]图8为根据本公开的实例的构建单元的功能框图。
[0016]图9为根据本公开的实例的噪声关注块的功能框图。
[0017]图10为根据本公开的实例的反馈块的功能框图。
[0018]图11A为根据本公开的实例的方法的流程图。
[0019]图11B为根据本公开的实例的图11A中所展示的识别和去除的实施的流程图。
[0020]图11C为根据本公开的实例的图11A中所展示的识别和去除的实施的流程图。
[0021]图11D为根据本公开的实例的图11A中所展示的识别和去除的实施的流程图。
[0022]图12为说明根据本公开的实例的训练用以对图像去噪的机器学习模型的过程的图。
[0023]图13为根据本公开的实例的用于训练用以对图像去噪的机器学习模型的方法的流程图。
[0024]图14展示根据本公开的实例的来自验证体积的实例图像。
[0025]图15展示由各种技术去噪的实例FIB
‑
SEM图像和对应噪声曲线图。
[0026]图16展示由各种技术去噪的实例FIB
‑
SEM图像和对应噪声曲线图。
[0027]图17展示根据本公开的实例的跨树脂的输入信号与机器学习模型的层的散布图。
[0028]图18说明根据本公开的实例的应用。
具体实施方式
[0029]图像去噪为拍摄包含噪声n的图像x(例如，有噪声的图像)且将噪声与图像中的“真实”信号s分离(例如，x＝s+n)以获得具有减少或无噪声图像(例如，清洁图像)的过程。在许多应用中，噪声为随机的和/或非依赖性的(例如，一个像素处的噪声不取决于另一像素处的噪声)。现有技术尝试模型化图像中的噪声以去除所述噪声。然而，当多个源促成具有不同特性的噪声(例如，高斯噪声、泊松噪声等)时，模型化噪声可为困难的。已利用例如机器学习的人工智能(AI)技术来对图像去噪。举例来说，可训练机器学习模型以作出推断(例如，预测、估计)，所述推断可用于从图像去除噪声且输出具有减少或无噪声的“清洁”图像。
[0030]通常，训练机器学习模型包含提供训练数据集。训练可受监督或不受监督或受半监督。训练数据集用于确定机器学习模型的架构和/或其它参数。举例来说，训练数据集可
用于确定模型中的层的数目和/或应用于模型的特征向量的权重。经训练的模型接着可用于分析其它数据集以完成一或多个任务，例如响应于输入图像提供输出去噪图像。
[0031]图1A说明可用于对图像去噪的机器学习模型的实例。机器学习模型104可提供包含经标记图像对的训练数据集。所述对中的一个图像可指定为“已知有噪声的”图像100的输入，且所述对中的另一图像可指定为“已知清洁”图像102(例如，与图像100相比较，无噪声或噪声减少)的所要输出。除噪声的存在以外，图像100及图像102可相同(例如，来自相同空间和/或时间位置)。用于训练机器学习模型104的已知清洁图像102也可称为地面真值图像。
[0032]从训练集，机器学习模型104可学习识别有噪声的图像中的“真实”信号通过“识别”，意味着训练机器学习模型104以作出对提供所要输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种设备，其包括：逻辑电路，其配置成接收第一输入和第二输入，且进一步配置成提供图像的第一输出、第二输出和噪声部分；卷积器，其配置成卷积所述第一输入以产生所述第一输出；合成器，其配置成接收所述第一输入和所述第二输入以产生所述第二输出；噪声关注块，其配置成至少部分地基于所述第二输出来提供所述噪声部分；以及加法器，其配置成组合所述噪声部分与所述图像。2.根据权利要求1所述的设备，其中所述合成器包括：更新门，其配置成确定将包含在所述第二输出中的所述第一输入的量和所述第二输入的量；以及复位门，其配置成确定从所述第二输出排除的所述第一输入的量和所述第二输入的量。3.根据权利要求2所述的设备，其中所述更新门和所述复位门各自包括：第一卷积块，其配置成卷积所述第一输出；第二卷积块，其配置成卷积所述第二输入；以及算术块，其配置成组合所述第一卷积块和所述第二卷积块的输出。4.根据权利要求3所述的设备，其中所述更新门进一步包括配置成将激活函数应用于所述算术块的输出的激活块。5.根据权利要求4所述的设备，其中所述激活函数包括配置成实施S型函数的逻辑。6.根据权利要求3所述的设备，其中所述算术块包括配置成实施求和函数的逻辑。7.根据权利要求2所述的设备，其中所述合成器进一步包括电流单元，所述电流单元配置成接收所述第一输入、所述第二输入、所述更新门的输出和所述复位门的输出，其中所述第二输出至少部分地基于所述第一输出、所述更新门的所述输出和所述电流单元的输出。8.根据权利要求7所述的设备，其中所述电流单元包括：第一卷积块，其配置成卷积所述第一输出；第二卷积块，其配置成卷积所述第二输入；第一算术块，其配置成组合所述第一卷积块的输出与所述复位门的所述输出；以及第二算术块，其配置成组合所述第二卷积块的输出与所述第一算术块的输出。9.根据权利要求8所述的设备，其中所述电流单元进一步包括配置成将激活函数应用于所述第二算术块的输出的激活块。10.根据权利要求9所述的设备，其中所述激活函数包括配置成实施双曲正切函数的逻辑。11.根据权利要求8所述的设备，其中所述第一算术块包括配置成实施逐元素乘法函数。12.根据权利要求8所述的设备，其中所述第二算术块包括配置成实施求和函数的逻辑。13.根据权利要求7所述的设备，其中所述合成器进一步包括：第一算术块，其配置成组合所述第一输出与所述更新门的所述输出；单位功能块，其配置成将单位函数应用于所述更新门的所述输出；
第二算术块，其配置成组合所述电流单元的所述输出与所述单位功能块的输出；以及第三算术块，其配置成组合所述第一算术块和所述第二算术块的输出以提供所述第二输出。14.根据权利要求13所述的设备，其中所述第一算术块包括配置成实施逐元素乘法函数的逻辑。15.根据权利要求13所述的设备，其中所述第二算术块包括配置成实施逐元素乘法函数的逻辑。16.根据权利要求13所述的设备，其中所述第三算术块包括配置成实施求和函数的逻辑。17.根据权利要求1所述的设备，其中所述卷积器包括：卷积块，其配置成卷积所述第一输入；以及激活块，其配置成激活所述卷积块的输出。18.根据权利要求17所述的设备，其中所述激活块包括配置成实施双曲正切函数的逻辑。19.根据权利要求1所述的设备，其中所述噪声关注块包括：最大池块，其配置成最大集合所述第二输出的多个信道；激活块，其配置成产生关注映射；提取块，其配置成从所述多个信道提取第一信道；以及算术块，其配置成将所述第一信道与所述关注映射逐元素相乘以提供所述噪声部分。20.根据权利要求1所述的设备，其进一步包括反馈块，所述反馈块配置成组合所述第二输出与加法器块的输出。21.根据权利要求20所述的设备，其中所述反馈块包括：激活块，其配置成将激活函数应用于所述加法器块的所述输出以产生经激活输出；以及复制块，其配置成通过具有所述经激活输出的所述第二输出的第一信道进行复制。22.一种系统，其包括：至少一个处理器；以及所述处理器可接入的至少一个非暂时性媒体，所述至少一个非暂时性媒体经指令编码，所述指令在执行时致使所述系统实施机器学习模型，其中所述机器学习模型包括：多个构建单元，其中所述构建单元中的个别者配置成基于第二图像接收第一输入且至少部分地基于所述图像接收第二输入，且进一步配置成提供第一输出、第二输出和噪声部分；以及多个加法器，其配置成将由所述多个构建单元提供的所述噪声部分组合到所述图像以提供输出图像。23.根据权利要求22所述的系统，其中所述多个构建单元中的个别者包括噪声关注块，所述噪声关注块配置成至少部分地基于所述第二输出提供所述噪声部分。24.根据权利要求22所述的系统，其中所述机器学习模型进一步包括多个反馈块，所述多个反馈块配置成组合由所述多个构建单元提供的所述第二输出与所述多个加法器块的对应者的所述输出图像。
25.根据权利要求24所述的系统，其中所述多个反馈块中的至少一些的输出包括所述多个构建单元中的至少一些的所述第二输入。26.根据权利要求22所述的系统，其中所述第二输出至少部分地基于所述第一输入、所述第二输入和所述第一输出。27.根据权利要求22所述的系统，其中所述第一输出至少部分地基于所述第一输入的卷积。28.根据权利要求22所述的系统，其中所述多个构建单元的数目至少部分地基于所述图像中包含的噪声的量值。29.根据权利要求22所述的系统，其进一步包括：第二多个构建单元，其中所述构建单元中的个别者配置成基于第三图像接收第三输入和至少部分地基于所述图像接收第四输入，且进一步配置成提供第三输出、第四输出和第二噪声部分；以及第二多个加法器块，其配置成将由所述第二多个构建单元提供的所述第二噪声部分组合到所述图像以提供第二输出图像。30.根据权利要求29所述的系统，其中所述机器学习模型配置成组合所述多个加法器块中的最后一者的第一输出图像与所述第二多个加法器块的最后一者的第二输出图像以提供最终输出图像。31.根据权利要求30所述的系统，其中所述最终输出图像包括所述第一输出图像和所述第二输出图像的平均值。32.根据权利要求22所述的系统，其进一步包括配置成获取所述图像和所述第二图像的离子束扫描电子显微镜。33.根据权利要求22所述的系统，其中所述图像和所述第二图像包含在图像序列中。34.根据权利要求33所述的系统，其中所述图像序列包括从体积获取的多个图像平面。35.根据权利要求22所述的系统，其中所述构建单元中的个别者包括：更新门，其配置成确定将包含在所述第二输出中的所述第一输入的量和所述第二输入的量；复位门，其配置成确定从所述第二输出排除的所述第一输入的量和所述第二输入的量；以及电流单元，其配置成接收所述第一输入、所述第二输入、所述更新门的输出和所述复位门的输出，其中所述第二输出至少部分地基于所述第一输出、所述更新门的所述输出和所述电流单元的输出。36.根据权利要求22所述的系统，其中所述指令在执行时进一步致使所述系统确定所述输出图像中的一或多者中何...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：美光科技公司，
类型：发明
国别省市：