电子显微镜数据的人工智能(AI)辅助分析制造技术

一种计算机实现的方法，包括(i)至少将关注的真实数据集的一部分分割成切片网格，每个切片包括关注的真实数据集的一部分的真实数据子集，并且接收与从真实数据集的一部分中选择的基准真值示例相对应的一些用户选择的切片，其中所选择的切片定义了少样本类原型的支持集，(ii)使用嵌入神经网络对支持集的潜在空间表示进行编码，并且将少样本类原型定义为支持集的潜在空间表示的平均向量，以及(iii)使用嵌入神经网络，对关注的真实数据集的其他切片的潜在空间表示进行编码，并且使用少样本神经网络，将其他切片的潜在空间表示与少样本类原型进行比较，并且基于该比较，将少样本类原型的标签分配给其他切片，以识别关注的真实数据集中的与一些用户选择的切片相似的特征。据集中的与一些用户选择的切片相似的特征。据集中的与一些用户选择的切片相似的特征。

【技术实现步骤摘要】
【国外来华专利技术】电子显微镜数据的人工智能(AI)辅助分析
[0001]相关申请的交叉引用
[0002]本申请要求2020年10月8日提交的美国临时专利申请No.63/089,080的较早申请日的权益，该申请通过引用整体并入本文。


[0003]本领域是数据分析。
[0004]致谢政府支持
[0005]本专利技术是在美国能源部授予的合同DE
‑
AC0576RL01830的政府支持下完成的。政府拥有本专利技术的某些权利。

技术介绍

[0006]显微镜仪器操作人员通常会使用材料的先验知识，检查图像集或光谱集的特定特征，然后尝试基于该先验知识和在数据中发现的特征来构建描述原始材料的模型。然而，电子显微镜和其他仪器可产生巨大规模的信息，例如，以每秒数千帧收集的图像，导致操作人员没有实际的方法来手动挑选数据中的特征。
[0007]人工智能(AI)有望重塑科学探索，并且在比如储能、量子计算和生物医学等领域实现突破性发现。电子显微镜是化学和材料系统研究的基石，将从AI驱动的自动化中受益匪浅。计算机视觉和AI中的许多方法可以用来更自动地分析图像中的特征。正如人类图像中的特征可能包括脸、眼睛、嘴以及它们之间的比例等并且可以提供一个人的细节或签名(signatures)，微观材料也可以在局部规模上作为整体而富有特征，例如，晶界、缺陷、原子图案等，并可用于识别材料。许多计算机视觉方法可以很好地工作，但通常需要劳动密集型步骤来调整，这限制了它们扩展到大量数据或噪声数据的能力。
[0008]因此，目前对低层级仪器控制和可推广的特征检测的障碍使得真正自动化的显微镜检查不切实际。因此，在可以从中受益的电子显微镜检查和其他领域中仍然需要改进的AI驱动的工具。

技术实现思路

[0009]所公开的数据分析工具可以为从电子显微镜或其他仪器收集的数据的人工智能(AI)辅助分析提供柔性管道。在一些示例中，可以在数据收集期间提供接近实时的图像量化结果，并且进一步的示例可以包含来自用户的反馈，以调整性能，包括在数据收集期间。所公开的支持这些工具的方法应用了少样本机器学习技术，这些技术利用了跨越不同数据的高保真百万参数深度学习模型，而没有沉重的计算成本并且具有非常少的数据点。
[0010]所公开的示例还可包括由新兴稀疏数据分析(例如，所公开的少样本分析技术)引导的闭环仪器控制平台。由基于有限先验知识的机器学习提供信息的集中式控制器可以驱动即时实验决策。所公开的平台能够对一系列系统进行实际的自动化分析，并且为新的高通量和统计研究奠定基础。
[0011]在一些示例中，分析软件可以与仪器自动化平台并行执行，例如，通过即时适应特定应用驱动的特征识别和分类例程，以支持数据收集期间的决策制定。例如，在显微镜能够检查各种各样的样本的情况下，所公开的工具可包括高保真机器学习模型，这些模型可以推广到新样本，而不需要数百万训练数据点和数小时的GPU计算时间来重新训练。通过利用少样本学习的实践，少量训练数据被用于为新任务推广大型预训练的深度学习模型。在本文中，深度学习通常指包括多个网络层的人工神经网络。所公开的少样本方法允许近实时的模型推断，具有推广到全新样本的能力，而没有传统深度学习方法的时间和数据要求。这可以在收集数据时向显微镜操作员和其他仪器用户提供关于他们的样本的信息，这可以指导关于样本的哪些区域随后使用显微镜或其他仪器成像或采集数据的决定。
[0012]虽然所公开的技术可特别适用于实时显微镜实验，但是这些技术也可以用于许多其他仪器和应用程序。一些示例可用于生物仪器和应用程序，包括冷冻电子显微镜(Cryo
‑
EM)。所公开的技术可以在用于自动数据采集和CryoSPARC、IMAGIC、RELION的SerialEM和LEGINON软件包以及用于分割和重建后处理的许多其他商业和开源软件工具的主机中实现或与其联接。生物实验可特别受益于所公开的数据分类工具，这些工具可以被定制用于筛选任何数量的不同类型的特征、用于粒子计数以及用于可以是平台不可知的一般特征分类。许多示例可应用于材料科学领域，例如，光学显微镜、电子显微镜(例如，TEM、SEM、STEM)、聚焦离子束仪器和光谱仪器。人们迫切需要自动绘制相和微结构、粒子计数、k
‑
空间导航、剪辑生成、动态过程的物理/化学跟踪等。所公开的示例不仅可适用于发现和利用物质新特性的大学和国家实验室的研究小组，还可适用于工业过程，例如，很大程度上依赖TEM数据作为质量控制指标的硅器件行业。
[0013]从参考附图进行的以下详细描述中，所公开的技术的前述和其他目的、特征和优点将变得更加明显。
附图说明
[0014]图1A是数据采集应用程序的示例性用户界面的截图，该数据采集应用程序也显示了从链接的少样本机器学习应用程序接收的实验后或实验期间的少样本机器学习分类。
[0015]图1B是图1A中的用户界面的截图的自动化脚本部分的展开图。
[0016]图2是示出通过图形用户界面和相关联的分割统计进行的示例性类原型选择的一系列截图。
[0017]图3A至图3E示出了图像分割的示例性少样本方法的一系列图像和示意图。图3A所示的原始STO/Ge图像被分割成几个较小的切片，如图3B所示。图3C示出了如何使用来自图3B的一些用户选择的切片来表示支持集中的期望的分割类别。如图3D所示，来自图3B的每个切片然后可以充当查询(query)，且与由支持集定义的来自图3C的原型进行比较，并且根据查询和每个原型之间的最小欧几里德距离(Euclidean distance)进行分类。通过图3B至图3D分割的来自图3A的图像在图3E中示出。
[0018]图4A至图4C各自示出了一对原始图像和分割图像，例示说明了三个氧化物系统的分割性能。
[0019]图5是根据各种分割方法的分割图像结果。
[0020]图6是少样本机器学习图像分割的示例性方法的流程图。
[0021]图7是用于电子显微镜的示例性多层级操作系统的示意图。
[0022]图8是具有开环控制模式和闭环控制模式的自动化系统的流程示意图。
[0023]图9是示例性剪辑方法的流程示意图。
[0024]图10是可结合本文描述的技术使用的示例性云计算环境的示意图。
[0025]图11是可实现一些描述的示例的示例性计算系统的示意图。
具体实施方式
[0026]引言和概述
[0027]所公开的示例包括自动化电子显微镜数据收集、分诊和分类平台。基于机器学习的自动化可以在电子显微镜和其他仪器中提供无人值守的批量数据收集、分诊和分类。举例来说，电子显微镜在材料表征、告知在催化、能量存储和量子信息科学中的发展和发现方面是有用的。然而，到目前为止，显微镜中的数据收集一直是高度手动、低效和主观的，这激发了对用于更可靠、高通量的自动化和分析的新工具的需求。所公开的示例使用显微镜控制、自动化数据收集和少样本机器学习(ML)分析。Akers等人的文本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：至少将关注的真实数据集的一部分分割成切片网格，每个切片包括所述关注的真实数据集的所述一部分的真实数据子集，并且接收与从所述真实数据集的所述一部分中选择的基准真值示例相对应的一些用户选择的切片，其中，所述选择的切片定义了少样本类原型的支持集；使用嵌入神经网络对所述支持集的潜在空间表示进行编码，并且将所述少样本类原型定义为所述支持集的所述潜在空间表示的平均向量；以及使用所述嵌入神经网络，对所述关注的真实集数据的其他切片的潜在空间表示进行编码，并且使用少样本神经网络，将所述其他切片的所述潜在空间表示与所述少样本类原型进行比较，并且基于所述比较，将少样本类原型标签分配给所述其他切片，以识别所述关注的真实数据集中的与所述一些用户选择的切片相似的特征。2.根据权利要求1所述的方法，其中，对所述支持集的所述潜在空间表示进行编码包括通过具有可学习参数的嵌入函数将具有D维的所述支持集的数据转换成具有M维的所述潜在空间表示。3.根据权利要求2所述的方法，其中，所述类原型k的所述支持集S是S＝{(x1；y1)；...(x
N
；y
N
)}，其中，x
i
表示切片i，y
i
是对应的真实类标签，利用所述嵌入函数的转换通过产生转换的切片，并且包括所述类原型k的嵌入支持点的所述平均向量由下式定义：4.根据权利要求1所述的方法，其中，将所述其他切片的所述潜在空间表示与所述少样本类原型进行比较，并且基于所述比较将少样本类原型标签分配给所述其他切片包括，对于每个其他切片：计算所述切片的所述潜在空间表示和所述少样本类原型之间的欧几里德距离；使用归一化指数函数将所述距离归一化为类概率；以及将所述少样本类原型标签分配给所述切片，其中所述少样本类原型标签具有最高的类概率。5.根据权利要求1所述的方法，其中，所述方法还包括通过基于附近切片的标签对与芯片相关联的类概率进行加权来应用标签平滑。6.根据权利要求1所述的方法，其中，所述方法还包括通过调整定义所述支持集的所述切片来应用标签平滑。7.根据权利要求1所述的方法，其中，所述真实数据集包括一个或多个图像，并且所述切片网格包括子图像网格。8.根据权利要求7所述的方法，其中，基于分配有所述少样本类原型标签的芯片的百分比和面积来估计所述一个或多个图像中的特征类型的总面积。9.根据权利要求1所述的方法，其中，所述嵌入神经网络是在与所述关注的真实数据集相关或不相关的数据集上预先训练的现成神经网络。
10.根据权利要求1所述的方法，其中，所述一些用户选择的切片包括大于或等于一个并且小于或等于十个用户选择的切片。11.根据权利要求1所述的方法，其中，所述方法还包括接收与从所述真实数据集中选择的基准真值示例相对应的另外一些用户选择的切片，其中所述另外一些用户选择的芯片定义了第二少样本类原型的第二支持集，使用所述第二支持集定义第二少样本类原型，并且将所述潜在空间表示与所述第二少样本类原型进行比较，并且基于所述比较，将第二少样本类原型标签分配给芯片，以识别所述关注的真实数据集中的与所述另外一些用户选择的切片相似的特征。12.根据权利要求1所述的方法，其中，所述方法还包括响应于所述少样本类原型标签的分配，接收与从所述真实数据集中选择的基准真值示例相对应的另一组一些用户选择的切片，其中所述另一组一些用户选择的切片中的所述选择的芯片定义了另一个少样本类原型的支持集。13.根据权利要求12所述的方法，其中，所述另一组一些用户选择的切片中的所述选择的切片包括对一些用户选择的芯片的先前选择的调整。14.根据权利要求1所述的方法，其中，所述关注的真实数据集包括随时间变化的真实数据集，并且所述方法还包括在定义所述少样本类原型之后，基于在稍后的时间序列或在数据采集期间获得的数据，添加新的少样本类原型或修改所述少样本类原型。15.根据权利要求1所述的方法，其中，所述关注的真实数据集是根据第一检测模式采集的，所述方法还包括将所述少样本类原型标签分配给与第二检测模式相关联的关注的第二真实数据集的相似切片。16.根据权利要求1所述的方法，其中，所述方法还包括将具有所分配的少样本类原型标签的所述相似芯片中的一个或多个定义为与所述第二检测模式相关联的第二少样本类原型的第二支持集。17.根据权利要求1所述的方法，其中，所述关注的真实数据集是根据第一检测模式采集的，所述方法还包括：接收与从与第二检测模式相关联...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：巴特尔纪念研究院，
类型：发明
国别省市：