用于生成增强图像的高内涵成像系统及其操作方法技术方案

一种高内涵成像系统包括载物台、控制器、机器学习系统和图像生成器。控制器接收包括输出成像配置的请求，并且作为响应，控制器：(1)选择与输出成像配置相关联的训练模型、(2)确定与训练模型相关联的输入成像配置、以及(3)根据输入成像配置来配置高内涵成像系统。使用训练模型配置机器学习系统，使得当向机器学习系统提供使用输入成像配置获取的图像时，机器学习系统根据输出成像配置生成输出图像。图像生成器生成载物台上的样本的图像并将生成的图像提供给机器学习系统，并且作为响应，机器学习系统根据输出成像配置生成输出图像。学习系统根据输出成像配置生成输出图像。学习系统根据输出成像配置生成输出图像。

【技术实现步骤摘要】
【国外来华专利技术】用于生成增强图像的高内涵成像系统及其操作方法
[0001]相关申请
[0002]本申请要求于2019年10月24日提交的美国临时申请No.62/925,554的优先权的权益，其全部内容通过引用并入本文。


[0003]本主题涉及显微镜系统，并且更具体地，涉及用于生成增强图像的高内涵(high
‑
content)成像系统和操作这种系统的方法。

技术介绍

[0004]高内涵成像系统(HCIS)可以用于获得一种或多种生物样本(例如DNA、蛋白质、细胞等)的显微图像。可以将(一个或多个)生物样本置于具有孔(well)的二维图案的微孔板(microplate)的这种孔中。这种微孔板通常有96或384个孔，但可能有更多或更少的孔。为了获取设置在这种微孔板中的(一个或多个)生物样本的图像，HCIS的自动聚焦系统聚焦在微孔板的每个孔或其一部分上并获取图像。为了开发特定孔中的(一个或多个)生物样本的高分辨率图像，成像传感器可以相对于孔的不同部分进行定位，聚焦在这样的部分上，并获取图像。可以组合(例如连接)这些不同部分的图像以产生整个孔的图像。此外，HCIS可以开发孔的多个图像，其中使用不同的成像配置来捕获多个图像中的每一个。这种成像配置指定了在捕获图像时使用的照明源、设置在孔(或其部分)和成像传感器之间的光路中的一个或多个滤光器等。
[0005]应该清楚的是，将重复的上述聚焦和定位操作与对板进行扫描相结合以产生高分辨率图像可能需要大量时间。此外，如果必须成像多个微孔板、或者如果HCIS的用户必须在成像过程中验证和/或调整样本的定位和/或HCIS的焦点，则这种时间会显著增加。此外，通常可以使用接收由HCIS生成的图像的计算机来应用诸如去卷积、降噪等图像处理操作，这进一步增加了从HCIS产生适合进一步分析的(一个或多个)生物样本的图像所必需的时间量。

技术实现思路

[0006]根据一个方面，一种高内涵成像系统包括：适于在其上设置样本的载物台、控制器、机器学习系统和图像生成器。控制器接收包括输出成像配置的规范的请求，并且作为响应，控制器：(1)选择与输出成像配置相关联的训练模型，(2)确定与训练模型相关联的输入成像配置，以及(3)根据输入成像配置来配置高内涵成像系统。使用训练模型来配置机器学习系统，使得当向机器学习系统提供根据输入成像配置获取的图像时，机器学习系统根据输出成像配置生成输出图像。图像生成器生成设置在载物台上的样本的图像，自动将生成的图像提供给机器学习系统，并且作为响应，机器学习系统根据输出成像配置生成输出图像。
[0007]根据另一方面，一种操作高内涵成像系统的方法，该高内涵成像系统包括可以在
其上设置样本的载物台、机器学习系统和图像生成器，该方法包括步骤：由一个或多个处理器接收包括输出成像配置的规范的请求。该方法还包括步骤：由一个或多个处理器选择与输出成像配置相关联的训练模型；响应于接收到请求，由一个或多个处理器确定与训练模型相关联的输入成像配置；以及由一个或多个处理器根据输入成像配置来配置高内涵成像系统。此外，该方法包括使用训练模型开发在一个或多个处理器上操作的经过训练的机器学习系统，使得当向经过训练的机器学习系统提供根据输入成像配置获取的图像时，经过训练的机器学习系统根据输出成像配置生成输出图像。该方法包括以下额外的步骤：使用一个或多个处理器和图像捕获器件自动生成设置在载物台上的样本的图像；将样本的图像自动提供给经过训练的机器学习系统；并且操作经过训练的机器学习系统响应于接收到样本的图像来根据输出成像配置自动产生输出图像。
[0008]在考虑以下详细描述和附图后，其它方面和优点将变得清楚，其中在整个说明书中，相同的附图标记表示相同的结构。
附图说明
[0009]图1是根据本公开的高内涵成像系统(HCIS)的示意图；
[0010]图2是图1的HCIS的控制器为生成输出图像而采取的步骤的流程图；
[0011]图3是图1的HCIS的机器学习系统训练器采取的步骤的流程图；
[0012]图4是由图1的HCIS的控制器为自动生成其中装载的多个微孔板的图像而采取的步骤的流程图；以及
[0013]图5是图1的HCIS的机器学习系统的示意图。
具体实施方式
[0014]如下文详细描述的，根据本公开的高内涵成像系统(HCIS)包括其上可以设置样本或具有样本的微孔板的载物台、一个或多个照明源、一个或多个物镜、一个或多个滤光器、聚焦装置、成像传感器、机器学习系统、控制器、和可以与机器学习系统一起使用的一个或多个机器学习系统训练模型。每个训练模型都与输入成像配置和输出成像配置相关联，并且包括配置和训练未经训练的机器学习系统(例如神经网络或其它深度学习系统)所必需的数据。例如，如果未经训练的机器学习系统是神经网络，则训练模型包括关于一个或多个卷积层、一个或多个神经元层、以及它们之间的一个或多个池化层的互连的参数。训练模型还包括与这些层相关联的缩放因子、内核权重等。
[0015]可以用特定训练模型配置未经训练的机器学习系统，以开发经过训练的机器学习系统。此后，当向经过训练的机器学习系统提供在用与特定训练模型相关联的输入成像配置配置HCIS时捕获的输入(或源)图像时，机器学习系统产生输出(或目标)图像，该输出(或目标)图像表示如果已经用与特定训练模型相关联的输出成像配置配置HCIS则将会生成的图像。
[0016]在操作期间，用户使用与HCIS通信的计算机向HCIS的控制器发送请求，以产生设置在其中的微孔板的孔中的生物样本的输出图像。此类请求可以包括在产生图像时使用的输出成像配置的规范，并且识别例如物镜、分辨率、照明源、一个或多个滤光器、聚焦精度、和/或应该在输出图像中校正的成像像差或伪影的类型。这种像差/伪影校正可以包括校正
物镜的场曲、图像去卷积，以提高对比度和/或分辨率等。
[0017]控制器分析输出图像规范并选择与这种输出图像规范相关联的训练模型。然后控制器确定与所选训练模型相关联的输入图像规范，用训练模型配置未经训练的机器学习系统以产生经过训练的机器学习系统，根据输入成像配置来配置HCIS，并捕获图像。控制器将捕获的图像作为输入提供给经过训练的机器学习系统，经过训练的机器学习系统生成输出图像，该输出图像表示如果已使用输出成像配置来配置HCIS则将会捕获的图像，并且控制器将HCIS生成的输出图像传输到用户的计算机。
[0018]在一些实施例中，训练模型可以与需要安装在HCIS中的第一组物理组件(例如物镜、照明源等)的输入配置和需要第二组物理组件的输出配置相关联，第二组物理组件中的一些可以不存在于HCIS中。如果用这种训练模型来配置HCIS的未经训练的机器学习系统，以开发经过训练的机器学习系统，则HCIS(具有经过训练的机器学习系统)将从使用第一组物理组件获取的输入图像产生输出图像，该输出图像表示利用第二组物理组件将会获取的图像。因此，例如，在这种实施例中，HCIS能够产生输出图像，如同HCIS包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种高内涵成像系统，包括：载物台，所述载物台适于在所述载物台上设置样本；控制器，所述控制器接收包括输出成像配置的规范的请求，并且作为响应，所述控制器：(1)选择与所述输出成像配置相关联的训练模型、(2)确定与所述训练模型相关联的输入成像配置、以及(3)根据所述输入成像配置来配置所述高内涵成像系统；图像生成器，所述图像生成器根据所述输入成像配置生成设置在所述载物台上的所述样本的图像；和机器学习系统，所述机器学习系统自动接收由所述图像生成器生成的所述样本的图像，并且作为响应，自动生成输出图像，其中使用所述训练模型来配置所述机器学习系统，使得当向所述机器学习系统提供根据所述输入成像配置获取的输入图像时，所述机器学习系统根据所述输出成像配置来生成输出图像。2.根据权利要求1所述的高内涵成像系统，其中所述机器学习系统包括机器学习系统控制器和多个图形处理单元，并且所述机器学习系统控制器从图像生成器接收所生成的图像，并作为响应，自动选择所述多个图形处理单元中的一个来生成所述输出图像。3.根据权利要求1所述的高内涵成像系统，还包括多个训练模型的数据库，其中所述控制器接收包括另一输出成像配置的另一请求，所述控制器确定所述多个训练模型都不与所述另一输出成像配置相关联，并且作为响应，所述控制器根据所述另一输出成像配置来配置所述高内涵成像系统。4.根据权利要求1所述的高内涵成像系统，还包括接收另一输入成像配置和另一输出成像配置的机器学习系统训练器，并且所述机器学习系统训练器训练所述机器学习系统，以在提供有使用所述另一输入成像配置获取的另一输入图像时，根据所述另一输出成像配置来开发另一输出图像。5.根据权利要求5所述的高内涵成像系统，其中所述机器学习系统训练器指示所述图像生成器使用所述另一输入成像配置来产生设置在所述载物台上的训练样本的多个训练图像、并且使用所述另一输出成像配置来产生所述训练样本的多个地面实况图像。6.根据权利要求1所述的高内涵成像系统，其中所述控制器自动指示所述图像生成器根据所述输入成像配置来自动生成设置在设置于所述载物台上的微孔板中的多个样本的多个输入图像，并且自动指示所述机器学习系统根据所述输出成像配置来从所述多个输入图像中的每一个自动生成输出图像。7.根据权利要求6所述的高内涵成像系统，还包括机器人微孔板装载器，其中所述控制器指示：(1)所述机器人微孔板装载器在已经生成所述多个输入图像后将另一微孔板装载到所述载物台上；(2)所述图像生成器自动生成所述另一微孔板的另一多个输入图像；以及(3)所述机器学习系统从所述输入图像自动生成另一多个输出图像。8.根据权利要求1所述的高内涵成像系统，其中所述控制器指示：(1)所述图像生成器根据所述输入成像配置来开发在不同焦点处获得的所述样本的一系列输入图像；以及(2)将所述一系列图像同时提供给所述机器学习系统，以根据所述输出成像配置来生成一系列输出图像。9.根据权利要求1所述的高内涵成像系统，还包括执行以下各项中的至少一个的图像处理器：(1)在将所生成的图像作为输入提供给所述机器学习系统之前，对所生成的图像进
行图像处理，以及(2)对由所述机器学习系统开发的所述输出图像进行图像处理。10.根据权利要求1所述的高内涵成像系统，其中所述输入成像配置指定存在于所述高内涵成像系统中的第一组物理组件，并且所述输出成像配置指定第二组物理组件，其中所述第二组物理组件中的至少一个不存在于所述高内涵成像系统中。11.一种操作高内涵成像系统的方法，所述高内涵成像系统包括可在其上设置样本的载物台和图像生成器，所述方法包括以下步骤：由一...

【专利技术属性】
技术研发人员：阿夫鲁，
申请(专利权)人：分子装置有限公司，
类型：发明
国别省市：