用于自动聚焦显微镜系统的深度学习模型技术方案

计算系统从图像传感器接收位于显微镜系统的标本台上的标本的至少两个图像。所述计算系统将所述至少两个图像提供给自动聚焦模型，用于检测到标本的焦平面的至少一个距离。所述计算系统经由所述自动聚焦模型识别到所述标本的焦平面的至少一个距离。基于该识别，计算系统自动调整标本台相对于显微镜系统的物镜的位置。的位置。的位置。

【技术实现步骤摘要】
【国外来华专利技术】用于自动聚焦显微镜系统的深度学习模型
[0001]相关申请的交叉引用
[0002]本申请要求于2020年8月7日提交的美国临时申请序列号63/062,592的优先权，其全部内容通过引用并入本文。

技术介绍

[0003]寻找焦平面对成像系统很重要。在正确的焦平面上，所有感兴趣的特征都清晰可见并具有高对比度。在显微镜中，通常通过使用对比度评分度量来评估图像的聚焦程度，并使用Z轴搜索算法来将系统引导到具有较高对比度评分的图像，从而完成寻找该平面。然而，由于在较宽的Z轴范围内收集和评估大量图像，该聚焦过程可能会很耗时。此外，识别给定样品的最佳对比度评分度量是一项非常重要的任务。例如，在标本检验领域，这些挑战可能会阻碍高通量生产目标的实现，这些目标涉及对大量标本的检验，这些检验需要关注每一个标本的多个位置。在另一个示例中，在光敏生物样品的检验领域中，由于在对样品进行传统聚焦期间长时间曝光，可能会发生样品的光漂白。

技术实现思路

[0004]在一些实施例中，本文公开了显微镜系统。显微镜系统包括用于对标本成像的光学系统和用于使光学系统自动聚焦的焦点检测系统。光学系统包括物镜和被配置为在成像期间支撑标本的标本台。焦点检测系统包括计算系统，该计算系统包括处理器和存储器。存储器上存储有编程代码，当编程代码由处理器执行时，使计算系统执行操作。该操作包括由计算系统从光学系统接收定位在标本台上的标本的至少两个图像。该操作还包括由计算系统向自动聚焦模型提供至少两个图像，以检测到标本的焦平面的至少一个距离。该操作还包括经由自动聚焦模型识别到标本的焦平面的至少一个距离。该操作还包括，由计算系统基于识别自动调整标本台相对于显微镜系统的物镜的位置。
[0005]在一些实施例中，本文公开了一种方法。计算系统从图像传感器接收位于显微镜系统的标本台上的标本的至少两个图像。计算系统将至少两个图像提供给自动聚焦模型，用于检测到标本的焦平面的至少一个距离。计算系统经由自动聚焦模型识别到标本的焦平面的至少一个距离。基于该识别，计算系统自动调整标本台相对于显微镜系统的物镜的位置。
[0006]在一些实施例中，本文公开了一种非暂时性计算机可读介质。非暂时性计算机可读介质包括一个或更多个指令序列，当指令序列由处理器执行时，使计算系统执行操作。该操作包括由计算系统从图像传感器接收定位在显微镜系统的标本台上的标本的至少两个图像。该操作还包括由计算系统向自动聚焦模型提供至少两个图像，以检测到标本的焦平面的至少一个距离。该操作还包括经由自动聚焦模型识别到标本的焦平面的至少一个距离。该操作还包括由计算系统基于识别自动调整标本台相对于显微镜系统的物镜的位置。
附图说明
[0007]为了能够详细理解本公开的上述特征的方式，可以通过参考实施例(附图中示出了其中一些实施例)来对(上面简要概括的)本公开进行更具体的描述。然而，要注意的是，附图仅示出了本公开的典型实施例，因此不应被视为限制本公开的范围，因为本公开可以承认其他同等有效的实施例。
[0008]图1示出了根据示例实施例的示例性显微镜系统。
[0009]图2示出了根据示例实施例的自动聚焦模型的架构。
[0010]图3是示出了根据示例实施例的自动聚焦显微镜系统的方法的流程图。
[0011]图4A示出了根据示例实施例的系统总线计算系统架构。
[0012]图4B示出了根据示例实施例的具有芯片组架构的计算机系统。
[0013]为了便于理解，在可能的情况下，已使用相同的附图标记来指示图中共有的相同元件。预期在一个实施例中公开的元件可以有益地用于其他实施例而无需具体叙述。
具体实施方式
[0014]聚焦是显微镜系统的一项重要功能，自20世纪70年代以来，对自动聚焦的研究一直在进行。探索到的不同的解决方案分为两类——使用附接在显微镜上的特殊硬件来使系统聚焦的硬件自动聚焦，以及使用根据图像数据运行的算法来使系统聚焦的软件自动聚焦。
[0015]商用硬件自动聚焦系统通常利用共焦位移配置中的激光或白光来确定对焦位置。虽然这些系统准确且快速，但可能非常昂贵，需要适当地反射样品，并可能导致成像伪影。已经提出了几种其他基于硬件的聚焦方法，这些方法需要较便宜的硬件来执行聚焦，使用通过用相位传感器获取的数据，然后应用深度强化学习来预测聚焦距离，计算在相干发光二极管(light
‑
emitting diode,LED)照明下拍摄的散焦图像的傅里叶变换，然后使用全连接傅里叶神经网络来预测焦点。虽然更经济，但这两种方法都需要安装额外的硬件，这需要相位传感器和LED图案照明器。在某些系统中安装这样的硬件可能是不可行的。本系统不需要额外的硬件。
[0016]另一方面，软件算法通过实时调整Z轴、通过获取在不同Z轴位置的图像并执行计算，来执行对最佳焦平面的搜索。这种对原始图像的计算(也称为评分)计算允许量化图像的聚焦程度的度量。典型地，焦点分数是通过将边缘检测内核(如Sobel内核)应用于图像中的每一个像素并对像素值求和而计算出的对比度度量。结合评分度量，可以使用几种不同的搜索算法来识别正确的焦平面。可以采用线性或二进制搜索来在预定义搜索窗口内找到焦平面。替代地，可以使用抛物线搜索来消除对预定义搜索窗口的要求。该算法假设焦点分数函数是抛物线，然后计算分数函数的导数以估计焦点分数抛物线的峰值。在具有良好信噪比和足够数量的边缘特征的图像中，对比度评分函数可以精确地确定焦平面。然而，通过移动显微镜卡盘(chuck)和获取图像来执行搜索算法可能是耗时的。
[0017]为了克服传统聚焦算法的时间限制，本文所述的一种或更多种技术利用相隔较短距离(例如，在z方向)拍摄的至少两个图像，在单次自动对焦(one shot)中预测到焦平面的偏移距离。例如，本文描述的一种或更多种技术可以使用回归卷积神经网络(convolutional neural network，CNN)模型，该模型根据来自标本样品的不同X、Y和Z轴位
置的数据进行训练。由于这种方法预测单次自动对焦中的对焦距离，而无需扫描z轴，因此它与经典方法相比要快得多。即使使用有限的输入数据，本方法也能以非常高的精度找到焦点距离的偏移。在一些实施例中，对比度度量可用于验证预测位置在景深内。在一些实施例中，例如当未到达焦平面时，可以重复该过程或执行精细聚焦算法以校正任何误差。
[0018]在一些实施例中，至少两个图像可能仅在其Z轴位置上不同。在一些实施例中，至少两个图像在其X、Y轴位置上可以另外不同。在这样的实施例中，自动聚焦模型可以预测在某一点处到焦平面的偏移距离。这种方法可以允许在X和Y方向上移动，同时等待Z轴移动，这可以允许更快地获取标本上多个点处的估计焦点位置。
[0019]在一些实施例中，根据所分析的标本，可以在多个水平重复该过程。在一些实施例中，这样的操作可以应用于具有多个焦平面的标本，从而允许一致地选择标本内的特定焦平面。
[0020]在一些实施例中，该过程可应用于明场成像和暗场成像两者。在本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种显微镜系统，包括：光学系统，用于对标本成像，所述光学系统包括物镜和被配置为在成像期间支撑所述标本的标本台；以及焦点检测系统，用于使所述光学系统自动聚焦，所述焦点检测系统包括计算系统，该计算系统包括处理器和存储器，所述存储器上存储有编程代码，当所述编程代码由所述处理器执行时，使所述计算系统执行包括以下的操作：由所述计算系统从所述光学系统接收定位在所述标本台上的所述标本的至少两个图像；由所述计算系统将所述至少两个图像提供给自动聚焦模型，用于检测到所述标本的焦平面的至少一个距离；经由所述自动聚焦模型识别到所述标本的焦平面的所述至少一个距离；以及由所述计算系统基于所述识别自动调整所述标本台相对于所述显微镜系统的物镜的位置。2.根据权利要求1所述的显微镜系统，其中，由所述计算系统从所述光学系统接收定位在所述显微镜系统的标本台上的所述标本的至少两个图像包括：在第一z位置处接收所述至少两个图像中的第一图像；以及在第二z位置处接收所述至少两个图像中的第二图像。3.根据权利要求2所述的显微镜系统，其中，当所述第一z位置不同于所述第二z位置时，所述标本台的x位置和y位置保持不变。4.根据权利要求1所述的显微镜系统，其中，经由所述自动聚焦模型识别到所述标本的焦平面的所述至少一个距离包括：生成到所述焦平面的距离范围，其中，所述距离范围包括到所述焦平面的实际距离。5.根据权利要求1所述的显微镜系统，其中，由所述计算系统从所述光学系统接收定位在所述显微镜系统的标本台上的所述标本的至少两个图像包括：在所述标本的第一焦平面处接收至少一个图像；以及在所述标本的第二焦平面处接收至少一个图像。6.根据权利要求5所述的显微镜系统，其中，经由所述自动聚焦模型识别到所述标本的焦平面的所述至少一个距离包括：识别到所述标本的第一焦平面的至少一个第一距离；以及识别到所述标本的第二焦平面的至少一个第二距离。7.根据权利要求1所述的显微镜系统，其中，由所述计算系统自动调整所述标本台相对于所述显微镜系统的物镜的位置包括：使所述显微镜系统的驱动机构调整所述标本台和所述物镜之间的距离。8.一种方法，包括：由计算系统从图像传感器接收定位在显微镜系统的标本台上的标本的至少两个图像；由所述计算系统将所述至少两个图像提供给自动聚焦模型，用于检测到所述标本的焦平面的至少一个距离；经由所述自动聚焦模型识别到所述标本的焦平面的所述至少一个距离；以及由所述计算系统基于所述识别自动调整所述标本台相对于所述显微镜系统的物镜的
位置。9.根据权利要求8所述的方法，其中，由所述计算系统从所述图像传感器接收定位在所述显微镜系统的标本台上的所述标本的至少两个图像包括：在第一z位置处接收所述至少两个图像中的第一图像；以及在第二z位置处接收所述至少两个图像中的第二图像。10.根据权利要求9所述的方法，其中，当所述第一z位...

【专利技术属性】
技术研发人员：丹尼斯，
申请(专利权)人：纳米电子成像有限公司，
类型：发明
国别省市：