实时自动聚焦扫描制造技术

本文涉及实时自动聚焦。在一个实施方案中，一种扫描设备包括成像传感器、聚焦传感器、物镜和被配置成分析由所述成像传感器和聚焦传感器捕获的图像数据并移动所述物镜的处理器。通过为样品上的点和样品上的多个区域中的每一个区域确定所述物镜的真Z值，来实现样品扫描期间的实时自动聚焦。所述真Z值和/或由此计算的表面用于确定所述样品的未扫描区域的预测Z值。在未扫描区域开始处，所述物镜被调整到所述预测Z值。在扫描所述区域之后，为所述区域确定真Z值，并将所述真Z值与所述预测Z值进行比较。如果比较结果超过预定阈值，则启动对所述区域的重新扫描。

Real time auto focus scanning

【技术实现步骤摘要】
【国外来华专利技术】实时自动聚焦扫描相关申请的交叉引用本申请要求2017年9月29日提交的美国临时专利申请号62/566,155的优先权，该申请通过引用结合于此，如同完整阐述一样。本申请涉及2016年9月23日提交并作为国际专利公开号WO/2017/053891公开的国际专利申请号PCT/US2016/053581，其通过引用结合于此，如同完整阐述一样。
技术介绍

本公开总体上涉及数字病理学，并且更具体地涉及数字载片扫描设备的实时自动聚焦。相关技术数字病理学是通过计算机技术实现的基于图像的信息环境，所述计算机技术允许管理从物理载片生成的信息。数字病理学部分地通过虚拟显微术实现，虚拟显微术是扫描物理玻璃载片上的样本并产生可在计算机监测器上存储、查看、管理和分析的数字载片图像的实践。利用对整个玻璃载片成像的能力，数字病理学领域得到了飞速发展，并且目前被认为是诊断医学在实现更好、更快和更便宜的重大疾病(例如癌症)诊断、预后和预测方面最有希望的途径之一。数字病理学行业的主要目标是减少扫描时间。通过在实际扫描期间切换到实时聚焦，可以实现减少的扫描时间。为了在实际扫描期间使用实时聚焦获得高质量的聚焦图像数据，扫描装置必须能够确定物镜的下一个Z值(例如，物镜与样本之间的距离)。因此，需要一种系统和方法来克服在上述常规系统中发现的这些重大问题。
技术实现思路
在一个实施方案中，扫描设备包括成像传感器、聚焦传感器、和被配置成分析由成像传感器和聚焦传感器捕获的图像数据的处理器。聚焦传感器的各个像素沿着光路的位置对于所捕获的每一行图像数据而言是变化的，并且成像传感器的各个像素沿着光路的位置对于所捕获的每一行图像数据而言都是相同的。首先，处理器可以选择样品上的微距焦点，并通过改变物镜和样品之间的相对距离在多个图像平面处扫描包括微距焦点的单个视场。这可以通过在光路中上下移动物镜来实现。分析每个图像平面上的图像数据，以确定具有最高对比度的图像平面。使成像传感器的像素置于最高对比度图像平面处的物镜位置被称为“真Z”，并且也可以被称为物镜离样品的距离(例如，物镜的高度)，其中该距离与物镜沿着光路的可能位置范围有关。在确定了微距焦点的真Z值之后，确定样品表面上的最大距离，并且沿着横跨样品上的最大距离的线扫描一系列区域。该系列区域中的每个区域优选地是成像传感器和聚焦传感器在样品上的一组连续的视场。在一个实施方案中，一组连续的视场可以包括1,000个视场，其中每个单独的视场表示一条扫描线，并且该组视场被称为“缓冲区”。术语“缓冲区”不与任何特定数量的扫描线或任何特定物理存储段相关联，因此，缓冲区的大小可以根据例如物理存储段或扫描设备的速度而变化，其中速度可以由载物台速度或图像数据捕获速度来限定。在一个实施方案中，沿着表示样品上的最大距离的线扫描多个参考缓冲区，并且通过计算参考缓冲区中所有扫描线上的每个像素的来自聚焦传感器的对比度值和来自成像传感器的对比度值的比率，为每个参考缓冲区确定真Z值，以确定参考缓冲区的平均对比度比率向量。平均对比度比率向量包括参考缓冲区中每个像素列的平均对比度比率值。然后分析平均对比度比率向量，以确定所有像素列上的单个峰值对比度比率值，并且对应于单个峰值对比度比率值的像素位置被转换成参考缓冲区的真Z值。在一个实施方案中，在确定了微距焦点和多个参考缓冲区的真Z值之后，成像扫描从样品的一个边缘处的第一条带开始。第一条带被分成用于扫描的多个图像缓冲区。当扫描第一条带的每个图像缓冲区时，使用微距焦点、多个参考缓冲区和图像缓冲区当中最接近的真Z值(在样品上的X-Y距离)。此外，处理器开始使用微距焦点和参考缓冲区的真Z值以及在扫描相应图像缓冲区之后为每个图像缓冲区计算的真Z值来计算全局样品表面。当扫描额外条带时，如上所述确定每个图像缓冲区的真Z值，并使用所述真Z值来优化全局表面。除了全局表面之外，也使用来自附近图像缓冲区和参考缓冲区的真Z值来计算一个或多个局部样品表面。在一个实施方案中，局部表面被限制为包括来自附近缓冲区的真Z值，所述附近缓冲区在围绕下一个要扫描的图像缓冲区的2毫米L形区域内。当扫描下一个图像缓冲区时，使用局部表面(如果可用)来确定在扫描下一个图像缓冲区开始时定位物镜的预测Z值。在一个实施方案中，使用局部表面的斜率、微距焦点、多个参考缓冲区、图像缓冲区当中最接近的真Z值以及到下一个图像缓冲区的起点的距离(例如，1,000行＝0.25毫米)来确定下一个图像缓冲区的预测Z值。物镜被移动到预测Z值，使得当扫描下一图像缓冲区的第一扫描线时，物镜处于预测Z值。在扫描每个图像缓冲区之后，确定相应缓冲区的真Z值，并将用于扫描的预测Z值与真Z值进行比较。在一个实施方案中，如果真Z值和预测Z值之间的差值的绝对值大于0.9微米，则处理器通过应用重新条带化逻辑来至少重新扫描相应的图像缓冲区。或者，可以重新扫描围绕相应图像缓冲区的整个条带或多个图像缓冲区。在一个实施方案中，公开了一种数字扫描设备，其包括：位于物镜的光路中的聚焦传感器和成像传感器；处理器，其被配置为在扫描样品期间通过以下方式调整所述物镜的高度：选择样品上的微距焦点，其中所述微距焦点在所述样品的边缘的预定范围内，并且在所述样品上的最大长度的相同预定范围内；在对应于物镜的多个高度位置的多个图像平面处扫描包括微距焦点的单个图像数据视场；确定所述多个图像平面中的每一个的对比度值；识别对应于具有最高对比度值的图像平面的第一真Z值(Z1)；沿着所述样品上的最大长度扫描多个图像数据缓冲区，其中每个图像数据缓冲区包括多个扫描线并且每个扫描线包括多个像素，使得每个缓冲区包括与所述多个扫描线的数量相等数量的像素行和与所述多个像素的数量相等数量的像素列，通过以下方式确定每个缓冲区的对比度比率值：确定选定缓冲区中每个像素的对比度比率值；确定所述选定缓冲区中每列像素的平均对比度比率值；以及基于所述选定缓冲区中每列像素的平均对比度比率值来确定所述选定缓冲区的对比度比率值；识别对应于每个缓冲区的每个对比度比率值的多个额外真Z值(Z2-Zn)；将真Z值(Z1-Zn)与包括微距焦点的相应缓冲区或视场的对应X-Y位置信息一起存储；确定所述样品的要进行图像扫描的下一部分的X-Y位置；基于所确定的X-Y位置和所存储的X-Y位置的比较来识别最接近的真Z值；调整物镜的高度位置，以在所述样品的要进行图像扫描的下一部分的开始位置处到达对应于最接近的真Z值的图像平面。该过程还可以被配置为：确定样品的第一部分的后Z值，其中样品的第一部分近来以真Z值被扫描；将样品的第一部分的后Z值与扫描样品的第一部分时的真Z值进行比较；如果后Z值和真Z值之间的差值大于预定值，则启动对样品的第一部分的重新扫描。在一个实施方案中，公开了一种方法，其包括：选择样品上的微距焦点，其中所述微距焦点在所述样品的边缘的预定范围内，并且在所述样品上的最大长度的相同预定范围内；在对应于物镜的多个高度位置的多个图像平面处扫描包括微距焦点的单个图像数据视场；确定所述多个图像平面中的每一个的对比度值；识别本文档来自技高网...

【技术保护点】
1.一种数字扫描设备，其包括：/n物镜；/n聚焦传感器和成像传感器，其位于所述物镜的光路中，以感测所述物镜的视场；和/n至少一个处理器，其被配置为在扫描样品期间通过以下方式调整所述物镜的高度：/n选择样品上的微距焦点，其中所述微距焦点在所述样品的边缘和表示所述样品上的最大长度的线两者的预定范围内，/n使用所述聚焦传感器扫描包括所述微距焦点的单个视场，以获取图像数据，所述图像数据包括在对应于所述物镜距所述样品的多个距离位置的多个图像平面处的所述微距焦点，/n确定所述多个图像平面中的每一个的对比度值，/n识别真Z值Z1，其指示所述物镜的距离位置，在所述距离位置处，针对所述微距焦点具有最高对比度值的图像平面对应于所述成像传感器的图像平面，/n沿着表示所述样品上的所述最大长度的所述线扫描多个区域，以获取图像数据的多个缓冲区，其中每个缓冲区包括多个扫描线并且每个扫描线包括多个像素，使得每个缓冲区包括与所述多个扫描线的数量相等数量的像素行和与每个扫描线内的所述多个像素的数量相等数量的像素列，/n确定所述多个缓冲区中的每一个的对比度比率值，/n识别对应于针对所述多个缓冲区所确定的对比度比率值的多个额外真Z值Z2-Zn，其中对于所述多个缓冲区中的相应一个缓冲区，每个额外真Z值指示所述物镜的距离位置，在所述距离位置处所述成像传感器的所述图像平面具有峰值对比度，/n将所有的真Z值Z1-Zn与相应的位置信息一起存储，其中Z1的位置信息指示所述微距焦点的位置，并且其中Z2-Zn中的每一个的位置信息指示所述多个缓冲区中的相应一个的位置，/n确定所述样品的要扫描的区域的位置，/n基于针对所述真Z值Z1-Zn所确定的位置和所存储的位置信息来识别与所述样品的所述区域最接近的真Z值，/n至少部分地基于所述最接近的真Z值来确定所述样品的所述区域的预测Z值，以及/n在开始扫描所述样品的所述区域时，基于所述预测Z值来调整所述物镜与所述样品之间的距离。/n...

【技术特征摘要】
【国外来华专利技术】20170929 US 62/566,1551.一种数字扫描设备，其包括：
物镜；
聚焦传感器和成像传感器，其位于所述物镜的光路中，以感测所述物镜的视场；和
至少一个处理器，其被配置为在扫描样品期间通过以下方式调整所述物镜的高度：
选择样品上的微距焦点，其中所述微距焦点在所述样品的边缘和表示所述样品上的最大长度的线两者的预定范围内，
使用所述聚焦传感器扫描包括所述微距焦点的单个视场，以获取图像数据，所述图像数据包括在对应于所述物镜距所述样品的多个距离位置的多个图像平面处的所述微距焦点，
确定所述多个图像平面中的每一个的对比度值，
识别真Z值Z1，其指示所述物镜的距离位置，在所述距离位置处，针对所述微距焦点具有最高对比度值的图像平面对应于所述成像传感器的图像平面，
沿着表示所述样品上的所述最大长度的所述线扫描多个区域，以获取图像数据的多个缓冲区，其中每个缓冲区包括多个扫描线并且每个扫描线包括多个像素，使得每个缓冲区包括与所述多个扫描线的数量相等数量的像素行和与每个扫描线内的所述多个像素的数量相等数量的像素列，
确定所述多个缓冲区中的每一个的对比度比率值，
识别对应于针对所述多个缓冲区所确定的对比度比率值的多个额外真Z值Z2-Zn，其中对于所述多个缓冲区中的相应一个缓冲区，每个额外真Z值指示所述物镜的距离位置，在所述距离位置处所述成像传感器的所述图像平面具有峰值对比度，
将所有的真Z值Z1-Zn与相应的位置信息一起存储，其中Z1的位置信息指示所述微距焦点的位置，并且其中Z2-Zn中的每一个的位置信息指示所述多个缓冲区中的相应一个的位置，
确定所述样品的要扫描的区域的位置，
基于针对所述真Z值Z1-Zn所确定的位置和所存储的位置信息来识别与所述样品的所述区域最接近的真Z值，
至少部分地基于所述最接近的真Z值来确定所述样品的所述区域的预测Z值，以及
在开始扫描所述样品的所述区域时，基于所述预测Z值来调整所述物镜与所述样品之间的距离。


2.如权利要求1所述的数字扫描设备，其中确定所述多个缓冲区中的每一个的对比度比率值包括确定所述缓冲区中的每列像素的平均对比度比率值，以及基于所述缓冲区中的每列像素的所述平均对比度比率值来确定所述缓冲区的对比度比率值。


3.如任一前述权利要求所述的数字扫描设备，其中所述至少一个处理器还被配置成在扫描所述样品的所述区域之后：
确定所述样品的所述区域的真Z值Znew；
确定所述样品的所述区域的真Z值Znew与所述样品的所述区域的所述预测Z值之间的差值；并且
当所述差值超过预定阈值时，启动对所述样品的所述区域的重新扫描。


4.如权利要求3所述的数字扫描设备，其中所述至少一个处理器还被配置为在扫描所述样品的多个被扫描区域之后，如果对于预定百分比的所述多个被扫描区域，所述真Z值与所述预测Z值之间的差值超过所述预定阈值，则启动对整个样品的重新扫描。


5.如权利要求3或4所述的数字扫描设备，其中所述预定阈值在0.5微米至0.9微米的范围内。


6.如权利要求3至5中任一项所述的数字扫描设...

【专利技术属性】
技术研发人员：LC陈，A奥尔森，Y邹，P纳杰马巴迪，G克兰德尔，
申请(专利权)人：徕卡生物系统成像股份有限公司，
类型：发明
国别省市：美国;US