实时自动对焦聚焦算法制造技术

提供了一种数字扫描设备，所述数字扫描设备包括成像传感器和聚焦传感器以及处理器，所述处理器分析由所述成像传感器和所述聚焦传感器捕获的图像数据并在扫描操作期间实时调整所述扫描设备的焦点。所述成像传感器的各个像素相对于所述数字扫描设备的光学路径全部在同一图像平面中。所述聚焦传感器的所述各个像素相对于所述光学路径各自在不同的图像平面中，并且所述聚焦传感器的一个像素与所述图像传感器在所述同一图像平面上。所述处理器分析来自所述成像传感器和所述聚焦传感器的图像数据，并确定距离和方向以调整所述数字扫描设备的物镜和载物台的相对位置以在所述扫描操作期间实现最佳聚焦。操作期间实现最佳聚焦。操作期间实现最佳聚焦。

【技术实现步骤摘要】
实时自动对焦聚焦算法
[0001]本申请是申请日为2018年9月28日，申请号为201880062721.1，专利技术名称为“实时自动对焦聚焦算法”的专利技术专利申请的分案申请。
[0002]相关申请的交叉引用
[0003]本申请要求在2017年9月29日提交的第62/566,145号美国临时专利申请的优先权，所述美国临时专利申请据此以引用方式并入本文，如同在此充分阐述一样。
[0004]专利技术背景


[0005]本公开总体上涉及数字病理学，并且更具体地涉及数字载玻片扫描设备的实时自动聚焦。

技术介绍

[0006]数字病理学是通过计算机技术而启用的基于图像的信息环境，所述计算机技术允许管理从物理载玻片生成的信息。数字病理学是部分地由虚拟显微镜实现的，所述虚拟显微镜是扫描物理载玻片上的样品并创建可以在计算机监视器上存储、查看、管理和分析的数字载玻片图像的实践。凭借对整个载玻片进行成像的能力，数字病理学领域飞速发展并且目前被认为是诊断医学最有前途的途径之一，以便实现对诸如癌症的重疾的更好、更快、更便宜的诊断、预后和预测。
[0007]数字病理学行业的主要目标是减少扫描载玻片所需的时间。一些常规的数字扫描装置需要至少20秒预扫描处理以获取载玻片上整个样本的焦点，并从所获取的焦点创建焦平面。因此，需要一种克服如上所述的常规系统中发现的这些重大问题的系统和方法。

技术实现思路

[0008]在实施方案中，扫描设备包括成像传感器、聚焦传感器以及处理器，所述处理器被配置为分析由所述成像传感器和所述聚焦传感器捕获的图像数据。所述聚焦传感器可以倾斜，使得沿着所述聚焦传感器的各个像素的光学路径的位置对于所捕获的每一行图像数据是变化的，而沿着所述成像传感器的各个像素的光学路径的位置对于所捕获的每一行图像数据全部基本上相同。然而，当所述成像传感器和所述聚焦传感器都捕获一行图像数据时，倾斜的聚焦传感器的一个像素沿着光学路与所述成像传感器的所有像素位于同一逻辑图像平面内。沿着光学路径在逻辑图像平面内具有公共位置的这种状态称为“齐焦”。
[0009]在实施方案中，在扫描期间，所述处理器被配置为分析来自所述成像传感器和所述聚焦传感器的图像数据以确定物镜距其最佳聚焦位置(即，在所述成像传感器的成像平面与所述最佳焦平面重合时物镜的位置)的距离和方向。对于捕获的图像数据的每个像素，所述处理器可以确定来自所述聚焦传感器的图像数据的对比度值和来自所述成像传感器的图像数据的对比度值。然后，所述处理器可以针对每个像素确定所述聚焦传感器对比度值除以所述成像传感器对比度值的比率。所述处理器可以绘制所述对比度比率以生成对比
度曲线。然后，所述处理器可以识别所述对比度曲线的峰值以确定具有最高对比度值的像素。所述齐焦点也可以绘制在所述对比度曲线上。因为相对于光学路径在同一逻辑像平面内的成像传感器上的像素和聚焦传感器上的像素将具有基本上相同的对比度值，所以齐焦点将存在于所述对比度曲线上。所述对比度曲线上的齐焦点与所述对比度曲线上的峰值对比度点之间的像素距离(在本文中也称为“ΔX”)指示沿着光学路径的物理距离。该物理距离表示物镜的当前位置与物镜的最佳聚焦位置(即，沿着物镜的光学路径的最佳焦平面将与成像传感器的各个像素重合时的位置)之间的距离。从齐焦点到最高对比度点的方向(在本文中也称为“X方向”或由ΔX的正值或负值指示)指示物镜应当沿着光学路径移动的方向。应当理解，如果齐焦点与对比度曲线上的峰值对比度点相同(即，ΔX＝0)，则物镜已经处于最佳焦点位置。
[0010]在实施方案中，聚焦传感器的倾斜垂直于扫描设备的扫描方向。该倾斜是沿着聚焦传感器的轴线，所述轴线还与成像传感器对准。这种几何形状有利于区分由于组织可变性和焦点引起的对比度变化，这是因为比率方法抵消了组织变化分量并仅留下由于焦点引起的对比度变化。
[0011]在阅读以下详细说明和附图之后，本专利技术的其他特征和优点对于所属领域普通技术人员将变得更加显而易见。
附图说明
[0012]通过阅读以下详细描述和附图，将理解本专利技术的结构和操作，在附图中相同的附图标记指代相同部件，并且在附图中：
[0013]图1是示出根据实施方案的用于实时自动聚焦的示例性成像传感器的框图；
[0014]图2是示出根据实施方案的用于实时自动聚焦的示例性聚焦传感器的框图；
[0015]图3是示出根据实施方案的用于实时自动聚焦的成像传感器和聚焦传感器的示例性逻辑布置的框图；
[0016]图4是示出根据实施方案的来自成像传感器和聚焦传感器的图像数据的示例性对比度曲线的曲线图；
[0017]图5是示出根据实施方案的用于确定用于实时自动聚焦的物镜调整的距离和方向的示例性过程的流程图；
[0018]图6A是示出可以结合本文中描述的各种实施方案使用的示例性处理器启用装置的框图；
[0019]图6B是示出具有可以结合本文中描述的实施方案使用的单个线性阵列的示例性线扫描相机的框图；
[0020]图6C是示出具有可以结合本文中描述的实施方案使用的三个线性阵列的示例性线扫描相机的框图；并且
[0021]图6D是示出具有可以结合本文中描述的实施方案使用的多个线性阵列的示例性线扫描相机的框图。
具体实施方式
[0022]本文公开的某些实施方案提供了在样本的扫描期间的实时自动聚焦。在实施方案
中，可以在数字病理扫描设备中实施实时自动聚焦算法以改善受处理器控制的设备的操作。例如，本文公开的一种系统提供了处理器，所述处理器被配置为分析来自所述成像传感器和所述聚焦传感器的图像数据，并确定距离和方向以调整所述数字扫描设备的物镜和/或载物台的相对位置以在所述扫描操作期间实现最佳聚焦。在阅读本描述之后，对于所属领域技术人员而言，如何在各种可选实施方案和可选应用中实施本专利技术将变得显而易见。然而，尽管本文将描述本专利技术的各种实施方案，但是应当理解，这些实施方案仅以示例的方式而不是限制的方式呈现。因此，对各种可选实施方案的这种详细描述不应被解释为限制如所附权利要求中所阐述的本专利技术的范围或广度。
[0023]图1是示出根据实施方案的用于实时自动聚焦的示例性成像传感器10的框图。在所示实施方案中，成像传感器10包括多个像素20，其被配置为经由光学路径605感测视野。成像传感器10的像素20中的每一个相对于光学路径605基本上在同一图像平面内。如本文中所使用的，“图像平面”是与光学路径605正交的平面。
[0024]成像传感器10可以是多种传感器类型中的任何一种(例如，参见图6A至图6D)，并且可以具有各种长度和各种数量的像素20。在所示实施方案中，成像传感器10具有N个像素，所述N个像素限定成像传感器10的范围15。成像传感器10的范围15在与光学路径605正交并且在实施方案中与扫描方向正交的方向上从第一端处的像素(1)延伸到第二端处的像素(n)。在实施方案中，成像传感器10的范围15可以是约43毫米。然而，其他实施方案可以具有例如从5本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种由数字扫描设备的至少一个处理器执行的方法，所述方法包括：从成像传感器的多个成像传感器像素接收图像数据，所述成像传感器被配置成经由由物镜限定的光学路径捕获图像数据；从聚焦传感器的多个聚焦传感器像素接收图像数据，所述聚焦传感器像素位于不同的图像平面中，并且所述聚焦传感器被配置为经由所述光学路径捕获图像数据；计算所述成像传感器和所述聚焦传感器上沿所述光学路径对准并感测相同视野的多对位置的比率；以及基于所计算的比率，在扫描样本期间调整物镜和样本之间的距离。2.根据权利要求1所述的方法，其中所述成像传感器和所述聚焦传感器具有相同数量的像素。3.一种数字扫描设备，包括：物镜，其被定位用于观察样本的一部分，其中所述物镜限定光学路径；成像传感器，其包括多个成像传感器像素，所述成像传感器像素被配置为经由所述光学路径捕获图像数据；聚焦传感器，其包括多个聚焦传感器像素，所述聚焦传感器像素位于不同的图像平面并且被配置为经由所述光学路径捕获图像数据；以及处理器，被配置为：从所述成像传感器的多个成像传感器像素接收图像数据，从所述聚焦传感器的多个聚焦传感器像素接收图像数据，计算成像传感器和聚焦传感器上沿所述光学路径对准并感测相同视野的多对位置的比率；以及基于所计算的比率，在扫描样本期间调整物镜和样本之间的距离。4.根据权利要求3所述的设备，其中所述成像传感器和所述聚焦传感器具有相同数量的像素，并且其中所述成像传感器像素中的每一个沿所述光学路径与所述聚焦传感器像素中的恰好一个对准。5.根据权利要求3所述的设备，其中物镜和样品之间距离的调整是基于：对于所述成像传感器和所述聚焦传感器之间的齐焦点，将所计算的比率中在峰值和齐焦值之间的距离转换成物理距离，将所述峰值和所述齐焦值之间的方向转换成沿所述光学路径的物理方向，以及通过所述物理方向上的所述物理距离改变所述物镜和所述样品之间的距离，其中将所述峰值和所述齐焦值之间的距离转换成物理距离是基于将跨越所述峰值和所述齐焦值之间的距离的聚焦传感器像素的数量乘以相邻聚焦传感器像素之间的物理距离。6.根据权利要求3所述的设备，其中所述光学路径包括所述物镜和所述成像传感器之间的第一光学路径，以及所述物镜和所述聚焦传感器之间的第二光学路径。7.根据权利要求3所述的设备，其中所述聚焦传感器在垂直于所述数字扫描设备的扫描方向的方向上逻辑倾斜。8.根据权利要求3所述的设备，其中所述成像传感器和所述聚焦传感器的范围是相同的，并且其中所述范围在5毫米和95毫米之间。
9.根据权利要求3所述的设备，其中来自所述多个成像传感器像素和所述多个聚焦传感器像素的图像数据包括强度值。10.根据权利要求3所述的设备，其中所述成像传感器上的每个位置与所述多个成像传感器像素中的单个像素相对应，并且其中所述聚焦传感器上的每个位置与所述多个聚焦传感器像素中的单个像素相对应。11.根据权利要求10所述的设备，其中，对于所述多对位置中的每一对位置，所述处理器还被配置为：确定与所述成像传感器上的位置相对应的单个成像传感器像素的第一对比度值，确定与所述聚焦传感器上的位置相对应的单个聚焦传感器像素的第二对比度值，以及基于所述第一对比度值和所述第二对比度值计算所述比率。12.根据权利要求3所述的设备，其中，所述成像传感器上的每个位置与所述多个成像传感器像素中的两个或更多个...

【专利技术属性】
技术研发人员：A奥尔森，K萨里格拉马，Y邹，P纳杰马巴迪，
申请(专利权)人：徕卡生物系统成像股份有限公司，
类型：发明
国别省市：