多光谱显微系统和通过其配准第一图像和第二图像的方法技术方案

一种多光谱显微系统(100)，包括：第一检测器元件(118)，被配置为在第一光谱通道(114)中捕获样本(102)的第一图像；第二检测器元件(120)，被配置为在第二光谱通道(116)中捕获样本(102)的第二图像，以及处理器(128)，被配置为基于第一和第二光谱通道(114、116)之间的光谱串扰来确定第一和第二图像之间的空间相关性并基于空间相关性配准第一和第二图像。性并基于空间相关性配准第一和第二图像。性并基于空间相关性配准第一和第二图像。

【技术实现步骤摘要】
多光谱显微系统和通过其配准第一图像和第二图像的方法


[0001]本专利技术涉及一种多光谱显微系统。本专利技术进一步涉及一种通过多光谱显微系统配准第一图像和第二图像的方法。

技术介绍

[0002]多光谱显微系统通过叠加在不同光谱通道中捕获的样本的图像来生成样本的多光谱图像。叠加从不同测量中获得的图像需要图像配准。这个过程可以理解为将图像变换成共同的坐标系统。
[0003]特别是，如果多光谱显微系统的检测装置包括不同的检测器，则检测器之间的机械未对准可能在单独的测量之间发生，例如由于耦接不同检测器的机械组件的热膨胀，这也称为漂移。这种漂移使得有必要确定用于在线(即在实际测量期间)配准由不同检测器捕获的图像的变换。
[0004]通过多光谱显微系统配准图像的多种方法是已知的，它们依赖于参考样本或预定参数的使用，以便确定用于配准图像的变换。然而，由于这些已知方法依赖于在测量之前或制造期间执行的显式校准步骤，因此这些方法都不能考虑在样本实际测量期间发生的漂移。
[0005]可替代地，漂移可以通过检测器装置的无热设计来最小化，例如使用因瓦合金或其他热膨胀度低的材料。然而，这些材料价格昂贵且难以制造和加工，这导致制造成本显著增加。此外，必须对无热设计进行全面测试，从而导致更长的开发和测试时间。
[0006]因此，本专利技术的目的是提供一种多光谱显微系统和一种用于配准第一图像和第二图像的方法，其能够考虑在样本的实际测量期间发生的漂移。
[0007]上述目的通过独立权利要求的主题实现。在从属权利要求和下面的描述中定义优选实施例。

技术实现思路

[0008]提出的多光谱显微系统包括被配置为在第一光谱通道中捕获样本的第一图像的第一检测器元件、被配置为在第二光谱通道中捕获样本的第二图像的至少第二检测器元件，以及被配置为基于第一光谱通道和第二光谱通道之间的光谱串扰确定第一图像和第二图像之间的空间相关性，并基于空间相关性配准第一图像和第二图像的处理器。
[0009]特别地，第一和第二检测器元件各自包括检测器阵列，例如，CCD或CMOS元件，其被配置为捕获二维图像。
[0010]在不同的光谱通道中捕获第一和第二图像。换言之，第一和第二图像示出了由样本发射的不同的电磁波谱带。光谱串扰可能是由部分重叠的发射光谱引起的，即所谓的发射串扰，或者是由于光谱通道至少部分重叠。由于光谱串扰，存在在两个图像中都存在的图像数据。通过确定两个图像之间的空间相关性，第一和第二图像的表示相同图像数据的部分被识别。然后此信息用于确定图像平面中第一图像和第二图像之间的位置关系，从而确
定将两个图像变换到共同坐标系的变换，即配准第一图像和第二图像。
[0011]在具有宽视场检测单元，即包括传感器阵列的检测单元的典型多光谱显微系统中，图像侧数值孔径通常较低，例如0.05。因此，对于可见波长，衍射极限横向采样约为2.5μm，而焦深约为200μm。这意味着这样的系统对图像平面中的偏移比对轴向偏移敏感约100倍，因此对于确定图像平面中第一和第二图像的相对位置以便进行配准图像是足够的。
[0012]提出的多光谱显微系统使用第一和第二图像本身以确定用于配准图像的变换。因此，消除了对显式校准步骤的需要。此外，考虑了在随后捕获第一和第二图像期间发生的漂移。
[0013]提出的多光谱显微系统可以包括附加的检测器元件，每个附加的检测器元件被配置为在附加的光谱通道中捕获样本的附加图像。处理器被配置为基于所有光谱通道之间的光谱串扰来确定所有图像之间的空间相关性，并基于空间相关性来配准所有图像。特别地，处理器被配置为通过基于图像的所有可能配对的相应光谱通道之间的光谱串扰确定两个图像之间的成对空间相关性来确定所有图像之间的空间相关性。
[0014]优选地，空间相关性是第一和第二图像之间的互信息或互相关，特别是相位相关性。
[0015]相互配准两个图像的变换是优化相应的相关性测量的变换。
[0016]两个图像之间的相位相关性是一种互相关，特别可以用于确定两个图像之间的平移(偏移)。两个图像I0、I1的相位相关性的傅里叶变换计算为
[0017][0018]其中波浪号表示傅里叶变换。相位相关性P在最大结构相关性所在的偏移值具有最大值，例如如果图像完全配准，则位于像素位置(0,0)，如果图像在x方向上偏移一个像素，则位于像素位置(1,0)。傅里叶变换可以很容易地通过FFT方法计算，并且傅里叶域中的乘法和除法是在每个像素级别上计算的。
[0019]通常，由于热膨胀引起的漂移会导致第一和第二检测器元件之间仅有少量像素的未对准。因此，假设相位相关性P的最大值接近像素位置(0,0)是合理的。因此，只需评估相位相关性的像素位置(0,0)周围大小有限的小的补丁。为此，通过计算相位相关性的质心来找到对最大位置的良好估计。这可以通过对数据拟合函数，例如二维高斯函数来进一步改进。然后拟合函数的最大值对应于相位相关性的最大值。因此，子像素配准是可能的。
[0020]在优选的实施例中，处理器被配置为基于空间相关性确定至少一个变换参数，以便配准第一和第二图像，特别是平移参数、旋转参数和/或缩放参数。根据这些参数，计算出配准第一和第二图像的线性变换。可以快速执行线性变换，从而提供配准第一和第二图像的快速方式。
[0021]此外，参数可以存储在存储器元件中，用于配准随后捕获的第一和第二图像。这消除了对空间相关性的后续确定的需要，特别是一旦确定不会发生进一步的漂移，例如因为显微系统已达到其所需的工作温度。
[0022]在另一个优选实施例中，处理器被配置为基于预定变换执行第一和第二图像的粗略图像配准，以生成粗略配准的第一和第二图像，并基于粗略配准的第一和第二图像确定空间相关性。在此实施例中，预定的变换由显式校准确定，例如在制造过程中确定。粗略配
准用于抵消由于显微系统的制造和/或运输而导致的第一和第二检测器元件的未对准。在基于空间相关性执行配准之前执行粗略配准减少了整体计算负载，从而使整体图像配准更快、更高效。
[0023]在另一个优选实施例中，处理器被配置为根据预定的时间表执行空间相关性的确定以及第一和第二图像的配准。由于热膨胀引起的漂移发生在时间尺度上，此时间尺度可能远大于随后捕获第一和第二图像之间的时间段。因此，周期性地执行图像配准的必要步骤就足够了，而不是每次捕获第一和第二图像。通过跳过不必要的步骤，这使整个图像配准过程更快、更高效。
[0024]在另一个优选实施例中，多光谱显微系统包括至少一个传感器元件。处理器被配置为根据来自传感器元件的传感器输入来执行空间相关性的确定以及第一和第二图像的配准。优选地，传感器元件是温度传感器。此外，可以使用其他传感器类型，诸如被配置为确定显微系统是否已经移动的运动传感器。在此实施例中，当处理器从传感器元件接收到对应于显微镜的状态变化的传感器输入时，处理器执行图像配准的必要步骤，状态变化例如是显著的温度变化、可能表明已经发生漂移的运动等。这样，只有在可以假设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多光谱显微系统(100)，包括：第一检测器元件(118)，被配置为在第一光谱通道(114)中捕获样本(102)的第一图像，至少第二检测器元件(120)，被配置为在第二光谱通道(116)中捕获样本(102)的第二图像，以及处理器(128)，被配置为基于所述第一光谱通道(114)和所述第二光谱通道(116)之间的光谱串扰确定所述第一图像和所述第二图像之间的空间相关性，并基于所述空间相关性配准所述第一图像和所述第二图像。2.根据权利要求1所述的显微系统(100)，其中，所述空间相关性是所述第一图像和所述第二图像之间的互信息或互相关，尤其是相位相关性。3.根据权利要求1或2所述的显微系统(100)，其中，所述处理器(128)被配置为基于所述空间相关性确定至少一个变换参数，以便配准所述第一图像和所述第二图像。4.根据前述权利要求中任一项所述的显微系统(100)，其中，所述处理器(128)被配置为基于预定变换执行所述第一图像和所述第二图像的粗略图像配准，以便生成粗略配准的第一图像和第二图像，并基于所述粗略配准的第一图像和第二图像确定所述空间相关性。5.根据前述权利要求中任一项所述的显微系统(100)，其中，所述处理器(128)被配置为根据预定的时间表来执行所述空间相关性的确定以及所述第一图像和所述第二图像的配准。6.根据前述权利要求中任一项所述的显微系统(100)，包括至少一个传感器元件(124)，其中所述处理器(128)被配置为根据来自所述传感器元件(124)的传感器输入执行所述空间相关性的确定以及所述第一图像和所述第二图像的配准。7.根据权利要求6所述的显微系统(100)，其中，所述传感器元件(124)是温度传感器。8.根据前述权利要求中任一项所述的显微系统(100)，其中，所述多光谱显微系统(100)是荧光显微系统。9.根据前述权利...

【专利技术属性】
技术研发人员：克里斯蒂安，
申请(专利权)人：莱卡微系统CMS有限责任公司，
类型：发明
国别省市：