基于多焦点结构光照明显微镜的超分辨图像空域重构方法技术

本发明专利技术公开了一种基于多焦点结构光照明显微镜的超分辨图像重构方法，通过记录完整的样品荧光图像，估测照明光，滤除离焦信号及重构得到超分辨图像，在硬件无需改动的条件下，可以进一步提升超分辨显微图像的成像效果，对比目前通行的MSIM图像重构方法，可实现对结构光照明显微镜超分辨图像的快速重构。光照明显微镜超分辨图像的快速重构。光照明显微镜超分辨图像的快速重构。

【技术实现步骤摘要】
基于多焦点结构光照明显微镜的超分辨图像空域重构方法


[0001]本专利技术涉及一种荧光超分辨显微镜的图像空域重构方法，尤其是涉及一种基于多焦点结构光照明显微镜的超分辨图像空域重构方法。

技术介绍

[0002]出于生命科学研究的需要，荧光超分辨显微镜的研究填补了普通光学显微镜分辨能力受限于衍射极限的困难。其作为介于普通光学显微镜和电子显微镜之间的一种技术，需要对观察样品进行荧光标记，这产生了斯托克斯位移并导致成像分辨率的降低。且不同的超分辨显微技术方案，需要在时间分辨率和空间分辨率等技术特征间做出权衡。而作为超分辨显微镜代表性的三种显微技术之一的结构光照明显微镜(Structured Illumination Microscopy，SIM)，它的优势在于使用了宽场照明的方式，对荧光物质或荧光标记无特殊要求，因此它具有成像速度快和对样品的光损伤小的特点，可以实现活细胞动态成像效果。而多焦点结构光照明显微镜(Multifocal Structured Illumination Microscopy，MSIM)的概念最早作为图像扫描显微镜(Image Scanning Microscopy，ISM)的并行版本被提出，同样可以看作一种宽场照明SIM显微镜。但MSIM却获得了更好的厚样品切片层析成像的能力，相关综述文献报道过2D
‑
SIM穿透厚度为10
‑
20μm，MSIM穿透厚度为50μm。
[0003]继承自图像扫描显微镜(Image Scanning Microscopy，ISM)的图像重构则是使用像素重分布方法(Pixel reassignment，PR)，虽然在理论上可实现扩展横向分辨率到原始图像倍的效果，但该图像重构方法处理图像计算复杂度高，速度较慢，不利于超分辨显微实时观察活样品的需求，且会牺牲边缘视场。
[0004]因此针对目前的MSIM重构方法，如果期望能在较好的超分辨效果前提下实现更好的图像处理速度，就需要一种优化运算性能的快速超分辨重构方法。

技术实现思路

[0005]本专利技术的目的就是针对现有的多焦点结构光照明显微镜在超分辨图像重构速度方面存在的问题提出一种快速超分辨图像重构方法，以更快的处理运算速度实现更好的超分辨显微效果。
[0006]本专利技术的技术解决方案是：一种基于多焦点结构光照明显微镜的超分辨图像重构方法，该方法包括以下步骤：
[0007]步骤1)记录完整的样品荧光图像：使用MSIM的结构照明光激发样品当中的荧光分子，调整照明焦点的位置并扫描记录样品的荧光信号，直到记录完成得到完整的样品荧光图像，将该样品荧光图像对应的矩阵数据作为原始的图像矩阵数据；
[0008]步骤2)估测照明光：将步骤1)得到的样品荧光图像变换到频域空间，求解其幅值的均值，然后进行带通滤波，将带通滤波后的结果定位三个空间频率最低的峰值作为基向量，用这组基向量的和与差构造所有的晶格向量点，然后将频域空间中的晶格向量转换到
空域，得到照明光的晶格向量；使用上述晶格向量构造一幅晶格点阵图像，将步骤1)记录的第一幅图像进行滤波以去除探测器中的坏点，然后将滤波后的图像以每个晶格点为中心分割为一组子图，对这组子图求平均值，找到最亮的像素点，将最亮的像素点与子图中心点的距离作为偏移向量；根据步骤1)记录的图像频域空间中的相位信息获得不同照明光的位移向量；根据上述的晶格向量、偏移向量和位移向量三个光照参数估测得到照明光；
[0009]步骤3)滤除离焦信号：使用步骤2)得到照明光去点乘原始的图像矩阵数据，对得到的点乘结果求均值，以滤除非焦面信号；
[0010]步骤4)重构得到超分辨图像：对步骤3)滤除离焦信号后的图像使用等效卷积核做反卷积处理，得到重构后的超分辨图像。
[0011]与现有技术对比，本专利技术优点为：在硬件无需改动的条件下，使用本专利技术的方法可以进一步提升超分辨显微图像的成像效果，对比目前通行的MSIM图像重构方法，可实现对结构光照明显微镜超分辨图像的快速重构。在Intel CoreTM i5
‑
1135G7处理器,2.4GHz主频,4核心；16GB内存；MATLAB 2021b环境中测试：原始图像点乘照明光需要0.034s，而反卷积处理最多也仅需要1.85s，相比同样配置下像素重排算法需要的6.67s，运算速度和超分辨成像效果得到均衡的提升。
[0012]优选地，使用等效卷积核做反卷积处理是使用维纳滤波器进行处理。
[0013]优选地，所述的使用等效卷积核做反卷积处理是使用FISTA滤波器进行处理，此时，所述的FISTA滤波器设置的迭代次数为：100～500，设置的正则化约束项系数为：0.01～0.3。
附图说明
[0014]图1是本专利技术方法的的整体流程图；
[0015]图2是本专利技术方法实施例中示例的点乘操作示意图，其中(a)表示步骤1记录的原始图像中的一帧，(b)表示原始图像(a)对应的照明光，(c)表示原始图像(a)与照明光(b)点乘的结果；
[0016]图3为本专利技术实施例使用本专利技术的方法重建的微管样品图像，其中(a)表示荧光样品对应的宽场图像，(b)表示步骤3点乘后求均值的结果，(c)表示使用传统像素重分布算法重建的结果，(d)表示对图像(b)进行FISTA滤波的结果。
具体实施方式
[0017]以下结合附图和具体实例对本专利技术做进一步的描述。
[0018]实例例：一种基于多焦点结构光照明显微镜的超分辨图像重构方法，该方法包括以下步骤：
[0019]步骤1)记录完整的样品荧光图像：使用MSIM的结构照明光激发样品当中的荧光分子，调整照明焦点的位置并扫描记录样品的荧光信号，直到记录完成得到完整的样品荧光图像，将该样品荧光图像对应的矩阵数据作为原始的图像矩阵数据；
[0020]步骤2)估测照明光：将步骤1)得到的样品荧光图像变换到频域空间，求解其幅值的均值，然后进行带通滤波，将带通滤波后的结果定位三个空间频率最低的峰值作为基向量，用这组基向量的和与差构造所有的晶格向量点，然后将频域空间中的晶格向量转换到
空域，得到照明光的晶格向量；使用上述晶格向量构造一幅晶格点阵图像，将步骤1)记录的第一幅图像进行滤波以去除探测器中的坏点，然后将滤波后的图像以每个晶格点为中心分割为一组子图，对这组子图求平均值，找到最亮的像素点，将最亮的像素点与子图中心点的距离作为偏移向量；根据步骤1)记录的图像频域空间中的相位信息获得不同照明光的位移向量；根据上述的晶格向量、偏移向量和位移向量三个光照参数估测得到照明光；
[0021]步骤3)滤除离焦信号：使用步骤2)得到照明光去点乘原始的图像矩阵数据，对得到的点乘结果求均值，以滤除非焦面信号；
[0022]步骤4)重构得到超分辨图像：对步骤3)滤除离焦信号后的图像使用等效卷积核做反卷积处理，得到重构后的超分辨图像。
[0023]使用等效卷积核做反卷积处理可以使用维纳滤波器或FISTA滤波器进行处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多焦点结构光照明显微镜的超分辨图像重构方法，其特征在于该方法包括以下步骤：步骤1)记录完整的样品荧光图像：使用MSIM的结构照明光激发样品当中的荧光分子，调整照明焦点的位置并扫描记录样品的荧光信号，直到记录完成得到完整的样品荧光图像，将该样品荧光图像对应的矩阵数据作为原始的图像矩阵数据；步骤2)估测照明光：将步骤1)得到的样品荧光图像变换到频域空间，求解其幅值的均值，然后进行带通滤波，将带通滤波后的结果定位三个空间频率最低的峰值作为基向量，用这组基向量的和与差构造所有的晶格向量点，然后将频域空间中的晶格向量转换到空域，得到照明光的晶格向量；使用上述晶格向量构造一幅晶格点阵图像，将步骤1)记录的第一幅图像进行滤波以去除探测器中的坏点，然后将滤波后的图像以每个晶格点为中心分割为一组子图，对这组子图求平均值，找到最亮的像素点，将最亮的像素点与子图中心点的距离作为偏移向量；根据步骤1)记录的图像频...

【专利技术属性】
技术研发人员：刘朋欢，崔志英，郑驰，邱元芳，张琦，周思佳，
申请(专利权)人：宁波永新光学股份有限公司，
类型：发明
国别省市：