一种质谱成像数据与全视野病理切片的配准方法技术

本发明专利技术公开了一种质谱成像数据与全视野病理切片的配准方法，通过对质谱成像数据进行深度学习插值和利用仿射变换，将基于深度学习的插值方法导入到全视野病理切片(MSI)相关研究中，为全视野病理切片(MSI)数据提供可靠的放大倍率；本发明专利技术的配准方法能够在一张图像中呈现形态学特征和化学分布，可以更直接地观察WSI的形态特征和MSI的分子分布特征，大大提高配准图像的准确度和精度。配准图像的准确度和精度。配准图像的准确度和精度。

【技术实现步骤摘要】
一种质谱成像数据与全视野病理切片的配准方法


[0001]本专利技术属于医学图像多模态配准
，具体为一种质谱成像数据与全视野病理切片的配准方法。

技术介绍

[0002]质谱成像(MSI)是一种强大的分子成像技术，可对切片上的不同位点进行非靶向质谱分析并单独可视化，允许同时对多个已知或未知代谢物进行原位分析，并提供空间分辨的化学信息。由于其能够同时检测多种分子物种，它已被用于药物发现和个性化医疗等临床领域。然而，质谱成像(MSI)的缺点是分辨率较低，对切片本身形态特征的捕获较少。
[0003]全视野病理切片(WSI)的特点是高分辨率，可以观察组织中更精细的形态特征和切片中细胞的纹理，但无法捕获分子水平的特征。由于其高分辨率而检查微小的形态细节，因此可以区分样品中的兴趣区域(ROI)。但病理学家的判断在很大程度上依赖于他们先前的知识和经验，因此不可避免地是主观的。
[0004]为了减少病理学家的主观判断，计算机视觉的概念被导入到这个领域，主要应用手段为：通过机器学习算法将质谱成像(MSI)和全视野病理切片(WSI)进行组合，常用方法为图像对齐，通过将质谱成像(MSI)的分子信息映射到全视野病理切片(WSI)的相应区域，以便将分子信息与形态特征相结合。在之前的研究中，许多研究人员仅将质谱成像(MSI)和全视野病理切片(WSI)的相对位置进行图像对齐，此种形式的图像对齐存在以下缺陷：
[0005](1)大多数研究直接放大了低分辨率的质谱成像(MSI)，并使用放大后的质谱成像(MSI)与全视野病理切片(WSI)保持一致。质谱成像(MSI)的这种直接放大可能会导致质谱成像(MSI)中的相对位置移动，从而导致最终对齐不良；
[0006](2)切片时可能会发生一些相对位置偏移，即使使用两个紧密的切片，也无法使两个切片完美匹配；
[0007]生物样品的不稳定性和分辨率的巨大差异，导致目前尚未有成熟的可实施性高的质谱成像(MSI)和全视野病理切片(WSI)的配准方法。

技术实现思路

[0008]专利技术目的：为了解决现有质谱成像(MSI)和全视野病理切片(WSI)的配准方法存在的准确度低和精度差等问题，本专利技术提出了一种质谱成像数据与全视野病理切片的配准方法，通过对质谱成像数据进行深度学习插值和利用仿射变换，减少因为切片原因产生的相对误差，大大提高配准图像的准确度和精度。
[0009]技术方案：一种质谱成像数据与全视野病理切片的配准方法，包括以下步骤：
[0010]获取待测组织学样本的切片，制作得到相应的全视野病理切片和基质辅助激光解吸电离质谱成像图像；所述基质辅助激光解吸电离质谱成像图像是通过对相邻切片进行基质辅助激光解吸电离得到；所述相邻切片为与全视野病理切片相邻的切片；
[0011]利用旋转卡壳算法，得到全视野病理切片和基质辅助激光解吸电离质谱成像图像
的最小外接矩形；基于最小外接矩形，将全视野病理切片和基质辅助激光解吸电离质谱成像图像进行位置校正，得到校正后的全视野病理切片和校正后的基质辅助激光解吸电离质谱成像图像；
[0012]利用Canny边缘算子，对校正后的全视野病理切片的边缘轮廓和校正后的基质辅助激光解吸电离质谱成像图像的边缘轮廓进行提取，得到校正后的全视野病理切片的边缘轮廓和校正后的基质辅助激光解吸电离质谱成像图像的边缘轮廓；
[0013]将校正后的基质辅助激光解吸电离质谱成像图像输入至超分辨率深度学习神经网络中，输出与校正后的全视野病理切片分辨率相同的质谱成像图像；
[0014]利用仿射变换，将校正后的全视野病理切片和输出的质谱图像进行初次配准，得到初次配准的图像；
[0015]利用移动最小二乘法，对初次配准的图像进行二次配准，得到最终的配准图像。
[0016]进一步的，所述的获取待测组织学样本的切片，制作得到相应的全视野病理切片和基质辅助激光解吸电离质谱成像图像，具体包括：
[0017]将待测组织学样本进行冷冻切片处理，得到多个组织学切片；
[0018]从多个组织学切片中选出包括组织学特征的切片，将包括组织学特征的切片进行组织学染色，得到染色后的切片；
[0019]通过数字切片扫描系统对染色后的切片进行扫描，得到全视野病理切片图像；
[0020]选取与包括组织学特征的切片相邻的组织学切片，记为相邻切片，对相邻切片进行基质辅助激光解吸电离，得到基质辅助激光解吸电离质谱成像图像。
[0021]进一步的，所述的基于最小外接矩形，将全视野病理切片和基质辅助激光解吸电离质谱成像图像进行位置校正，得到校正后的全视野病理切片和校正后的基质辅助激光解吸电离质谱成像图像，具体包括：
[0022]依据最小外接矩阵的四个顶点，得到相应的位置校正角度；
[0023]依据相应的位置校正角度，对全视野病理切片和基质辅助激光解吸电离质谱成像图像进行旋转，得到校正后的全视野病理切片和基质辅助激光解吸电离质谱成像图像。
[0024]进一步的，所述的超分辨率深度学习神经网络包括：
[0025]双三次插值子网络，用于对输入的校正后的基质辅助激光解吸电离质谱成像图像进行双三次插值子，得到插值后的低分辨率图像ILR；
[0026]特征提取子网络，用于从插值后的低分辨率图像ILR中提取多个图像块，对每个图像块进行卷积操作，得到特征向量，所有特征向量组成特征矩阵；
[0027]非线性映射子网络，用于通过卷积操作，对特征矩阵进行非线性映射，得到新的特征矩阵；
[0028]上采样子网络，用于对新的特征矩阵进行上采样操作，得到与校正后的全视野病理切片分辨率相同的质谱成像图像。
[0029]进一步的，所述的利用仿射变换，将校正后的全视野病理切片和输出的质谱图像进行初次配准，得到初次配准的图像，具体包括：
[0030]记输出的质谱成像图像的四个顶点坐标为(x
M1
,y
M1
)、(x
M2
,y
M2
)、(x
M3
,y
M3
)、(x
M4
,y
M4
)；记校正后的全视野病理切片的四个顶点坐标为(x
W1
,y
W1
)、(x
W2
,y
W2
)、(x
W3
,y
W3
)、(x
W4
,y
W4
)；
[0031]通过仿射变换方程x
Wn
＝a1x
Mn
+b1y
Mn
+c1和y
Wn
＝a2x
Mn
+b2y
Mn
+c2，将输出的质谱成像图像的四个顶点坐标变换至(x
W1
,y
W1
)、(x
W2
,y
W2
)、(x
W3...

【技术保护点】

【技术特征摘要】
1.一种质谱成像数据与全视野病理切片的配准方法，其特征在于：包括以下步骤：获取待测组织学样本的切片，制作得到相应的全视野病理切片和基质辅助激光解吸电离质谱成像图像；所述基质辅助激光解吸电离质谱成像图像是通过对相邻切片进行基质辅助激光解吸电离得到；所述相邻切片为与全视野病理切片相邻的切片；利用旋转卡壳算法，得到全视野病理切片和基质辅助激光解吸电离质谱成像图像的最小外接矩形；基于最小外接矩形，将全视野病理切片和基质辅助激光解吸电离质谱成像图像进行位置校正，得到校正后的全视野病理切片和校正后的基质辅助激光解吸电离质谱成像图像；利用Canny边缘算子，对校正后的全视野病理切片的边缘轮廓和校正后的基质辅助激光解吸电离质谱成像图像的边缘轮廓进行提取，得到校正后的全视野病理切片的边缘轮廓和校正后的基质辅助激光解吸电离质谱成像图像的边缘轮廓；将校正后的基质辅助激光解吸电离质谱成像图像输入至超分辨率深度学习神经网络中，输出与校正后的全视野病理切片分辨率相同的质谱成像图像；利用仿射变换，将校正后的全视野病理切片和输出的质谱图像进行初次配准，得到初次配准的图像；利用移动最小二乘法，对初次配准的图像进行二次配准，得到最终的配准图像。2.根据权利要求1所述的一种质谱成像数据与全视野病理切片的配准方法，其特征在于：所述的获取待测组织学样本的切片，制作得到相应的全视野病理切片和基质辅助激光解吸电离质谱成像图像，具体包括：将待测组织学样本进行冷冻切片处理，得到多个组织学切片；从多个组织学切片中选出包括组织学特征的切片，将包括组织学特征的切片进行组织学染色，得到染色后的切片；通过数字切片扫描系统对染色后的切片进行扫描，得到全视野病理切片图像；选取与包括组织学特征的切片相邻的组织学切片，记为相邻切片，对相邻切片进行基质辅助激光解吸电离，得到基质辅助激光解吸电离质谱成像图像。3.根据权利要求1所述的一种质谱成像数据与全视野病理切片的配准方法，其特征在于：所述的基于最小外接矩形，将全视野病理切片和基质辅助激光解吸电离质谱成像图像进行位置校正，得到校正后的全视野病理切片和校正后的基质辅助激光解吸电离质谱成像图像，具体包括：依据最小外接矩阵的四个顶点，得到相应的位置校正角度；依据相应的位置校正角度，对全视野病理切片和基质辅助激光解吸电离质谱成像图像进行旋转，得到校正后的全视野病理切片和基质辅助激光解吸电离质谱成像图像。4.根据权利要求1所述的一种质谱成像数据与全视野病理切片的配准方法，其特征在于：所述的超分辨率深度学习神经网络包括：双三次插值子网络，用于对输入的校正后的基质辅助激光解吸电离质谱成像图像进行双三次插值子，得到插值后的低分辨率图像ILR；特征提取子网络，用于从插值后的低分辨率图像ILR中提取多个图像块，对每个图像块进行卷积操作，得到特征向量，所有特征向量组成特征矩阵；非线性映射子网络，用于通过卷积操作，对特征矩阵进行非线性映射，得到新的特征矩
阵；上采样子网络，用于对新的特征矩阵进行上采样操作，得到与校正后的全视野病理切片分辨率相同的质谱成像图像。5.根据权利要求1所述的一种质谱成像数据与全视野病理切片的配准方法，其特征在于：所述的利用仿射变换，将校正后的全视野病理切片和输出的质谱图像进行初次配准，得到初次配准的图像，具体包括：记输出的质谱成像图像的四个顶点坐标为(x
M1
,y
M...

【专利技术属性】
技术研发人员：廖俊，李彬，李桢，
申请(专利权)人：中国药科大学，
类型：发明
国别省市：