【技术实现步骤摘要】
本专利技术涉及组织图像处理，特别是涉及一种基于深度学习的多切面层次肾小球识别和匹配方法。
技术介绍
1、慢性肾病(ckd)是全球最主要的死因之一，会导致肾衰竭或心血管并发症，正在威胁全球十分之一的总人口。慢性肾病的危险因素有糖尿病、高血压、高血脂等，治疗的关键是确定和控制病因从而减轻肾脏损伤。由于复杂性和进展性，临床表现、实验室检查和影像学检查很难对病因做出准确诊断，而肾活检组织病理学检查可以提供有力的支持。
2、肾小球病变是反映肾病病因的重要信息，识别肾小球的炎症、硬化、增生和坏死等多种病理表现至关重要。通常来说，成年人的肾小球直径约为100微米左右，而连续的病理切片之间的距离约为3-5微米，因此尽可能多地制作连续切片能够避免对重要病理变化的遗漏。此外，不同的组织学染色能突出肾小球的不同组织结构，如h&e、pas、masson三色(mt)和pasm染色等，从而识别不同类型的病理改变。医生通常会识别多个切面层次(levels)和多种染色(multistained)之间的对应的肾小球，并基于多个层次之间的位置对应关系匹配肾小球，从而汇聚一个肾小球在多个层次上的病变。一方面，多个层次互相作为参考，能够提示在单一层面上容易被忽略的病理改变；另一方面，多个层次蕴含的三维结构信息能够挖掘在平面上无法识别的空间维度的病理改变。
3、多重水平和染色是必要的，但限制了肾小球疾病诊断的整体效率。增加组织切片的数量，并从各个层面融合肾小球病变是耗时的，肾脏病理学家必须花费大量时间在多个层面上识别和匹配肾小球。而且，这
4、深度学习已经在一些医学领域得到了很多的应用。深度学习在病理图像分析上取得了与病理医生相媲美的性能，能够实现基本的分类、分割和检测等任务以及辅助诊断。其优势在于处理重复和繁琐的问题，从而提高诊断效率。目前在肾组织病理中，深度学习的应用局限于分割、检测和分类等基础任务。大多数研究的对象是肾小球，包括分割和检测等。对每种染色或每个level进行孤立的分析是有局限性的，它无法建模肾病理医生的完整的诊断流程从而提高效率。有些工作利用跨模态实现了不同染色之间的信息传递，包括虚拟染色、染色增强、通用结构域自适应等。这些方法提高了模型在不同染色中的泛化性能，对减少病理医生执行繁琐的肉眼检测和大脑分析的任务发挥了作用。然而，这些方法缺少对多个层次或多种染色的肾小球的匹配，仍然要求人工对多个层次执行基于位置的肾小球匹配，效率低下。对一个病例的多个切面层次和多重染色(multistained)的全玻片图像(wsi)进行观察，迄今为止是不可避免且费时费力的。
5、需要说明的是，在上述
技术介绍
部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本专利技术的主要目的在于克服上述
技术介绍
的缺陷，提供一种基于深度学习的多切面层次肾小球识别和匹配方法。
2、为实现上述目的，本专利技术采用以下技术方案：
3、一种基于深度学习的多切面层次肾小球识别和匹配方法，包括如下步骤：
4、通过所述肾小球实例分割模型对多切面层次的待识别图像进行肾小球实例分割；
5、基于肾小球实例分割结果，通过所述肾小球匹配模型所述多切面层次中的两两层次之间的肾小球进行匹配，并进而实现对各切面层次的肾小球的匹配；
6、其中，所述肾小球实例分割模型和所述肾小球匹配模型是使用具有多切面层次的肾穿刺活检样本图像训练得到的；
7、其中，所述两两层次之间的肾小球进行匹配包括粗匹配阶段和细匹配阶段，所述粗匹配阶段通过基于高斯混合模型的相干点漂移cpd来确定肾小球在两个不同层次之间的匹配关系，从而确定每个目标肾小球的最可能匹配的源肾小球，所述细匹配阶段根据粗匹配结果，通过特征空间的距离计算确定每个目标肾小球的最优匹配肾小球，并得到两两层次之间的肾小球匹配的匹配矩阵；对各匹配矩阵进行融合，得到各切面层次的肾小球最终的匹配矩阵。
8、进一步地：
9、所述多切面层次包括12个层次，前6个和后6个层次的染色依次都是h&e、pas、mt、pasm、h&e、pas。
10、所述肾小球实例分割模型是以mask r-cnn为框架、以transformer为backbone的实例分割模型mtm；其中，mtm通过主干网络(backbone)、区域建议网络(rpn)、感兴趣区域池化(roipooling)和多任务预测头，实现对肾活检图像中的肾小球实例的检测和分割；
11、所述肾小球实例分割包括：
12、通过主干网络提取与肾小球结构相关的不同染色的肾活检图像特征；
13、主干网络中各阶段的输出通过特征金字塔网络fpn融合，将不同尺度的特征整合到区域建议网络rpn中；
14、区域建议网络rpn使用锚点对得到的特征图进行计算，生成区域建议；感兴趣区域池化提取经过位置修正、剔除和极大值抑制nms之后剩余的区域建议；
15、使用多任务预测头对提取的区域建议进行分类和分割，并利用边界框回归再次修正建议的位置；
16、由此，得到每个肾小球的检测框位置和语义分割结果。
17、所述肾小球实例分割模型的总体优化目标如下式：
18、min l＝lcls+lbox+lmask
19、其中，lcls和lbox代表分类和边界框回归损失，lmask采用二元交叉熵函数，其表达式如下式：
20、
21、其中，n为类别数，yi和分别为第i类的标签和预测结果。
22、进行基于相干点漂移cpd的所述粗匹配和基于混合距离度量的所述细匹配，包括：
23、对多个切面层次，选取其中1个层次作目标层次t，其余层次依次作为源层次s，假设t和s上分别有tk和sk个肾小球，则t和s上的肾小球位置分别记为tglo＝{ti|i∈[1,tk]}和sg1o＝{sj|j∈[1,sk]}；
24、通过所述粗匹配确定与每个tglo最可能匹配的nk个sglo，即找到采用基于高斯混合模型gmm的cpd，则cpd的总体似然函数如下式：
25、
26、其中，fθ为漂移函数，采用仿射变换函数，在漂移过程中，求解仿射变换参数θ，得到源层次上的各个肾小球与目标层次上的特定肾小球的匹配概率，从而得到整体的后验概率；
27、通过所述细匹配，从所述粗匹配得到的nk个肾小球中确定最优匹配肾小球，即最终得到ms→t＝{(sj,ti)|j∈[1,sk],i∈[1,tk]}，其中，hd是混合距离度量空间；
28、获得以第i个层次为目标层次的匹配矩阵mi∈rtki*12，其中，tkn表示第i个层次上检测到的肾小球总数，mi的每一行代表同一个肾小球在个各个层次上的序本文档来自技高网...
【技术保护点】
1.一种基于深度学习的多切面层次肾小球识别和匹配方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于深度学习的多切面层次肾小球识别和匹配方法，其特征在于，所述多切面层次包括12个层次，前6个和后6个层次的染色依次都是H&E、PAS、MT、PASM、H&E、PAS。
3.如权利要求1至2任一项所述的基于深度学习的多切面层次肾小球识别和匹配方法，其特征在于，所述肾小球实例分割模型是以Mask R-CNN为框架、以Transformer为backbone的实例分割模型MTM；其中，MTM通过主干网络(backbone)、区域建议网络(RPN)、感兴趣区域池化(ROIPooling)和多任务预测头，实现对肾活检图像中的肾小球实例的检测和分割。
4.如权利要求3所述的基于深度学习的多切面层次肾小球识别和匹配方法，其特征在于，所述肾小球实例分割包括：
5.如权利要求3或4所述的基于深度学习的多切面层次肾小球识别和匹配方法，其特征在于，所述肾小球实例分割模型的总体优化目标如下式：
6.如权利要求1至5任一项所述
7.如权利要求6所述的基于深度学习的多切面层次肾小球识别和匹配方法，其特征在于，所述混合距离度量空间由欧氏距离特征fed、深度通用特征fd和手工特征fh构成；
8.如权利要求1至7任一项所述的基于深度学习的多切面层次肾小球识别和匹配方法，其特征在于，通过基于投票的交叉匹配法VCM对各个匹配矩阵进行交叉融合，得到最终的匹配矩阵；具体包括：
9.一种基于深度学习的多切面层次肾小球识别和匹配系统，包括处理器，其特征在于，所述处理器经配置以执行如权利要求1至8任一项所述的方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序由处理器执行时，实现如权利要求1至8任一项所述的基于深度学习的多切面层次肾小球识别和匹配方法。
...【技术特征摘要】
1.一种基于深度学习的多切面层次肾小球识别和匹配方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于深度学习的多切面层次肾小球识别和匹配方法，其特征在于，所述多切面层次包括12个层次，前6个和后6个层次的染色依次都是h&e、pas、mt、pasm、h&e、pas。
3.如权利要求1至2任一项所述的基于深度学习的多切面层次肾小球识别和匹配方法，其特征在于，所述肾小球实例分割模型是以mask r-cnn为框架、以transformer为backbone的实例分割模型mtm；其中，mtm通过主干网络(backbone)、区域建议网络(rpn)、感兴趣区域池化(roipooling)和多任务预测头，实现对肾活检图像中的肾小球实例的检测和分割。
4.如权利要求3所述的基于深度学习的多切面层次肾小球识别和匹配方法，其特征在于，所述肾小球实例分割包括：
5.如权利要求3或4所述的基于深度学习的多切面层次肾小球识别和匹配方法，其特征在于，所述肾...
【专利技术属性】
技术研发人员：李静，徐英铭，何永红，王哲，何奇洺，王艳霞，叶菁，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。