System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于多伪示例图卷积的全视野数字病理切片生存预测方法技术_技高网

基于多伪示例图卷积的全视野数字病理切片生存预测方法技术

技术编号:40116583 阅读:8 留言:0更新日期:2024-01-23 20:00
本发明专利技术公开了一种基于深度学习模型的全视野数字病理切片生存预测新方法。该方法首次在全视野数字病理切片的生存预测上使用基于单阶尺度图像块特征的多阶尺度滑动整合策略,以低复杂度的方法达到了对不同语义空间尺度大小的特征分析并减少了由于图像块的暴力切分带来的信息撕裂,突破了传统模型用多阶尺度的滑动窗口对图像块反复特征提取的高复杂度依赖。通过注意力机制整合多阶尺度的丰富特征,生成的最终向量的每个元素对应了每个时刻的生存概率。实验结果表明,该方法通过在高阶尺度整合图像块特征构造拟图配合图卷积能够带来较好的病理推理结果,对于全视野数字病理切片的分析诊断具有重要的实际意义。

【技术实现步骤摘要】

本专利技术涉及一种全视野数字病理切片生存预测方法,特别是一种基于多示例学习和图卷积模型的全视野数字病理切片生存预测方法。


技术介绍

1、全视野数字病理切片是一种超高分辨率的数字图像,可用于诊断患者的病理情况和进行生存预测。然而,全视野数字病理切片的尺寸通常很大,医生需要花费大量时间和精力进行分析诊断。为了解决这个问题,目前主流使用三阶段的弱监督方法——多示例学习来进行病理分析。在多示例学习的第一阶段构造示例:将全视野数字病理切片切分成多个图像块,用预训练好的特征提取器提取所有图像块的特征,将这些特征作为示例,整张全视野数字病理切片的所有图像块的特征作为包。在多示例学习的第二阶段,需要将全视野数字病理切片对应的包内所有的特征融合成一个特征。最后,在多示例学习的第三阶段,将上一个阶段得到的特征进行下游任务,如病理分类,生存预测等。通过将全视野数字病理切片转化为多个图像块对应的特征,降低了复杂度,使得使用计算机进行病理分析成为了可能,大大减轻了医生的工作量。如何聚合所有的图像块的特征,是近几年学者们一直在研究的重要方向,近几年主要出现了如下几种方法:

2、(1)基于注意力的全视野数字病理切片病理研究方法:通过学习每个示例的分数,对图像块的特征加权求和得到聚合后的特征。随着transformer的出现和算力的提升,自注意力在生存预测任务中得到广泛应用。该方法相比传统的多示例学习方法,能够更加准确地捕捉到全视野数字病理切片中的关键信息,提高了病理分析的准确性。

3、(2)基于图卷积的全视野数字病理切片病理研究方法:该类方法基于全视野数字病理切片的病理推断可能需要长上下文关系这一先验结论,在全视野数字病理切片的研究上使用图卷积网络进行尝试,能够让图像块之间进行卷积式地交互,在生存预测方面有里更好的表现。

4、通常用滑动窗口采样图像块使得图像块之间有交叠或采样多尺度的图像块都能带来更好的推理结果,但如果兼顾二者会带来巨量的图像块采集和特征提取工作。本专利技术旨在提出一种新方法以克服此困难并带来更好推理结果。


技术实现思路

1、本专利技术的目的在于提供一种全视野数字病理切片生存预测的多阶尺度滑动采样且低复杂度的多示例学习方法。实现本专利技术目的的技术解决方案为:对采样后的图像块特征提取和多伪示例图卷积模型,包括以下步骤:

2、步骤1、基于已有全视野数字病理切片数据集,切片采样图像块。

3、步骤2、基于充分预训练后的特征提取器,对图像块进行特征提取,每一个特征视为一个示例,在同一全视野数字病理切片中的示例的集合视为包。

4、步骤3、将所有的包划分为训练集,验证集和测试集。

5、步骤4、基于训练集训练图卷积网络模型:

6、步骤4.1、在尺度之间使用滑动示例池化在高阶尺度生成丰富伪示例。

7、步骤4.2、在每阶尺度中使用图同构网络卷积聚合当前示例的邻边示例的特征。

8、步骤4.3、注意力池化聚合同一语义尺度的示例作为当前尺度的尺度示例。

9、步骤4.4、聚合不同阶尺度的尺度示例作为预测向量。

10、步骤4.5、基于预测向量和损失函数计算损失后用梯度下降收敛模型。

11、步骤5、重复步骤4训练图卷积网络模型。

12、步骤6、使用训练后的图卷积网络模型对测试数据进行测试。

13、与现有技术相比,本专利技术的显著优点在于:

14、(1)构建了一个三阶图卷积网络,以全面探索不同阶空间尺度上的示例表示。

15、(2)提出了一种新颖的图池化方法,即滑动示例池化,以兼顾不同尺度上滑动图像块采样和低时间复杂度。

16、(3)利用滑动窗口进一步能减轻在高阶尺度由于相邻图像块之间的暴力切分而导致的信息损失。

17、(4)多阶尺度滑动得到的丰富示例信息可供医学研究者更好地进行病理分析推断。

18、下面结合附图对本专利技术作进一步详细描述。

本文档来自技高网...

【技术保护点】

1.一种基于多伪示例图卷积的全视野数字病理切片生存预测方法,其特征在于包括以下步骤:

2.根据权利要求1所述的基于多伪示例图卷积的全视野数字病理切片生存预测方法,其特征在于:步骤4中所述训练图卷积的网络模型,其具体方法为:

3.根据权利要求1所述的基于多伪示例图卷积的全视野数字病理切片生存预测方法,其特征在于:步骤4.1中所述的图卷积网络中滑动示例池化,其具体方法为:

【技术特征摘要】

1.一种基于多伪示例图卷积的全视野数字病理切片生存预测方法,其特征在于包括以下步骤:

2.根据权利要求1所述的基于多伪示例图卷积的全视野数字病理切片生存预测方法,其特征在于:步骤4中所述...

【专利技术属性】
技术研发人员:纪则轩刘勇
申请(专利权)人:南京理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1