一种基于深度学习的癌症病理图像生存预后模型构建方法技术

本发明专利技术公开了一种基于深度学习的癌症病理图像生存预后模型构建方法，包括获取多份癌症病理图像，对所获取的图像进行感兴趣区域切块，计算感兴趣区域切块的能量值并排序，筛选排序低于设定阈值的切块构建数据集；构建预训练模型并利用预训练模型提取所筛选出的切块的图像特征，并对切块特征进行聚类；提取聚类之后的图像特征表达，并利用多头注意力机制聚合所有聚类的特征表达，得到病人级别的预后特征；构建预后特征训练模型，利用构建的数据集进行训练，得到生成预后模型。该方案可以处理不同患者之间各种数量和大小的整张幻灯片图像，利用多示例学习框架可以学习到患者的整体信息并获得更好的性能，更有效地提取聚类的预后特征表达。后特征表达。后特征表达。

【技术实现步骤摘要】
一种基于深度学习的癌症病理图像生存预后模型构建方法


[0001]本专利技术涉及图像处理领域，具体涉及一种基于深度学习的癌症病理图像生存预后模型构建方法。

技术介绍

[0002]多示例学习(Multiple Instance Learning，简写MIL)与监督学习、半监督学习和非监督学习有所不同，它是以多示例包(bag)为训练单元的学习问题。在多示例学习中，假设训练数据集中的每个数据是一个包(Bag)，每个包都是一个示例(instance)的集合,每个包都有一个训练标记，而包中的示例是没有标记的；如果包中至少存在一个正标记的示例，则包被赋予正标记；而对于一个有负标记的包，其中所有的示例均为负标记。多示例学习的目的是，通过对具有分类标签的多示例包的学习，建立多示例分类器，并将该分类器应用于未知多示例包的预测。在WSI观察中，如果载玻片来自低风险患者，其大部分切块可能是良性的，或包含低级别肿瘤。相反，如果载玻片来自高危患者，则所有可能的切块中至少有一个肯定含有恶性肿瘤。WSI生存学习问题的这种形式化是通用标准多示例假设的一个示例，因此MIL非常适合解决此类问题。

技术实现思路

[0003]针对现有技术中的上述不足，本专利技术提供了一种基于深度学习的癌症病理图像生存预后模型构建方法。
[0004]为了达到上述专利技术目的，本专利技术采用的技术方案为：
[0005]一种基于深度学习的癌症病理图像生存预后模型构建方法，包括如下步骤：
[0006]S1、获取多份癌症病理图像，对所获取的图像进行感兴趣区域切块，计算感兴趣区域切块的能量值并排序，筛选排序低于设定阈值的切块构建数据集；
[0007]S2、构建预训练模型并利用预训练模型提取所筛选出的切块的图像特征，并对切块特征进行聚类；
[0008]S3、提取聚类之后的图像特征表达，并利用多头注意力机制聚合所有聚类的特征表达，得到病人级别的预后特征；
[0009]S4、构建预后特征训练模型，利用步骤S1构建的数据集进行训练，得到生成预后模型。
[0010]上述方案的有益效果是，可以从没有人工ROI标记的非常大的WSI中学习患者的生存模式，更适应大规模癌症数据集的缺乏人工ROI标注的情况，可以处理同一患者的各种数量和大小的整张幻灯片图像。同时，基于图卷积神经网络的改进使得模型能更好地提取与预后相关的特征表达，在预测性能上获得进一步提升。我们的方法可以为癌症患者的个性化治疗以及医生的治疗决策提供指导，改善患者的生存状况。此外，我们的模型可以方便的移植到其他癌症数据集，应用于其他肿瘤类型。
[0011]进一步的，所述S1具体包括：
[0012]S11、获取癌症全玻片病理图像，利用病理切片组织区域分割框架将所获取的癌症全玻片病理图像分割感兴趣区域，对感兴趣区域切块并记录坐标；
[0013]S12、对感兴趣区域切块进行颜色归一化；
[0014]S13、计算每个病理图像中颜色归一化后的区块的能量值，并筛选能量值前500个切块；
[0015]S14、获取记录患者生存情况的表格文件，作为筛选出的切块对应的训练标签，并构建数据集。
[0016]上述进一步方案的有益效果是，清洗整理出可用的完备的用于训练的数据集。
[0017]进一步的，所述S2具体包括：
[0018]S21、利用预训练深度图像识别模型提取步骤S1所构建的数据集中的切块的图像特征；
[0019]S22、利用Kmeans算法对每个病人的所有切块特征进行聚类。
[0020]进一步的，所述K
‑
means的算法步骤为：
[0021]S221、选择初始化的k个样本作为初始聚类中心a＝a1,a1,...a
k
；
[0022]S222、针对数据集中每个样本X
i
计算它到k个聚类中心的距离并将其分到距离最小的聚类中心所对应的类中；
[0023]S223、针对每个类别a
j
，计算它的聚类中心C
i
为第i个聚类的样本集合；
[0024]S224、重复步骤S222和S223，直到达到中止条件。
[0025]上述进一步方案的有益效果是，将一个病人的全部切块(来自不同全波切片)聚类成几类，用于后续处理。
[0026]进一步的，所述S3具体包括：
[0027]S31、对步骤S22获取的所有切块的聚类食用图神经网络提取聚类的预后特征表达；
[0028]S32、利用多头注意力机制聚合所有聚类的预后特征表达，得到病人级别的预后特征，并通过全连阶层输出结果。
[0029]上述进一步方案的有益效果是，为一名患者内的表型簇分配不同的权重，因此最终的患者级别表示可能为生存预测提供高层次信息，有利于取得良好的结果。
[0030]进一步的，所述步骤S32中通过全连阶层输出结果的计算方式为：
[0031]MultiHead(Q，K，V)＝Concat(head1，...，head
h
)W
O
[0032]wherehead
i
＝Attention(QW
iQ
，KW
iK
，VW
iV
)
[0033]其中，Q为每条数据的查询内容，W
iQ
为其对应的投影参数矩阵且K为每条数据的键值，W
iK
为其对应的参数矩阵且为其对应的参数矩阵且V为每条数据的内容，W
iV
为其对应的参数矩阵，且为其对应的参数矩阵，且为d
model
维度的模型输入，d
k
表示键值的维度，d
v
表示键值的维度，Concat()函数表示数据拼接，head
i
表示第i个拼接数据，W
O
为拼接函数的参数矩阵且
h为投影次数。
[0034]进一步的，所述S4具体包括：
[0035]S41、构建基于全玻片病理图像的癌症患者生存预后模型；
[0036]S42、利用步骤S14得到的数据集对所构建的预生存预后模型进行训练；
[0037]S43、每次训练将数据分为训练集、验证集、测试集，通过测试集和验证集对训练模型进行验证，根据模型最后的性能表现，选择最优的训练参数。
[0038]上述进一步方案的有益效果是，通过多次实验，可以根据模型最后的性能表现，选择最优的训练参数，实现最佳性能。
附图说明
[0039]图1为本专利技术基于深度学习的癌症病理图像生存预后模型构建方法示意图。
[0040]图2为本专利技术实施例基于多示例深度学习方法改进的癌症患者全玻片病理图像生存预后模型网络结构图。
具体实施方式
[0041]下面对本专利技术的具体实施方式进行描述，以便于本
的技术人员理解本专利技术，但应该清楚，本专利技术不限于具体实施方式的范围，对本技术领本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的癌症病理图像生存预后模型构建方法，其特征在于，包括如下步骤：S1、获取多份癌症病理图像，对所获取的图像进行感兴趣区域切块，计算感兴趣区域切块的能量值并排序，筛选排序低于设定阈值的切块构建数据集；S2、构建预训练模型并利用预训练模型提取所筛选出的切块的图像特征，并对切块特征进行聚类；S3、提取聚类之后的图像特征表达，并利用多头注意力机制聚合所有聚类的特征表达，得到病人级别的预后特征；S4、构建预后特征训练模型，利用步骤S1构建的数据集进行训练，得到生成预后模型。2.根据权利要求1所述的一种基于深度学习的癌症病理图像生存预后模型构建方法，其特征在于，所述S1具体包括：S11、获取癌症全玻片病理图像，利用病理切片组织区域分割框架将所获取的癌症全玻片病理图像分割感兴趣区域，对感兴趣区域切块并记录坐标；S12、对感兴趣区域切块进行颜色归一化，选择一张标准颜色的切片，根据其生成颜色归一化器，并对其余切片进行颜色归一化；S13、计算每个病理图像中颜色归一化后的区块的能量值，并筛选能量值前500个切块；S14、获取记录患者生存情况的表格文件，作为筛选出的切块对应的训练标签，并构建数据集。3.根据权利要求2所述的一种基于深度学习的癌症病理图像生存预后模型构建方法，其特征在于，所述S2具体包括：S21、利用预训练深度图像识别模型提取步骤S1所构建的数据集中的切块的图像特征；S22、利用K
‑
means算法对每个病人的所有切块特征进行聚类。4.根据权利要求3所述的一种基于深度学习的癌症病理图像生存预后模型构建方法，其特征在于，所述K
‑
means的算法步骤为：S221、选择初始化的k个样本作为初始聚类中心a＝a1,a1,...a
k
；S222、针对数据集中每个样本X
i
计算它到k个聚类中心的距离并将其分到距离最小的聚类中心所对应的类中；S...

【专利技术属性】
技术研发人员：付波，吴飞，刘沛，叶丰，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：