一种基于多实例知识蒸馏模型的PDL1表达水平预测方法技术

本发明专利技术为一种基于多实例知识蒸馏模型的PDL1表达水平预测方法，步骤如下：步骤一：利用基于多实例学习的教师

【技术实现步骤摘要】
一种基于多实例知识蒸馏模型的PDL1表达水平预测方法


[0001]本专利技术涉及一种基于多实例知识蒸馏模型的PDL1表达水平预测方法，属于计算病理学、模式识别和计算机视觉领域。它主要涉及多实例学习、自监督学习以及半监督学习。在医疗系统和病理分析相关领域具有广阔的应用前景。

技术介绍

[0002]计算病理学是指利用机器学习、深度学习算法对数字化病理学信息进行分析和解释。在此过程中，患者处采样得到的病理切片被全自动扫描仪数字化为特定格式的高分辨率图像，并在计算机上进行高精度多视野无缝隙拼接和处理，得到的图像称为全切片图像(Whole Slide Image,WSI)。常见全切片图像最高物理分辨率为0.25微米/像素，单个切片图像分辨率可达15000
×
15000
‑
100000
×
100000像素，因此全切片图像中蕴含丰富的可视化病理信息。目前数字病理学中常见的分析包括判定组织/细胞恶性与否、量化细胞水平生物标志物表达水平、特定类型组织/细胞/亚细胞结构的检测和分类等，相关算法和模型与计算机视觉领域的分类、分割和检测等任务设计高度交叉。在数字病理信息的分析、预后及生物标志物分析等方面，计算机视觉模型展现出了与病理学家相当甚至更优的表现。尤其是在肿瘤免疫微环境分析等涉及到各类亚细胞结构的应用中，病理学家一般需要依赖于全基因组测序、外显子组测序等时间开销与资金成本开销均比较大的手段才能得到确切结论，而相关机器学习算法模型则能进一步挖掘病理图像信息中潜在的特征和模式，实现有效的量化分析和计算。考虑到当前我国乃至世界范围内存在的癌症患者体量大、病理医师短缺以及医师水平参差导致病理分析结论置信度波动大等问题，数字病理图像分析技术的发展对降低病理研究成本、提升判读准确率和补足医疗资源缺口具有重要意义。
[0003]近年来，深度学习发展迅猛，在多个领域都取得了瞩目的进展。得益于一些大型病理图像数据集的开源，数据驱动思路开始应用于病理图像分析。CAMELYON是计算病理学领域公开的首个带有像素级标注的大型乳腺癌前哨淋巴结转移数据集，共包含1399张全切片图像及其对应的肿瘤区域标注(参加文献:利滕斯,班迪,贝诺蒂等.1399例乳腺癌患者H&E染色前哨淋巴结切片:CAMELYON数据集.大数据科学,卷7,2018(G.Litjens,P.Bandi and B.E.Bejnordi,et al.,“1399H&E
‑
stained sentinel lymph node sections of breast cancer patients:the CAMELYON dataset,”GigaScience,vol.7,no.6,giy065,2018))。随着此类数据集的开源，一部分深度学习网络模型开始被设计用于肿瘤区域检测及亚型分类、细胞检测和计数、有丝分裂检测以及肿瘤分级等任务。基于CAMELYON16数据集，D.Wang等人提出了一种基于GoogLeNet的二阶段乳腺癌淋巴前哨转移检测模型(图像块级别分类
‑
切片级别分类)，先对病理图像进行裁块，并在像素级标签监督下训练图像块分类器；而后基于图像块分类结果，手工构造多种几何特征及形态学特征对切片进行分类(参见文献：王,科斯拉,加尔吉亚等.基于深度学习的乳腺癌转移识别.预印本,https://arxiv.org/abs/1606.05718,2016.(D.Wang,A.Khosla,R.Gargeya,H.Irshad and A.H.Beck,“Deep learning for identifying metastatic breast cancer,”Preprint at https://
arxiv.org/abs/1606.05718,2016))。X.Wang等人进一步在病理切片中引入粗糙标注，在部分粗糙和切片级别标注的共同监督下构造损失函数训练图像块分类器；并构造了综合局部特征描述子、类别特征描述子和全局特征描述子的切片级别分类器，实现对肺癌切片的判别(参见文献：王,陈,甘等人.基于弱监督学习的肺癌全切片图像分析.美国电子电气工程师学会控制论汇刊,卷50,3950
‑
3962,2020.(X.Wang,H.Chen andC.Gan et al.,“Weakly supervised deep learning for whole slide lung cancer image analysis,”IEEE Trans.Cybern.,vol.50,no.9,3950
‑
3962,2020))。Syrykh等人在图像块分类器得到结果的基础上，利用输出概率均值对滤泡增生和滤泡性淋巴瘤进行判别(瑟雷赫,阿布勒,阿玛拉等.利用深度学习对组织病理学图像中的淋巴瘤进行精准判别.自然合作期刊:数字医学,卷3,2020.(C.Syrykh,A.Abreu and N.Amara et al.,“Accurate diagnosis of lymphoma on whole
‑
slidehistopathology images using deep learning,”npj Digital Medicine,vol.3,63,2020.))。Tabibu等人利用相似的深度学习模型框架对肾癌进行亚型分类并预测对应生存期(参见文献:塔比布,维诺德,瓦哈.基于组织病理学图像的分类和生存期预测.科学报告,卷9,10509,2019.(S.Tabibu,P.K.Vinod and C.V.Jawahar,“Classification and survivalprediction from histopathologyimages using deep learning,”Scientific Reports,vol.9,10509,2019.))。Rawat等人提出了一种“组织指纹”概念，认为组织病理学图像中包含了关键个体差异性信息，并利用神经网络将其中的图像块向个体标识映射，并基于神经网络提取到的特征判别乳腺癌ER、PR和HER2基因的表达情况(拉瓦特,奥尔特加,罗伊等.利用深度组织指纹特征判别乳腺癌H&E切片中的ER、PR、HER2状态.科学报告,卷10,7275,2020.(R.R.Rawat,I.Ortega and P.Roy et al.,“Deep learned tissue
‘
fingerprints
’
classify breast cancers by ER/PR/Her2 status from H&E images,”Scientific Reports,vol.9,7275,2020.))。Iizuka等人基于Inception
‑
V3网络对胃癌和结肠癌组织病理学图像进行特征提取，并利用循环卷积神经网络对图像块特征进行综本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多实例知识蒸馏模型的PDL1表达水平预测方法，其特征在于，步骤如下：步骤一：利用基于多实例学习的教师
‑
学生卷积神经网络模型对进行数字病理图像块级别PDL1表达水平预测；步骤二：构造加权蒸馏损失函数约束学生网络优化，合理配置PDL1弱标签监督信息；步骤三：利用深度随机模型对全局聚合特征进行分类，实现数字病理图像级别PDL1表达水平预测。2.根据权利要求1所述的一种基于多实例知识蒸馏模型的PDL1表达水平预测方法，其特征在于：在步骤一中，以在ImageNet上预训练的ResNet34为基础主干网络构造教师网络T及学生网络S，以图像块对应病理图像所属病例测序得到的每百万次读取在每千个碱基中匹配的fragments数FPKM为表达水平初始标签，在最大化
‑
最小化多样例学习框架下对学生网络进行训练；基于教师网络T分布约束和典型图像块实例分类损失对学生网络S参数进行优化；基于更新后学生网络S参数以指数移动平均方式更新教师网络T参数，并在每轮训练后根据教师网络输出的数据分布对各样本标签进行更新，保留一定比例典型图像块原始标签进行后续训练；最终输出图像块对应PDL1表达水平预测结果。3.根据权利要求2所述的一种基于多实例知识蒸馏模型的PDL1表达水平预测方法，其特征在于：在步骤一中，具体过程如下：S11、考虑数字病理图像的弱标签属性和具体分布情况，推定PDL1高表达与低表达病理切片中均存在一定比例高表达图像块与低表达图像块，构建多实例学习训练框架；给定初始图像块标签与其对应病理图像相同，基于训练过程中每阶段中间态网络对训练集各图像块进行典型性判别；基于对应假设构建最大化
‑
最小化样例筛选模式，分别选取一定比例的高表达与低表达典型图像块，其标签保持与所在图像相同，其余图像块则设为无标签；基于更新后数据集分布继续对网络进行训练，后续不断迭代更新数据集分布及网络参数；S12、在训练框架基础上，构造孪生结构的教师
‑
学生T
‑
S网络对；其中学生网络S参数更新受最大化
‑
最小化多实例学习框架约束，具体为：当前数据集分布下带标签图像块以交叉熵分类损失形式约束学生网络参数更新，无标签数据则通过衡量教师网络输出数据分布与学生网络输出分布的一致性参与学生网络S参数更新；更新学生网络参数后，通过指数移动平均方式对教师网络T参数进行更新；训练过程中T与S相互监督、交替更新，直至收敛。4.根据权利要求2或3所述的一种基于多实例知识蒸馏模型的PDL1表达水平预测方法，其特征在于：在步骤S11中，对于各图像块，给定其初始标签与所在病理图像相同，即对于切片X
i
，其图像块x
i,j
的标签y
i,j
＝S
i
，其中S
i
为X
i
的标签；此时训练数据集分布为D0＝{(x
i,j
,y
i,j
)|i＝1,...,N,j＝1,...,M}；基于D0对主干网络进行训练，每完成一次对所有训练样本的遍历时，基于最大化
‑
最小化原则对训练样本进行典型性判别后更新数据集分布状态，继续进行网络参数更新；对于第k轮训练，令该轮训练得到网络的对应映射为设定阈值p，对于S
i
＝1的切片图像所包含的图像块，取其值最大的p个样本更新标签为y
i,j
＝S
i
，令目标样例数量为p＞1，即对于传统多样例学习模式中情况的松弛；同样地，S
i
＝0的切片图像所包含的图像块，取其值最小的p个样本y
i,j
＝S
i
；除上述更新图像块外，其余图像块均设为无标签，更新后数据集分布为D
k
；基于D
k
继续
对网络进行优化，更新参数得到再利用更新训练集分布为D
k+1
，如此交替迭代，直至收敛。5.根据权利要求2或3所述的一种基于多实例知识蒸馏模型的PDL1表达水平预测方法，其特征在于：在步骤S12中，师生模型网络结构均采用ResNet34；其中教师网络T为学生网络S参数的指数移动平均值，即θ
k,l
＝(1
‑
α)θ
′
k,l
+αθ
k,l
‑1ꢀꢀꢀ
(1)其中θ
k,l
和θ
k,l
‑1为第k轮第l个和第l
‑
1个iteration时教师网络T的参数，θ
′
k,l
则为第k轮第l个iteration时学生网络S的参数，α是调整更新时学生网络参数贡献的权重；l为iteration数；学生网络S进行参数更新时受当时训练集具体分布D
k
的约束，基于最大化
‑
最小化多实例学习框架更新得到的训练集分布；第k轮带标签训练数据D
k,labeled
，构建交叉熵分类损失函数形成对已知分布的约束；对于无标签数据D
k,unlabeled
，利用当前教师网络T给出参考分布，基于欧式距离度量学生网络S估计分布与参考分布间距离，形成分布一致性损失函数；对T和S的输入数据进行随机数据增强，包括随机旋转、水平翻转、垂直翻转及色彩增强，形成同数据源不同形式的对比数据对...

【专利技术属性】
技术研发人员：白相志，晋达睿，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：