可融合不完备多模态且可跨医疗站点的鼻咽癌预后预测方法技术

本发明专利技术涉及预后预测技术领域，公开了可融合不完备多模态且可跨医疗站点的鼻咽癌预后预测方法，包括以下步骤：S1.接收原始数据，并提取得到多模态数据；S2.引入全连接重构网络，通过重构网络得到多模态数据的融合特征；S3.引入多层全连接的生存分析网络，得到生存风险；S4.构建跨站点的偏对比学习模型；偏对比学习模型按正配对的样本来源不同，进行对比学习；S5.基于重构网络、生存分析网络、偏对比学习模型得到总损失函数，训练重构网络和生存分析网络；S6.通过步骤S5中训练好的重构网络和生存分析网络计进行鼻咽癌预后预测。本发明专利技术解决了现有技术无法应对不完备多模态数据和医疗站点间数据偏移的问题。疗站点间数据偏移的问题。疗站点间数据偏移的问题。

【技术实现步骤摘要】
可融合不完备多模态且可跨医疗站点的鼻咽癌预后预测方法


[0001]本专利技术涉及预后预测
，更具体的，涉及可融合不完备多模态且可跨医疗站点的鼻咽癌预后预测方法。

技术介绍

[0002]鼻咽癌的发病机制复杂，解剖位置靠近颅底，手术难度大。随着调强放疗技术的推广，鼻咽癌患者的长期生存率得到了一定程度的提高，5年局部复发率降低至10％以下。然而，远处转移及局部复发仍然是鼻咽癌治疗失败的主要原因。因此，建立准确稳健的预后预测模型，能够更好地指导增加(或降低)治疗强度，从而减少高风险患者的复发和死亡风险(或减少低风险患者的治疗毒性)。
[0003]针对鼻咽癌患者的预后预测问题，现有文献提出了一种面向核磁共振影像、临床特征等多模态数据的深度学习方法。该方法从核磁T1加权像、T2加权像和T1加权对比增强像中提取深度特征，再将其与EB病毒定量检测结果、TNM分期指标、性别、年龄、BMI指标、乳酸脱氢酶、白蛋白等临床因素相结合，输入到机器学习算法XGBoost中得到最终的风险指数。该鼻咽癌预后预测深度学习方法在多家医疗站点(即多家医院)的生存分析任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.可融合不完备多模态且可跨医疗站点的鼻咽癌预后预测方法，其特征在于：包括以下步骤：S1.接收包括核磁共振影像和临床特征的原始数据，并提取其影像组学特征，得到多模态数据；S2.引入全连接重构网络，通过重构网络进行多模态数据融合、跨站点特征变换，得到多模态数据的融合特征；S3.引入多层全连接的生存分析网络，将融合特征输入生存分析网络中，得到生存风险；S4.构建跨站点的偏对比学习模型；将多模态数据中具有生存事件和生存时间数据标的站点称为源域，将多模态数据中不具有数据标签、待进行模型预测的站点称为靶域；偏对比学习模型按正配对的样本来源不同，分别对多模态数据的融合特征的源域、靶域、跨域特征进行对比学习；S5.基于重构网络、生存分析网络、偏对比学习模型得到总损失函数，并利用PyTorch进行梯度优化，训练重构网络和生存分析网络；S6.通过步骤S5中训练好的重构网络和生存分析网络求得融合特征、生存风险，进一步计算并输出相似样本配对、个体化生存曲线，通过相似样本配对和个体化生存曲线进行鼻咽癌预后预测。2.根据权利要求1所述的鼻咽癌预后预测方法，其特征在于：所述的步骤S1中，核磁共振影像包括诱导化疗前的头部扫描、诱导化疗后的头部扫描、诱导化疗前的颈部扫描、诱导化疗后的颈部扫描；诱导化疗前的头部扫描包括核磁T1加权像和T1加权对比增强像；诱导化疗后的头部扫描包括核磁T1加权像或T1加权对比增强像；诱导化疗前的颈部扫描包括T2加权像；诱导化疗后的颈部扫描包括T2加权像；临床数据包括预后相关的生物标志物、血常规检测、烟酒史；预后相关的生物标志物包括诱导化疗前的pEBV
‑
DNA水平、诱导化疗后的pEBV
‑
DNA水平、T分期、N分期、总分期、年龄；血常规检测包括血红蛋白、白蛋白、C
‑
反应蛋白、乳酸脱氢酶。3.根据权利要求2所述的鼻咽癌预后预测方法，其特征在于：所述的步骤S1中，接收包括核磁共振影像和临床特征的原始数据，并提取其影像组学特征，得到多模态数据，具体步骤为：S101.对病人的诱导化疗前的头部扫描、诱导化疗后的头部扫描、诱导化疗前的颈部扫描、诱导化疗后的颈部扫描，分别进行分割，得到带有分割掩码的核磁共振影像，所述的带有分割掩码的核磁共振影像包括诱导化疗前的原发灶、诱导化疗后的原发灶、诱导化疗前的淋巴结、诱导化疗后的淋巴结；S102.将带有分割掩码的核磁共振影像分别输入到Python包Pyradiomics中提取影像组学特征；所述的影像组学特征包括形状特征、一阶统计特征、二阶统计特征共三组特征，其中形状特征和一阶统计特征使用默认设定，二阶统计特征则包括使用灰度共生矩阵、灰度游程矩阵、灰度大小区域矩阵和灰度相关性矩阵提取的特征；S103.将病人的影像组学特征与其临床数据合并成为多模态数据，记为其中M为模态数量，i为病人标号；记和x
i
对应的模态指示变量为a
i
＝[a
i1
；
…
；a
iM
]，其中a
im
＝
1表示病人i具有第m个模态的数据，a
im
＝0表示病人i缺失了第m个模态的数据。4.根据权利要求3所述的鼻咽癌预后预测方法，其特征在于：所述的步骤S2中，引入全连接重构网络，通过重构网络进行多模态数据融合、跨站点特征变换，得到多模态数据的融合特征，具体步骤为；S201.记多模态数据的源域上n
s
个样本组成的数据集为多模态数据的靶域上n
t
个样本组成的数据集为δ
i
＝1表示截到收集时间的病人i已发生局部复发或死亡的状态，对应的y
i
为生存时间；δ
i
＝0表示截到收集时间的病人i既没有原位癌存在也没有浸润性疾病的状态，对应的y
i
为删失时间；S202.构建M个并行的全连接重构网络，针对多模态样本和利用M个并行的全连接重构网络{R
(1)
,
…
,R
(M)
}，寻找多模态数据的源域的数据集和多模态数据的靶域的数据集融合空间中对应的融合特征f
i
，重构网络的目标函数为：其中F＝[f1,
…
,f
n
]
T
为融合特征f
i
构成的矩阵，θ
R
为M个并行的全连接重构网络的所有待优化参数；S203.对多模态数据的源域和靶域中所有样本重复执行S202，得到多模态数据的源域的融合特征矩阵F
s
和多模态数据的靶域的融合特征矩阵F
t
，即和S204.根据多模态数据的源域和靶域各自的融合特征矩阵，计算跨站点的注意力矩阵：其中d为f
i
的维度，softmax表示对矩阵进行按行归一化处理；S205.根据跨站点的注意力矩阵A，对多模态数据的靶域的融合特征矩阵F
t
进行变换...

【专利技术属性】
技术研发人员：任传贤，许耿鑫，
申请(专利权)人：中山大学，
类型：发明
国别省市：