一种基于多模态融合模型的治疗效果预测方法及终端设备技术

本发明专利技术公开了一种基于多模态融合模型的治疗效果预测方法及终端设备，其中，方法包括步骤：获取肿瘤患者的治疗前后CT图像、治疗前后病理全切片扫描图像、临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果；对治疗前后CT图像和所述治疗前后病理全切片扫描图像进行特征提取处理，得到图像数据特征；对人临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果进行标注处理，得到表格数据特征；将图像数据特征与表格数据特征进行特征融合并构建多模态融合模型；基于多模态融合模型预测肿瘤患者的治疗效果。本发明专利技术提供的预测方法可得到更准确的肿瘤治疗预测结果，具有直接临床指导意义，给患者带来个体化精准治疗方案。体化精准治疗方案。体化精准治疗方案。

【技术实现步骤摘要】
一种基于多模态融合模型的治疗效果预测方法及终端设备


[0001]本专利技术涉及免疫治疗效果预测
，尤其涉及一种基于多模态融合模型的治疗效果预测方法及终端设备。

技术介绍

[0002]人工智能的应用越来越广，与医疗结合也越来越紧密，目前大多借助基因组学、放射学图像或病理图像等单一模态信息来构建人工智能模型，用于辅助诊断，而少有用于疗效及预后预测方面。癌症的免疫治疗在2018年获得诺贝尔生物医学奖，通过阻断程序性死亡受体1(Programmed cell death receptro
‑
1，PD
‑
1)和程序性死亡受体
‑
配体1(Programmed cell death ligand
‑
1，PD
‑
L1)信号通路的免疫治疗，彻底改变了转移性和无法手术切除的III期非小细胞型肺癌(NSCLC)的治疗模式，癌细胞表面上的PD
‑
L1表达起重要作用，然而，PD
‑
L1阳性肿瘤患者对该类免疫抑制剂的反应也有限，这表明PD
‑
L1表达不是治疗有效性的绝对决定因素，目前这一机理并不清楚。相比单纯新辅助化疗，新辅助免疫治疗可以带来更明显的总生存获益，但获益人群尚无明确标准来划分。
[0003]因此，现有技术还有待于改进和发展。

技术实现思路

[0004]鉴于上述现有技术的不足，本专利技术的目的在于提供一种基于多模态融合模型的治疗效果预测方法及终端设备，旨在解决现有技术对肿瘤新辅助免疫治疗效果的预测结果不准确的问题。
[0005]本专利技术的技术方案如下：
[0006]一种基于多模态融合模型的治疗效果预测方法，其中，包括步骤：
[0007]获取肿瘤患者的治疗前后CT图像、治疗前后病理全切片扫描图像、临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果；
[0008]对所述治疗前后CT图像和所述治疗前后病理全切片扫描图像进行特征提取处理，得到图像数据特征；
[0009]对所述人临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果进行标注处理，得到表格数据特征；
[0010]将所述图像数据特征与所述表格数据特征进行特征融合并构建多模态融合模型；
[0011]基于所述多模态融合模型预测肿瘤患者的治疗效果。
[0012]所述基于多模态融合模型的治疗效果预测方法，其中，还包括步骤：
[0013]对肿瘤患者进行筛选，筛选纳入标准为：经组织病理学和影像学检查证实为肿瘤患者；术前接受2
‑
3周期的PD
‑
1/PD
‑
L1新辅助治疗；新辅助治疗前进行经CT引导穿刺活检、基因突变检测、胸部CT扫描、肝肾功能检测；2
‑
3周期新辅助治疗后，术前进行胸部CT扫描、肝肾功能检查；接受手术治疗。
[0014]所述基于多模态融合模型的治疗效果预测方法，其中，对所述治疗前后CT图像进
行特征提取处理前还包括步骤：
[0015]将所述治疗前后CT图像导入ITK
‑
SNAP软件中，逐层勾画肿瘤轮廓，同时进行不同组织结构、区域的标注，并通过人工定义图像特征来注释肿瘤表型。
[0016]所述基于多模态融合模型的治疗效果预测方法，其中，对所述治疗前后病理全切片扫描图像进行特征提取处理之前还包括步骤：
[0017]通过人工勾画出所述治疗前后病理全切片扫描图像的肿瘤区，并切割成小块保存。
[0018]所述基于多模态融合模型的治疗效果预测方法，其中，采用嵌套式10
‑
fold交叉验证、Cox比例风险模型联合最小绝对收缩和选择算子算法对所述治疗前后CT图像和所述治疗前后病理全切片扫描图像进行特征提取处理，得到与新辅助免疫治疗疗效最相关的图像数据特征。
[0019]所述基于多模态融合模型的治疗效果预测方法，其中，对所述临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果进行标注处理，得到表格数据特征的步骤包括：
[0020]对临床基本特征进行标注处理包括：将女性肿瘤患者标记为0，男性肿瘤患者标记为1；吸烟量大于400支/日*年记为0，吸烟量小于或等于400支/日*年记为1，从未吸烟记为2；
[0021]对治疗前后全基因组测序信息进行标注处理包括：肿瘤患者基因表达数据中的5000多个基因适用于所有患者，在RNAseq表达方面，取前500个变异最大的基因被挑选出来作为基因组特征载体；
[0022]对治疗前后临床检验结果进行标注处理包括：肿瘤患者治疗前后的癌胚抗原，糖类抗原125及糖类抗原153为异常水平时记为0，为正常水平时记为1；肝、肾功能，电解质水平临床检验类指标为异常水平时记为0，为正常水平时记为1。
[0023]所述基于多模态融合模型的治疗效果预测方法，其中，将所述图像数据特征与所述表格数据特征进行特征融合并构建多模态融合模型的步骤中，所述多模态融合模型包括池化下采样模块、池化上采样模块以及包含多层卷积单元的U
‑
Net模块。
[0024]一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本专利技术所述基于多模态融合模型的治疗效果预测方法的步骤。
[0025]一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述通信总线实现处理器和存储器之间的连接通信；所述处理器执行所述计算机可读程序时实现如本专利技术所述基于多模态融合模型的治疗效果预测方法的步骤。
[0026]有益效果：本专利技术结合电子计算机断层扫描图像、病理全切片扫描图像、临床基本特征、全基因组测序信息以及临床检验结果等多模态信息，构建人工智能模型(多模态融合模型)，预测新辅助免疫治疗的有效性结果；本专利技术基于多模态融合模型预期得到比单一模态更准确的预测结果，可以比以往单模态提高准确率3％，具有直接临床指导意义，给患者带来个体化精准治疗方案。
附图说明
[0027]图1为本专利技术一种基于多模态融合模型的治疗效果预测方法较佳实施例的流程图。
[0028]图2为本专利技术实施例中筛选的100例肿瘤患者的临床特征示意图。
[0029]图3为本专利技术实施例中得到的CT图像分割图。
[0030]图4为本专利技术实施例中得到的40X病理全切片扫描切割示意图。
[0031]图5为本专利技术构建多模态融合模型的原理示意图。
[0032]图6为本专利技术为U
‑
Net网络构建方案示意图。
[0033]图7为本专利技术实施例中对多模态融合模型进行调试的示意图。
[0034]图8为本专利技术一种终端设备的原理框图。
具体实施方式
[0035]本专利技术提供一种基于多模态融合模型的治疗效果预测方法及终端设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合模型的治疗效果预测方法，其特征在于，包括步骤：获取肿瘤患者的治疗前后CT图像、治疗前后病理全切片扫描图像、临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果；对所述治疗前后CT图像和所述治疗前后病理全切片扫描图像进行特征提取处理，得到图像数据特征；对所述临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果进行标注处理，得到表格数据特征；将所述图像数据特征与所述表格数据特征进行特征融合并构建多模态融合模型；基于所述多模态融合模型预测肿瘤患者的治疗效果。2.根据权利要求1所述基于多模态融合模型的治疗效果预测方法，其特征在于，还包括步骤：对肿瘤患者进行筛选，筛选纳入标准为：经组织病理学和影像学检查证实为肿瘤患者；术前接受2
‑
3周期的PD
‑
1/PD
‑
L1新辅助治疗；新辅助治疗前进行经CT引导穿刺活检、基因突变检测、胸部CT扫描、肝肾功能检测；2
‑
3周期新辅助治疗后，术前进行胸部CT扫描、肝肾功能检查；接受手术治疗。3.根据权利要求1所述基于多模态融合模型的治疗效果预测方法，其特征在于，对所述治疗前后CT图像进行特征提取处理前还包括步骤：将所述治疗前后CT图像导入ITK
‑
SNAP软件中，逐层勾画肿瘤轮廓，同时进行不同组织结构、区域的标注，并通过人工定义图像特征来注释肿瘤表型。4.根据权利要求1所述基于多模态融合模型的治疗效果预测方法，其特征在于，对所述治疗前后病理全切片扫描图像进行特征提取处理之前还包括步骤：通过人工勾画出所述治疗前后病理全切片扫描图像的肿瘤区，并切割成小块保存。5.根据权利要求1所述基于多模态融合模型的治疗效果预测方法，其特征在于，采用嵌套式10
‑
fold交叉验证、Cox比例风险模型联合最小绝对收缩和选择算子算法对所述...

【专利技术属性】
技术研发人员：李谨，潘家峰，
申请(专利权)人：广州医科大学附属第一医院广州呼吸中心，
类型：发明
国别省市：