【技术实现步骤摘要】
本专利技术涉及预测，尤其涉及一种基于多模态数据的乳腺癌疗效预测方法、装置及电子设备。
技术介绍
1、新辅助治疗(nat，neoadjuvant therapy)已成为乳腺癌的标准治疗，用于减小肿瘤的分期。在乳腺癌中，病理完全缓解(pcr，pathologic complete response)是一种有效的替代终点用于预测预后。对于nat后的手术，达到pcr的患者可以从保乳手术(bcs)中受益，甚至可以省略手术而不进行乳房切除术。
2、对于pcr评估的金标准取决于nat术后标本的病理结果，对于预测pcr对于改善手术风险分层和患者管理具有临床意义，通过基于mri影像的术前pcr预测模型进行预测，模型通过mri影像中提取的影像特征来预测患者经过新辅助治疗后是否pcr，多数是采用对2d影像数据进行特征提取，但是，此种方法存在模态单一、缺乏患者多维度信息，从而导致预测性能受限、预测结果不准确的问题，进而导致后续确定治疗方案存在误判的风险。
技术实现思路
1、本专利技术提供了一种基于多模态数据的乳腺癌疗效预测方法、装置及电子设备，用于解决现有技术中存在的对于疗效预测不准确的问题。
2、根据本专利技术的一方面，提供了一种基于多模态数据的乳腺癌疗效预测方法，包括：
3、获取目标对象在第一阶段的第一医学影像数据和目标对象在第二阶段的第二医学影像数据，第一阶段在第二阶段之前；以及获取目标对象的临床特征数据；
4、对第二医学影像数据进行裁剪，得到裁剪影像
5、对第一医学影像数据和第二医学影像数据进行特征提取处理，得到第一特征数据；
6、调用预训练的疗效预测模型，疗效预测模型包括第一网络模块、第二网络模型，其中，第一网络模块由两个卷积神经网络子模块和特征融合子模块构成，第二网络模块由特征筛选子模块和分类子模块构成；
7、将裁剪影像数据输入至第一网络模块，得到第二特征数据，将第一特征数据、第二特征数据、临床特征数据输入至第二网络模块，得到第二医学影像数据相对于第一医学影像数据的疗效预测结果。
8、可选的，在获取目标对象在第一阶段的第一医学影像数据和目标对象在第二阶段的第二医学影像数据之后，还包括：
9、基于第一医学影像数据对第二医学影像数据进行配准处理，得到配准后的第二医学影像数据，其中，第一医学影像数据中包括已勾画出的感兴趣区域。
10、可选的，获取目标对象的临床特征数据，包括：
11、获取临床原始数据，对临床原始数据进行数据清洗，得到结构化的临床特征数据。
12、可选的，第二网络模块中的特征筛选子模块用于对输入的至少一类特征数据进行特征筛选，确定满足预设需求的目标特征数据；第二网络模块中的分类子模块用于对目标特征数据进行特征分类处理，以得到疗效预测模型的预测结果。
13、可选的，裁剪影像数据包括第一类影像数据和第二类影像数据；
14、将裁剪影像数据输入至第一网络模块，得到第二特征数据，包括：
15、基于第一网络模块中的第一卷积神经网络子模块对第一类影像数据进行特征提取，得到第一类特征数据；
16、基于第一网络模块中的第二卷积神经网络子模块对第二类影像数据进行特征提取，得到第二类特征数据；
17、基于第一网络模块中的特征融合子模块对第一类特征数据和第二类特征数据进行特征融合，得到第二特征数据。
18、可选的，疗效预测模型的训练方法包括：
19、获取样本数据集，将样本数据集划分为训练队列和验证队列；其中，样本数据集包括样本对象在第一阶段的第一医学影像数据和样本对象在第二阶段的第二医学影像数据，以及获取样本对象的临床特征数据、病理结果数据，病理结果数据作为疗效预测模型的标签数据；
20、对训练队列中的第二医学影像数据进行裁剪处理，得到裁剪影像数据；
21、在疗效预测模型的第一训练阶段，将裁剪影像数据输入至第一网络模块，得到第二特征数据，将第二特征数据输入至第二网络模块，得到第一预测结果数据，基于第一预测结果数据和对应的标签数据确定第一损失函数，基于第一损失函数对第一网络模块进行训练，得到训练好的第一网络模块；
22、在疗效预测模型的第二训练阶段，对第一医学影像数据和第二医学影像数据进行特征提取处理，得到第一特征数据；基于第一特征数据、第二特征数据、临床特征数据和对应的标签数据对第二网络模块进行训练，得到训练好的第二网络模块；
23、训练好的第一网络模块和训练好的第二网络模块构成待评估疗效预测模型。
24、可选的，方法还包括：
25、基于验证队列对待评估疗效预测模型进行评估，得到待评估疗效预测模型的评估结果；
26、其中，评估过程包括：将验证队列作为待评估疗效预测模型的输入参数，待评估疗效预测模型输出预测结果，基于预测结果绘制对应的roc曲线；基于roc曲线确定auc值，基于auc值确定待评估疗效预测模型的评估结果。
27、根据本专利技术的一方面，提供了一种基于多模态数据的乳腺癌疗效预测装置，包括：
28、数据获取模块，用于获取目标对象在第一阶段的第一医学影像数据和目标对象在第二阶段的第二医学影像数据，第一阶段在第二阶段之前；以及获取目标对象的临床特征数据；
29、裁剪影像数据确定模块，用于对第二医学影像数据进行裁剪，得到裁剪影像数据，裁剪影像数据中包括感兴趣区域；
30、第一特征数据确定模块，用于对第一医学影像数据和第二医学影像数据进行特征提取处理，得到第一特征数据；
31、疗效预测模型调用模块，用于调用预训练的疗效预测模型，疗效预测模型包括第一网络模块、第二网络模型，其中，第一网络模块由两个卷积神经网络子模块和特征融合子模块构成，第二网络模块由特征筛选子模块和分类子模块构成；
32、疗效预测结果确定模块，用于将裁剪影像数据输入至第一网络模块，得到第二特征数据，将第一特征数据、第二特征数据、临床特征数据输入至第二网络模块，得到第二医学影像数据相对于第一医学影像数据的疗效预测结果。
33、根据本专利技术的另一方面，提供了一种电子设备，电子设备包括：
34、至少一个处理器；以及
35、与至少一个处理器通信连接的存储器；其中，
36、存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本专利技术任一实施例的基于多模态数据的乳腺癌疗效预测方法。
37、根据本专利技术的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本专利技术任一实施例的基于多模态数据的乳腺癌疗效预测方法。
38、根据本专利技术的另一方面，提供了一种计算机程序产品，其特征在于，计算机程序产品包括计算机程序，计算机程序在本文档来自技高网...
【技术保护点】
1.一种基于多模态数据的乳腺癌疗效预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在获取目标对象在第一阶段的第一医学影像数据和所述目标对象在第二阶段的第二医学影像数据之后，还包括：
3.根据权利要求1所述的方法，其特征在于，所述获取所述目标对象的临床特征数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述第二网络模块中的特征筛选子模块用于对输入的至少一类特征数据进行特征筛选，确定满足预设需求的目标特征数据；所述第二网络模块中的分类子模块用于对所述目标特征数据进行特征分类处理，以得到所述疗效预测模型的预测结果。
5.根据权利要求1所述的方法，其特征在于，所述裁剪影像数据包括第一类影像数据和第二类影像数据；
6.根据权利要求1所述的方法，其特征在于，所述疗效预测模型的训练方法包括：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.一种基于多模态数据的乳腺癌疗效预测装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括：>
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的基于多模态数据的乳腺癌疗效预测方法。
...【技术特征摘要】
1.一种基于多模态数据的乳腺癌疗效预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在获取目标对象在第一阶段的第一医学影像数据和所述目标对象在第二阶段的第二医学影像数据之后，还包括：
3.根据权利要求1所述的方法，其特征在于，所述获取所述目标对象的临床特征数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述第二网络模块中的特征筛选子模块用于对输入的至少一类特征数据进行特征筛选，确定满足预设需求的目标特征数据；所述第二网络模块中的分类子模块用于对所述目标特征数据进行特征分类处理，以得到所述疗效预测模型的预测结果。
<...【专利技术属性】
技术研发人员：袁芃，杨伟栋，周子捷，邵涛，刘长东，许文仪，冯焕，孙淼，周锦泽，
申请(专利权)人：联仁健康医疗大数据科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。