【技术实现步骤摘要】
本公开涉及人工智能，尤其涉及一种肿瘤风险预测方法、装置和存储介质。
技术介绍
1、随着信息技术的发展，人工智能技术在医疗领域拥有广泛的应用，以深度学习为基础的计算机方法能够辅助医生进行疾病预测，大大提升了医疗诊断的效率和准确率。而在肿瘤(例如胶质瘤)风险诊断的场景中，由于在手术中存在诊断的时间短、任务重、高风险、高难度等要求下极容易出现误诊、误判等问题，因此人工诊断难度较大，急需机器自动诊断手段。
2、然而，目前的计算病理学方法往往关注基于常规病理图像的最终诊断，更关注病理图像与临床信息、分子特征等模态数据的融合，且基于现有方法进行的肿瘤风险预测复杂、低效，不适合临床诊断，且结果准确度较低。因此，亟需一种新型的肿瘤风险预测方案实现全自动肿瘤(如脑胶质瘤)的快速、准确诊断。
技术实现思路
1、有鉴于此，本公开提出了一种肿瘤风险预测方法、装置和存储介质。
2、根据本公开的一方面，提供了一种肿瘤风险预测方法。该方法包括：
3、基于包含目标肿瘤位置的核磁图像序列进行特征提取，得到第一图像特征；
4、基于包含目标肿瘤位置的病理图像进行特征提取，得到第二图像特征；
5、对第一图像特征和第二图像特征进行多模态特征融合，得到多模态融合后的特征；
6、基于多模态融合后的特征进行分类，得到肿瘤风险预测结果，肿瘤风险预测结果用于指示肿瘤的风险程度。
7、在一种可能的实现方式中，肿瘤包括脑胶质瘤，基于包含目标肿瘤位置的核磁
8、对核磁图像序列中的各核磁图像进行梯度场矫正，得到梯度场矫正后的图像序列；
9、对梯度场矫正后的图像进行去头骨处理和剪裁处理，得到处理后的核磁图像序列；
10、对处理后的核磁图像序列中的各核磁图像进行特征提取，得到各核磁图像的特征作为第一图像特征。
11、在一种可能的实现方式中，基于包含目标肿瘤位置的病理图像进行特征提取，得到第二图像特征，包括：
12、将病理图像中组织部分对应的图像切分为多个图像块；
13、将多个图像块分别进行特征提取，得到各图像块对应的特征作为第二图像特征。
14、在一种可能的实现方式中，对第一图像特征和第二图像特征进行多模态特征融合，得到多模态融合后的特征，包括：
15、基于第一线性映射参数对第一图像特征进行处理，得到查询特征；
16、基于第二线性映射参数对第二图像特征进行处理，得到键特征；
17、基于第三线性映射参数对第二图像特征进行处理，得到值特征；
18、基于查询特征和键特征，计算注意力分数，注意力分数表示核磁图像序列和病理图像的图像块之间的相关程度；
19、基于注意力分数和值特征计算查询特征与键特征、值特征之间的互注意力值，作为多模态融合后的特征。
20、在一种可能的实现方式中，基于多模态融合后的特征进行分类，得到肿瘤风险预测结果，包括：
21、将多模态融合后的特征和分类标记输入深度学习神经网络，得到分类标记的输出向量，分类标记的输出向量为多模态融合后的特征的语义表示；
22、将分类标记的输出向量输入全连接层分类器，得到肿瘤风险预测结果，肿瘤风险预测结果为二分类结果。
23、在一种可能的实现方式中，该方法还包括：
24、将多模态融合后的特征和分类标记输入深度学习神经网络，得到注意力权重；
25、按照对应注意力权重从大到小的顺序选择核磁图像序列中预设数量的核磁图像，预设数量的核磁图像为含有肿瘤的核磁图像；
26、以预设数量的核磁图像作为核磁图像序列的肿瘤定位结果。
27、在一种可能的实现方式中，该方法还包括：
28、基于注意力分数，选择预设数量的核磁图像对应的病理图像进行可视化处理，得到病理图像的病灶区域。
29、根据本公开的另一方面，提供了一种肿瘤风险预测装置。该装置包括：
30、第一特征提取模块，用于基于包含目标肿瘤位置的核磁图像序列进行特征提取，得到第一图像特征；
31、第二特征提取模块，用于基于包含目标肿瘤位置的病理图像进行特征提取，得到第二图像特征；
32、多模态特征融合模块，用于对第一图像特征和第二图像特征进行多模态特征融合，得到多模态融合后的特征；
33、分类模块，用于基于多模态融合后的特征进行分类，得到肿瘤风险预测结果，肿瘤风险预测结果用于指示肿瘤的风险程度。
34、在一种可能的实现方式中，肿瘤包括脑胶质瘤，第一特征提取模块，用于：
35、对核磁图像序列中的各核磁图像进行梯度场矫正，得到梯度场矫正后的图像序列；
36、对梯度场矫正后的图像进行去头骨处理和剪裁处理，得到处理后的核磁图像序列；
37、对处理后的核磁图像序列中的各核磁图像进行特征提取，得到各核磁图像的特征作为第一图像特征。
38、在一种可能的实现方式中，第二特征提取模块，用于：
39、将病理图像中组织部分对应的图像切分为多个图像块；
40、将多个图像块分别进行特征提取，得到各图像块对应的特征作为第二图像特征。
41、在一种可能的实现方式中，多模态特征融合模块，用于：
42、基于第一线性映射参数对第一图像特征进行处理，得到查询特征；
43、基于第二线性映射参数对第二图像特征进行处理，得到键特征；
44、基于第三线性映射参数对第二图像特征进行处理，得到值特征；
45、基于查询特征和键特征，计算注意力分数，注意力分数表示核磁图像序列和病理图像的图像块之间的相关程度；
46、基于注意力分数和值特征计算查询特征与键特征、值特征之间的互注意力值，作为多模态融合后的特征。
47、在一种可能的实现方式中，分类模块，用于：
48、将多模态融合后的特征和分类标记输入深度学习神经网络，得到分类标记的输出向量，分类标记的输出向量为多模态融合后的特征的语义表示；
49、将分类标记的输出向量输入全连接层分类器，得到肿瘤风险预测结果，肿瘤风险预测结果为二分类结果。
50、在一种可能的实现方式中，该装置还包括：
51、输入模块，用于将多模态融合后的特征和分类标记输入深度学习神经网络，得到注意力权重；
52、选择模块，用于按照对应注意力权重从大到小的顺序选择核磁图像序列中预设数量的核磁图像，预设数量的核磁图像为含有肿瘤的核磁图像；
53、确定模块，用于以预设数量的核磁图像作为核磁图像序列的肿瘤定位结果。
54、在一种可能的实现方式中，该装置还包括：
55、可视化处理模块，用于基于注意力分数，选择预设数量的核磁图像对应的病理图像进行可视化处理，得到病本文档来自技高网...
【技术保护点】
1.一种肿瘤风险预测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述肿瘤包括脑胶质瘤，所述基于包含目标肿瘤位置的核磁图像序列进行特征提取，得到第一图像特征，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于包含目标肿瘤位置的病理图像进行特征提取，得到第二图像特征，包括：
4.根据权利要求1所述的方法，所述对所述第一图像特征和所述第二图像特征进行多模态特征融合，得到多模态融合后的特征，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述多模态融合后的特征进行分类，得到肿瘤风险预测结果，包括：
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
7.根据权利要求4所述的方法，其特征在于，所述方法还包括：
8.一种肿瘤风险预测装置，其特征在于，所述装置包括：
9.一种肿瘤风险预测装置，其特征在于，包括：
10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求
...【技术特征摘要】
1.一种肿瘤风险预测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述肿瘤包括脑胶质瘤，所述基于包含目标肿瘤位置的核磁图像序列进行特征提取，得到第一图像特征，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于包含目标肿瘤位置的病理图像进行特征提取，得到第二图像特征，包括：
4.根据权利要求1所述的方法，所述对所述第一图像特征和所述第二图像特征进行多模态特征融合，得到多模态融合后的特征，包括：
5.根据权利要求4所述的方法，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。