【技术实现步骤摘要】
本专利技术涉及医学图像处理，尤其涉及一种基于乳腺癌肿瘤多模态数据的多任务图像处理方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、有效的生存风险预测和精确的诊断有助于个性化的医疗干预，显著提高患者的存活率。近年来，计算机视觉、深度学习和生物信息学等领域的快速发展为乳腺癌分割和生存周期预测提供了新的机会。然而，在乳腺癌分割和生存周期预测研究中，仍然存在一些挑战。首先，医学图像的高质量获取和处理需要精密的算法和设备。其次，个性化的生存周期预测需要考虑多种因素，包括患者的基因型、病理特征和治疗历史。最后，有效的特征提取和分析方法对于预测患者的生存周期至关重要。
3、专利技术人发现，由于数据采集方面的挑战、数据注释的复杂性和时间限制、隐私和监管考虑、许可和使用限制以及其他因素等障碍极大地限制了合适的医学图像数据集的可访问性。医疗数据集的稀缺阻碍了为医疗应用量身定制的深度学习模型在提高性能方面的进展。因此，如何对已有医疗数据集信息进行充分挖掘和利用，实现同一数据集的多任务处理，提高模型学习效率，成为现有技术亟待解决的问题。
技术实现思路
1、针对现有技术存在的不足，本专利技术的目的是提供一种基于乳腺癌肿瘤多模态数据的多任务图像处理方法及系统，能够利用互补和易于获取的信息来解决医学图像数量和质量不足的挑战，提高乳腺癌肿瘤分割以及患者风险值预测等多任务处理的准确性。
2、为了实现上述目的，本专利技术是
3、本专利技术第一方面提供了一种基于乳腺癌肿瘤多模态数据的多任务图像处理方法，包括以下步骤：
4、获取乳腺癌肿瘤图像和临床信息数据，并对临床信息数据进行筛选；
5、利用权值共享的双注意力机制对乳腺癌肿瘤图像进行特征提取，得到不同层次的图像特征；
6、将筛选后的临床信息进行编码，得到临床信息特征向量；
7、将不同层次的图像特征与临床信息特征向量进行特征融合，得到不同层次的融合特征；
8、利用图像处理模型对不同层次的融合特征进行多任务处理。
9、进一步的，利用权值共享的双注意力机制对乳腺癌肿瘤图像进行特征提取的具体步骤为：
10、将乳腺癌肿瘤图像划分为图像块，并映射成为特征向量；
11、将所有图像块的特征向量堆叠形成图像特征矩阵；
12、利用对权值共享的双注意力机制对图像特征矩阵进行特征提取。
13、更进一步的，利用对权值共享的双注意力机制对图像特征矩阵进行特征提取的具体步骤为：
14、利用对权值共享的双注意力机制对图像特征矩阵进行特征提取分别得到空间注意力矩阵和通道注意力矩阵；
15、将空间注意力矩阵和通道注意力矩阵进行连接得到最终的注意力矩阵。
16、进一步的，多任务包括乳腺癌肿瘤分割任务和患者风险值预测任务。
17、更进一步的，患者风险值预测任务为将不同层次的融合特征与临床信息特征堆叠成特征矩阵送入多任务逻辑回归预测模型中得到患者的风险值。
18、更进一步的，乳腺癌肿瘤分割任务为将不同层次的融合特征经过调制后送入基于卷积的解码器中得到肿瘤的分割掩码。
19、进一步的，图像处理模型的多个任务同时执行，并利用多个任务的总损失进行监督训练。
20、本专利技术第二方面提供了一种基于乳腺癌肿瘤多模态数据的多任务图像处理系统，包括：
21、数据获取模块，被配置为获取乳腺癌肿瘤图像和临床信息数据，并对临床信息数据进行筛选；
22、图像特征提取模块，被配置为利用权值共享的双注意力机制对乳腺癌肿瘤图像进行特征提取，得到不同层次的图像特征；
23、数据编码模块，被配置为将筛选后的临床信息进行编码，得到临床信息特征向量；
24、引导融合模块，被配置为将不同层次的图像特征与临床信息特征向量进行特征融合，得到不同层次的融合特征；
25、多任务处理模块，被配置为利用图像处理模型对不同层次的融合特征进行多任务处理。
26、本专利技术第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本专利技术第一方面所述的基于乳腺癌肿瘤多模态数据的多任务图像处理方法中的步骤。
27、本专利技术第四方面提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本专利技术第一方面所述的基于乳腺癌肿瘤多模态数据的多任务图像处理方法中的步骤。
28、以上一个或多个技术方案存在以下有益效果：
29、本专利技术公开了一种基于乳腺癌肿瘤多模态数据的多任务图像处理方法及系统，其利用互补且易于获得的信息即患者的临床信息辅助模型从图像中学习特征，临床数据中包含丰富的数据，包括患者的病史、诊断结果、治疗记录等。这些细节可以提供上下文洞察和对患者的临床理解，从而在图像分割过程中显着帮助解释和分析。
30、本专利技术将肿瘤分割与风险值预测集成在一个方法，使用两个任务的损失共同监督模型的训练，两个任务相辅相成，有效的促进模型从多模态数据中提取需要的特征，从而提高模型肿瘤分割与生存周期预测的准确性。
31、本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
本文档来自技高网...【技术保护点】
1.基于乳腺癌肿瘤多模态数据的多任务图像处理方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于乳腺癌肿瘤多模态数据的多任务图像处理方法，其特征在于，利用权值共享的双注意力机制对乳腺癌肿瘤图像进行特征提取的具体步骤为：
3.如权利要求2所述的基于乳腺癌肿瘤多模态数据的多任务图像处理方法，其特征在于，利用对权值共享的双注意力机制对图像特征矩阵进行特征提取的具体步骤为：
4.如权利要求1所述的基于乳腺癌肿瘤多模态数据的多任务图像处理方法，其特征在于，多任务包括乳腺癌肿瘤分割任务和患者风险值预测任务。
5.如权利要求4所述的基于乳腺癌肿瘤多模态数据的多任务图像处理方法，其特征在于，患者风险值预测任务为将不同层次的融合特征与临床信息特征堆叠成特征矩阵送入多任务逻辑回归预测模型中得到患者的风险值。
6.如权利要求4所述的基于乳腺癌肿瘤多模态数据的多任务图像处理方法，其特征在于，乳腺癌肿瘤分割任务为将不同层次的融合特征经过调制后送入基于卷积的解码器中得到肿瘤的分割掩码。
7.如权利要求1所述的基于乳腺癌肿瘤多模态
8.基于乳腺癌肿瘤多模态数据的多任务图像处理系统，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的基于乳腺癌肿瘤多模态数据的多任务图像处理方法。
10.一种终端设备，其特征在于，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7中任一项所述的基于乳腺癌肿瘤多模态数据的多任务图像处理方法。
...【技术特征摘要】
1.基于乳腺癌肿瘤多模态数据的多任务图像处理方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于乳腺癌肿瘤多模态数据的多任务图像处理方法，其特征在于，利用权值共享的双注意力机制对乳腺癌肿瘤图像进行特征提取的具体步骤为：
3.如权利要求2所述的基于乳腺癌肿瘤多模态数据的多任务图像处理方法，其特征在于，利用对权值共享的双注意力机制对图像特征矩阵进行特征提取的具体步骤为：
4.如权利要求1所述的基于乳腺癌肿瘤多模态数据的多任务图像处理方法，其特征在于，多任务包括乳腺癌肿瘤分割任务和患者风险值预测任务。
5.如权利要求4所述的基于乳腺癌肿瘤多模态数据的多任务图像处理方法，其特征在于，患者风险值预测任务为将不同层次的融合特征与临床信息特征堆叠成特征矩阵送入多任务逻辑回归预测模型中得到患者的风险值。
6.如权利要求4所述的基于乳腺癌肿瘤多模...
【专利技术属性】
技术研发人员：王红，李伟，刘天宇，冯飞燕，关锴，刘起源，吴凯，郑芙琳，李晶，王雅婷，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。