基于弱监督多模态对比学习的预测模型构建方法及乳腺癌HER2评分预测方法技术

本发明专利技术公开了一种基于弱监督多模态对比学习的预测模型构建方法及乳腺癌HER2评分预测方法，模型构建方法步骤包括：获取具有图像及标签的多模态病理全切片数据集并进行分块预处理；利用特征编码器提取分块图像特征；建立基于弱监督多模态对比学习的网络模型；利用包含弱标签的多模态病理全切片数据集训练网络模型。乳腺癌HER2评分预测方法即利用训练好的模型对病理全切片进行预测。本发明专利技术能够通过弱监督多模态对比学习方法来学习和融合不同模态病理全切片相关的病理知识，有效地实现多模态之间的语义互补并提高每个模态的学习能力，完成病理全切片的HER2评分任务并进行可视化解释性分析。

【技术实现步骤摘要】

本专利技术涉及组织病理学全切片图像分析，具体涉及一种基于弱监督多模态对比学习的预测模型构建方法及乳腺癌her2评分预测方法。

技术介绍

1、传统的乳腺癌her2(human epidermal growth factor receptor 2，人类表皮生长因子受体)评分需要富有经验的病理医生从显微镜下进行查看，通过观察免疫组织化学染色切片来观察染色情况和量化her2分数，得出判读结论。随着病理诊断需求的逐年上升，病理医生的工作强度逐渐增大，导致整个病理诊断流程的效率受到负面影响。另外，由于人的观察存在主观因素，对最终判断和量化的准确性和客观性提出了巨大的挑战。随着人工智能技术的快速发展，利用深度学习技术训练神经网络进行乳腺癌her2评分称为可能。

2、最近几年，病理切片数字化技术逐渐成熟，病理医生可以利用其软件在屏幕前对病理全切片进行观察和判读。因此，自然地想到利用人工智能在图像分析领域的发展来处理和分析数字化的病理全切片。然而，相比于自然图像，病理全切片具有高分辨率的特点，无法直接输入进网络进行训练。因此，往往需要将整张数字病理全切片切割为若本文档来自技高网...

【技术保护点】

1.一种基于弱监督多模态对比学习的预测模型构建方法，其特征在于，步骤包括：

2.根据权利要求1所述的基于弱监督多模态对比学习的预测模型构建方法，其特征在于，步骤S1的具体过程为：

3.根据权利要求2所述的基于弱监督多模态对比学习的预测模型构建方法，其特征在于，步骤S2中，所述弱监督多模态对比学习网络模型包含两个单模态对应的主干网络、一个多模态注意力对比学习模块和一个多模态特征融合模块，其中，所述多模态特征融合模块包含一个多模态特征映射线性层和一个多模态分类器，每个单模态对应的主干网络包含一个线性层、一个多头自注意力模块、一个层归一化层和一个分类器。

4...

【技术特征摘要】

1.一种基于弱监督多模态对比学习的预测模型构建方法，其特征在于，步骤包括：

2.根据权利要求1所述的基于弱监督多模态对比学习的预测模型构建方法，其特征在于，步骤s1的具体过程为：

3.根据权利要求2所述的基于弱监督多模态对比学习的预测模型构建方法，其特征在于，步骤s2中，所述弱监督多模态对比学习网络模型包含两个单模态对应的主干网络、一个多模态注意力对比学习模块和一个多模态特征融合模块，其中，所述多模态特征融合模块包含一个多模态特征映射线性层和一个多模态分类器，每个单模态对应的主干网络包含一个线性层、一个多头自注意力模块、一个层归一化层和一个分类器。

4.根据...

【专利技术属性】
技术研发人员：史骏，孙东东，代征诚，张康源，许恒锴，刘秉容，施宇阳，阮垚，杨兴明，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：