基于对比学习的胃癌分类模型的预训练及微调方法技术

本申请公开了一种基于对比学习的胃癌分类模型的预训练及微调方法，在预训练阶段，通过大量的无标注的病例样本数据，综合考虑多种不同粒度的对比学习，利用实例级别的对比方法学习图片和文本在全局特征上的对齐、图片子区域/文本字符级别的对比方法学习图片和文本在局部特征上的对齐，同时利用掩码语言损失和图像重建损失完成了融合编码器的学习，提高模型的特征表示能力；在微调训练模型阶段，通过少量有标注的病例样本，利用监督对比学习推近同一标签的病例样本的特征空间距离，推远不同标签病例样本的距离，进一步微调训练模型，提高了模态融合编码能力，从而提升系统分类效果，实现智能的胃癌诊断。实现智能的胃癌诊断。实现智能的胃癌诊断。

【技术实现步骤摘要】
基于对比学习的胃癌分类模型的预训练及微调方法


[0001]本申请涉及胃癌分类
，具体涉及一种基于对比学习的胃癌分类模型的预训练及微调方法。

技术介绍

[0002]胃癌的诊断主要是依据实验室的检查，例如影像学、胃镜等，诊断主要根据病人的症状，例如胃痛、胃炎的病史、黑便、乏力等。近年来，结合人工智能技术的智能胃癌诊断分类技术逐渐得到验证，其极大地提高了数据驱动的胃癌诊断任务的准确性和效率。目前，受多模态数据特征对齐复杂、数据质量参差不齐、高维特征提取困难等影响，多模态的智能胃癌分类技术在实际应用中仍然同理论效果存在误差，影响了其实际服务效果。

技术实现思路

[0003]为此，本申请提供一种基于对比学习的胃癌分类模型的预训练及微调方法，以解决现有技术存在的多模态智能胃癌分类在实际应用中仍然同理论效果存在误差的问题。
[0004]为了实现上述目的，本申请提供如下技术方案：
[0005]第一方面，一种基于对比学习的胃癌分类模型的预训练方法，包括：
[0006]获取无标签的病例样本数据；所述病例样本数据为包含图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的胃癌分类模型的预训练方法，其特征在于，包括：获取无标签的病例样本数据；所述病例样本数据为包含图片和文本格式的多模态数据；获取所述病例样本数据的图片编码特征和文本编码特征；根据所述图片编码特征和所述文本编码特征计算所述病例样本数据在不同粒度的对比损失；所述对比损失包括全局对比损失和局部对比损失；根据所述对比损失分别对齐同一病例样本中图片和文本的全局特征和局部特征；将所述文本编码特征融合到所述图片编码特征中，并对图片中随机掩码的子区域进行预测重构，计算图像重建损失；将所述图片编码特征融合到所述文本编码特征中，并对文本中随机掩码的字符进行预测，计算文本的掩码语言损失；根据所述图像重建损失和所述文本的掩码语言损失加权计算得到总的训练损失，并根据总的训练损失更新各个编码器的参数和分类器的参数。2.根据权利要求1所述的基于对比学习的胃癌分类模型的预训练方法，其特征在于，所述全局对比损失的计算过程具体为：计算所述病例样本数据的图片编码特征和文本编码特征的相似度；根据所述相似度计算图像
‑
文本的全局对比损失和文本
‑
图像的全局对比损失；根据所述图像
‑
文本的全局对比损失和文本
‑
图像的全局对比损失得到全局对比损失。3.根据权利要求1所述的基于对比学习的胃癌分类模型的预训练方法，其特征在于，所述局部对比损失的具体计算过程为：计算所述病例样本数据的图片编码特征和文本编码特征的点积相似性；根据所述点积相似性计算注意力权重；根据所述注意力权重计算注意力加权图像表示；根据所述注意力加权图像表示计算图像
‑
文本的局部对比损失和文本
‑
图像的局部对比损失；根据所述图像
‑
文本的局部对比损失和文本
‑
图像的局部对比损失得到局部对比损失。4.根据权利要求1所述的基于对比学习的胃癌分类模型的预训练方法，其特征在于，所述根据总的训练损失更新各个编码器的参数和分类器的参数时采用的是梯度下降的方法进行迭代更新。5.一种基于对比学习的胃癌分类模型的微调方法，其特征在于，包括...

【专利技术属性】
技术研发人员：许鑫鑫，梁文全，高云鹤，李杨，王子健，郗洪庆，王鑫鑫，卫勃，陈凛，
申请(专利权)人：中国人民解放军总医院第一医学中心，
类型：发明
国别省市：