基于对比学习的胃癌分类模型的预训练及微调方法技术

本申请公开了一种基于对比学习的胃癌分类模型的预训练及微调方法，在预训练阶段，通过大量的无标注的病例样本数据，综合考虑多种不同粒度的对比学习，利用实例级别的对比方法学习图片和文本在全局特征上的对齐、图片子区域/文本字符级别的对比方法学习图片和文本在局部特征上的对齐，同时利用掩码语言损失和图像重建损失完成了融合编码器的学习，提高模型的特征表示能力；在微调训练模型阶段，通过少量有标注的病例样本，利用监督对比学习推近同一标签的病例样本的特征空间距离，推远不同标签病例样本的距离，进一步微调训练模型，提高了模态融合编码能力，从而提升系统分类效果，实现智能的胃癌诊断。实现智能的胃癌诊断。实现智能的胃癌诊断。

【技术实现步骤摘要】
基于对比学习的胃癌分类模型的预训练及微调方法


[0001]本申请涉及胃癌分类
，具体涉及一种基于对比学习的胃癌分类模型的预训练及微调方法。

技术介绍

[0002]胃癌的诊断主要是依据实验室的检查，例如影像学、胃镜等，诊断主要根据病人的症状，例如胃痛、胃炎的病史、黑便、乏力等。近年来，结合人工智能技术的智能胃癌诊断分类技术逐渐得到验证，其极大地提高了数据驱动的胃癌诊断任务的准确性和效率。目前，受多模态数据特征对齐复杂、数据质量参差不齐、高维特征提取困难等影响，多模态的智能胃癌分类技术在实际应用中仍然同理论效果存在误差，影响了其实际服务效果。

技术实现思路

[0003]为此，本申请提供一种基于对比学习的胃癌分类模型的预训练及微调方法，以解决现有技术存在的多模态智能胃癌分类在实际应用中仍然同理论效果存在误差的问题。
[0004]为了实现上述目的，本申请提供如下技术方案：
[0005]第一方面，一种基于对比学习的胃癌分类模型的预训练方法，包括：
[0006]获取无标签的病例样本数据；所述病例样本数据为包含图片和文本格式的多模态数据；
[0007]获取所述病例样本数据的图片编码特征和文本编码特征；
[0008]根据所述图片编码特征和所述文本编码特征计算所述病例样本数据在不同粒度的对比损失；所述对比损失包括全局对比损失和局部对比损失；
[0009]根据所述对比损失分别对齐同一病例样本中图片和文本的全局特征和局部特征；
[0010]将所述文本编码特征融合到所述图片编码特征中，并对图片中随机掩码的子区域进行预测重构，计算图像重建损失；
[0011]将所述图片编码特征融合到所述文本编码特征中，并对文本中随机掩码的字符进行预测，计算文本的掩码语言损失；
[0012]根据所述图像重建损失和所述文本的掩码语言损失加权计算得到总的训练损失，并根据总的训练损失更新各个编码器的参数和分类器的参数。
[0013]优选的，所述全局对比损失的计算过程具体为：
[0014]计算所述病例样本数据的图片编码特征和文本编码特征的相似度；
[0015]根据所述相似度计算图像
‑
文本的全局对比损失和文本
‑
图像的全局对比损失；
[0016]根据所述图像
‑
文本的全局对比损失和文本
‑
图像的全局对比损失得到全局对比损失。
[0017]优选的，所述局部对比损失的具体计算过程为：
[0018]计算所述病例样本数据的图片编码特征和文本编码特征的点积相似性；
[0019]根据所述点积相似性计算注意力权重；
[0020]根据所述注意力权重计算注意力加权图像表示；
[0021]根据所述注意力加权图像表示计算图像
‑
文本的局部对比损失和文本
‑
图像的局部对比损失；
[0022]根据所述图像
‑
文本的局部对比损失和文本
‑
图像的局部对比损失得到局部对比损失。
[0023]优选的，所述根据总的训练损失更新各个编码器的参数和分类器的参数时采用的是梯度下降的方法进行迭代更新。
[0024]第二方面，一种基于对比学习的胃癌分类模型的微调方法，包括：
[0025]获取有标签的病例样本数据；所述病例样本数据为包含图片和文本格式的多模态数据；
[0026]获取所述病例样本数据的图片编码特征和文本编码特征，并将所述图片特征和文本特征进行融合得到融合特征；
[0027]根据所述图片编码特征、所述文本编码特征和所述融合特征得到联结特征，并计算监督对比损失和交叉熵损失；
[0028]根据所述监督对比损失和交叉熵损失加权计算总的训练损失，并根据总的训练损失更新胃癌分类模型中的各个编码器的参数和分类器的参数；所述胃癌分类模型是根据所述的基于对比学习的胃癌分类模型的预训练方法训练得到的。
[0029]优选的，所述根据总的训练损失更新胃癌分类模型中的各个编码器的参数和分类器的参数时采用的是梯度下降的方法进行迭代更新。
[0030]第三方面，一种基于对比学习的胃癌分类模型的预训练和微调系统，包括：
[0031]数据获取模块，用于获取无标签的病例样本数据、有标签的病例样本数据和待预测病例样本数据；所述病例样本数据为包含图片和文本格式的多模态数据；
[0032]特征提取模块，用于提取病例样本数据的特征表示和模态交互信息的特征表示；
[0033]分类模块，用于输出预测结果；
[0034]预训练模块，用于利用不同粒度的对比损失、掩码语言损失、图像重建损失对所述特征提取模块进行迭代优化；
[0035]微调模块，用于利用监督对比损失和交叉熵损失对所述特征提取模块和所述分类模块进行微调训练，更新模型参数；
[0036]预测模块，用于完成对待预测病例样本数据的胃癌诊断。
[0037]优选的，所述特征提取模块包括图片编码器、文本编码器和模态融合编码器；
[0038]所述图片编码器，用于提取输入图片的特征表示；
[0039]所述文本编码器，用于提取输入文字的特征表示；
[0040]所述模态融合编码器，用于提取模态交互信息的特征表示。
[0041]优选的，所述图片编码器采用12层的transformer的ViT
‑
B/16。
[0042]优选的，所述文本编码器采用6层的transformer编码器。
[0043]相比现有技术，本申请至少具有以下有益效果：
[0044]1、基于对比学习的胃癌分类模型的预训练方法，在图像
‑
文本语义特征对齐方面，综合考虑了不同粒度的对比学习，利用实例级的对比学习进行全局特征的语义对齐，利用token级的对比学习进行局部特征语义对齐，从而提高语义对齐的能力。
[0045]2、基于对比学习的胃癌分类模型的预训练方法在图像
‑
文本语义特征融合方面，利用图像信息预测文本掩码字符，同时利用文本信息对掩码图像建模，双向的进行特征融合，提高模态融合编码能力。
[0046]3、基于对比学习的胃癌分类模型的微调方法在特定任务上微调训练时，利用监督对比学习辅助训练分类系统，进一步提高图像
‑
文本融合编码能力，提升了系统的分类效果。
附图说明
[0047]为了更直观地说明现有技术以及本申请，下面给出几个示例性的附图。应当理解，附图中所示的具体形状、构造，通常不应视为实现本申请时的限定条件；例如，本领域技术人员基于本申请揭示的技术构思和示例性的附图，有能力对某些单元(部件)的增/减/归属划分、具体形状、位置关系、连接方式、尺寸比例关系等容易作出常规的调整或进一步的优化。
[0048]图1为本申请实施例一提供的一种基于对比学习的胃癌分类模型的预训练方法流程图；
...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的胃癌分类模型的预训练方法，其特征在于，包括：获取无标签的病例样本数据；所述病例样本数据为包含图片和文本格式的多模态数据；获取所述病例样本数据的图片编码特征和文本编码特征；根据所述图片编码特征和所述文本编码特征计算所述病例样本数据在不同粒度的对比损失；所述对比损失包括全局对比损失和局部对比损失；根据所述对比损失分别对齐同一病例样本中图片和文本的全局特征和局部特征；将所述文本编码特征融合到所述图片编码特征中，并对图片中随机掩码的子区域进行预测重构，计算图像重建损失；将所述图片编码特征融合到所述文本编码特征中，并对文本中随机掩码的字符进行预测，计算文本的掩码语言损失；根据所述图像重建损失和所述文本的掩码语言损失加权计算得到总的训练损失，并根据总的训练损失更新各个编码器的参数和分类器的参数。2.根据权利要求1所述的基于对比学习的胃癌分类模型的预训练方法，其特征在于，所述全局对比损失的计算过程具体为：计算所述病例样本数据的图片编码特征和文本编码特征的相似度；根据所述相似度计算图像
‑
文本的全局对比损失和文本
‑
图像的全局对比损失；根据所述图像
‑
文本的全局对比损失和文本
‑
图像的全局对比损失得到全局对比损失。3.根据权利要求1所述的基于对比学习的胃癌分类模型的预训练方法，其特征在于，所述局部对比损失的具体计算过程为：计算所述病例样本数据的图片编码特征和文本编码特征的点积相似性；根据所述点积相似性计算注意力权重；根据所述注意力权重计算注意力加权图像表示；根据所述注意力加权图像表示计算图像
‑
文本的局部对比损失和文本
‑
图像的局部对比损失；根据所述图像
‑
文本的局部对比损失和文本
‑
图像的局部对比损失得到局部对比损失。4.根据权利要求1所述的基于对比学习的胃癌分类模型的预训练方法，其特征在于，所述根据总的训练损失更新各个编码器的参数和分类器的参数时采用的是梯度下降的方法进行迭代更新。5.一种基于对比学习的胃癌分类模型的微调方法，其特征在于，包括...

【专利技术属性】
技术研发人员：许鑫鑫，梁文全，高云鹤，李杨，王子健，郗洪庆，王鑫鑫，卫勃，陈凛，
申请(专利权)人：中国人民解放军总医院第一医学中心，
类型：发明
国别省市：