【技术实现步骤摘要】
本专利技术涉及影像处理，尤其涉及一种基于交叉注意力的医学影像零样本学习识别方法及系统。
技术介绍
1、在视觉语言预训练(vlp)任务中，早期的工作主要使用融合模块整合图像和文本特征，采用二元交叉熵对匹配的图像-文本对进行分类。近期，名为clip的模型引入了对比学习，通过测量图像和文本特征间的余弦相似度，旨在最大化匹配的图像-文本对间的相似度，并最小化非配对的情况。这一工作显著推动了vlp在视觉识别任务中的零样本学习(zsl)发展。继clip之后，多项研究利用对比学习对图像-文本进行对齐，展示了对比学习在vlp任务中的巨大潜力。
2、在医学图像识别领域，vlp在疾病辅助诊断的零样本学习中表现出色。convirt模型首次引入对比学习以对齐医学图像和报告。chexzero模型利用自然数据训练的clip作为预训练权重，在医学数据识别任务中取得了可观的表现。gloria模型进一步引入全局和局部特征对齐的整合。medklip模型提出使用疾病描述作为额外输入的先验知识，以增强表示学习。kad模型引入基于词的实体提取，以提取报告信息，从而提...
【技术保护点】
1.一种基于交叉注意力的医学影像零样本学习识别方法，用于结合医学报告对医学影像进行识别，其特征在于，包括：
2.根据权利要求1所述的医学影像零样本学习识别方法，其特征在于，所述图像特征包括全局特征和局部特征，所述文本特征包括语句特征和词汇特征；
3.根据权利要求2所述的医学影像零样本学习识别方法，其特征在于，所述第一相似度采用所述局部特征作为查询，所述语句特征作为键和值进行计算，计算方法表示为：
4.根据权利要求3所述的医学影像零样本学习识别方法，其特征在于，对比学习损失函数表示为：
5.根据权利要求2所述的医学影像零样...
【技术特征摘要】
1.一种基于交叉注意力的医学影像零样本学习识别方法，用于结合医学报告对医学影像进行识别，其特征在于，包括：
2.根据权利要求1所述的医学影像零样本学习识别方法，其特征在于，所述图像特征包括全局特征和局部特征，所述文本特征包括语句特征和词汇特征；
3.根据权利要求2所述的医学影像零样本学习识别方法，其特征在于，所述第一相似度采用所述局部特征作为查询，所述语句特征作为键和值进行计算，计算方法表示为：
4.根据权利要求3所述的医学影像零样本学习识别方法，其特征在于，对比学习损失函数表示为：
5.根据权利要求2所述的医学影像零样本学习识别方法，其特征在于，所述文本特征的提取具体包括：
6.根据权利要求5所述的医学影像零样本学习识别方法，其特征在于，所述医学影像零样本学习识别方法包括训练阶段和推理阶段；
7.根据权利...
【专利技术属性】
技术研发人员：赖浩然，姚青松，蒋子航，王嵘晟，贺志阳，陶晓东，周少华，
申请(专利权)人：中国科学技术大学苏州高等研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。