一种利用分割模型和对比学习增强医学报告生成的方法技术

本发明专利技术公开了一种利用分割模型和对比学习增强医学报告生成的方法，该方法利用分割模型SAM对医学图像进行细粒度分割，聚焦于可能包含异常的有意义区域。然后从这些分割中提取图像特征，以便模型更关注可能存在疾病的区域，提高分析的准确性。为了缓解文本数据偏见问题，本发明专利技术在训练过程中引入了监督对比损失。该损失函数鼓励模型区分目标报告和错误报告，并赋予准确描述异常的报告更高的权重。通过强调不同报告实例之间的对比，可以缓解正常区域描述的主导地位，并促进生成更平衡和信息丰富的报告。

【技术实现步骤摘要】

本专利技术涉及一种利用分割模型和对比学习增强医学报告生成的方法，属于计算机领域中自然语言处理领域。

技术介绍

1、当前的手动撰写放射学报告的过程费时且存在一些挑战，同时经验少的放射科医生所写的报告可能包含不确定的结果，需要进一步进行病理学或其他高级成像方法的测试。因此，自动化放射学报告生成任务具有潜力来改善放射学报告的质量并减轻放射科医生的工作负担。

2、目前，主流的医学报告生成方法是基于深度学习的编码器-解码器架构。这种架构利用卷积神经网络对医学图像进行编码，并使用循环神经网络(如lstm)或非循环网络(如transformer)作为解码器来生成医学报告。然而，直接将这些方法应用于医学图像存在一些问题。首先，医学图像分析中存在视觉数据偏见，数据集通常偏向于正常图像，导致异常图像的比例不均衡。此外，在异常图像中，正常区域可能占据主导地位，进一步加剧了偏见问题。其次，文本数据偏见也是一个挑战，放射科医生通常倾向于在报告中描述所有图像区域，导致正常区域的描述在报告中占据主导地位，重复的句子被用于描述相同的正常区域，这加剧了视觉数据偏见问题。这两种数本文档来自技高网...

【技术保护点】

1.一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，步骤1)中选用SAM分割模型的全自动分割模式对医学图像进行分割。

3.如权利要求1所述的一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，视觉嵌入Zimg的表达式为：

4.如权利要求1所述的一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，文本嵌入Ztxt的表达式为：

5.如权利要求1所述的一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，整...

【技术特征摘要】

1.一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，步骤1)中选用sam分割模型的全自动分割模式对医学图像进行分割。

3.如权利要求1所述的一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，视觉...

【专利技术属性】
技术研发人员：李丕绩，赵若情，王曦，戴洪良，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：