【技术实现步骤摘要】
本专利技术涉及一种利用分割模型和对比学习增强医学报告生成的方法，属于计算机领域中自然语言处理领域。
技术介绍
1、当前的手动撰写放射学报告的过程费时且存在一些挑战，同时经验少的放射科医生所写的报告可能包含不确定的结果，需要进一步进行病理学或其他高级成像方法的测试。因此，自动化放射学报告生成任务具有潜力来改善放射学报告的质量并减轻放射科医生的工作负担。
2、目前，主流的医学报告生成方法是基于深度学习的编码器-解码器架构。这种架构利用卷积神经网络对医学图像进行编码，并使用循环神经网络(如lstm)或非循环网络(如transformer)作为解码器来生成医学报告。然而，直接将这些方法应用于医学图像存在一些问题。首先，医学图像分析中存在视觉数据偏见，数据集通常偏向于正常图像，导致异常图像的比例不均衡。此外，在异常图像中，正常区域可能占据主导地位，进一步加剧了偏见问题。其次，文本数据偏见也是一个挑战，放射科医生通常倾向于在报告中描述所有图像区域，导致正常区域的描述在报告中占据主导地位，重复的句子被用于描述相同的正常区域，这加剧了视觉数据偏见问题。这两种数据偏见可能会误导模型的训练。
技术实现思路
1、本专利技术为解决的技术问题：
2、本专利技术的目的是设计一种利用分割模型和对比学习增强医学报告生成的方法，以缓解现有的数据集数据偏差的问题。首先，引入分割模型和对比学习的思想，通过应用sam分割模型对医学图像进行细粒度分割，并从分割结果中提取图像特征。这样可以使模型更加关
3、本专利技术为解决其技术问题采用如下技术方案：
4、一种利用分割模型和对比学习增强医学报告生成的方法，包括以下步骤：
5、1)获取医学图像，将所述医学图像输入sam分割模型，所述sam分割模型的输出连接densenet-121图像编码器，通过所述densenet-121图像编码器提取医学图像隐藏状态，并将医学图像隐藏状态转换为视觉嵌入zimg；
6、2)获取医学报告的文本，将所述医学报告的文本输入到transformer编码器中提取医学报告隐藏状态，并将医学报告隐藏状态转换为文本嵌入ztxt；
7、3)将视觉嵌入zimg和文本嵌入ztxt融合，生成特征向量zfuse；
8、4)将特征向量zfuse输入到transformer解码器中生成医学报告；
9、5)构建包括sam分割模型、densenet-121图像编码器、transformer编码器和transformer解码器的网络模型，通过构建整体损失函数计算网络模型的损失，训练和评估网络模型的性能。
10、优选的，步骤1)中选用sam分割模型的全自动分割模式对医学图像进行分割。
11、优选的，视觉嵌入zimg的表达式为：
12、
13、其中为全连接层和relu激活函数，为医学图像隐藏状态的平均池化。
14、优选的，文本嵌入ztxt的表达式为：
15、
16、其中为全连接层和relu激活函数，为医学报告隐藏状态的平均池化。
17、优选的，整体损失函数ltotal包括分类损失lc、交叉熵损失lce和图像-文本对比学习损失函数lcl：
18、ltotal＝λ(lc+lce)+(1-λ)lcl
19、其中，λ是超参数；
20、
21、其中，n是疾病主题的数量，所述疾病主题包括肺炎、肺不张；k是指疾病状态的数量，所述疾病状态包括积极的、消极的、不确定或未被提及的；yij∈{0，1}和pij∈(0，1)分别是第i个疾病主题的第j个真实值和预测值；
22、
23、其中，l是输入的医学报告的文本的长度参数，v是词汇表大小，pword,ij表示生成的医学报告中的第i个位置在词汇表中选择第j个单词的置信度；
24、
25、其中，将每种疾病分类为k种疾病状态之一的置信度是p，cos表示两个向量之间的余弦相似度，τ是温度参数，θ是一个超参数，用来权衡与目标序列语义接近的负面样本的权重，li表示医学报告对应的疾病主题。
26、本专利技术采用以上技术方案与现有技术相比，具有以下有益效果：
27、提供了通过使用分割模型分割医学图像和利用对比学习缓解数据偏差的方法，这种方法充分利用了计算机自然语言处理领域和计算机视觉领域的相关技术成果。实验表明，本专利技术的利用分割模型和对比学习增强医学报告生成的方法所训练的模型能够生成流畅且准确的医学报告，对提高医学诊断和治疗效果有帮助。
本文档来自技高网...【技术保护点】
1.一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，步骤1)中选用SAM分割模型的全自动分割模式对医学图像进行分割。
3.如权利要求1所述的一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，视觉嵌入Zimg的表达式为：
4.如权利要求1所述的一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，文本嵌入Ztxt的表达式为：
5.如权利要求1所述的一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，整体损失函数Ltotal包括分类损失LC、交叉熵损失LCE和图像-文本对比学习损失函数LCL：
【技术特征摘要】
1.一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，步骤1)中选用sam分割模型的全自动分割模式对医学图像进行分割。
3.如权利要求1所述的一种利用分割模型和对比学习增强医学报告生成的方法，其特征在于，视觉...
【专利技术属性】
技术研发人员：李丕绩，赵若情，王曦，戴洪良，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。