一种面向胸部放射报告生成的跨模态信息增强方法技术

本发明专利技术涉及面向胸部放射医学报告生成的跨模态信息增强方法。包括以下步骤：首先，使用视觉特征提取器和文本特征提取器分别提取多尺度影像视觉特征和多尺度报告文本特征；其次，将提取到的多尺度影像视觉特征和多尺度文本特征，通过跨模态对齐模块，来强化视觉‑文本特征的映射关系；然后，将对齐后的特征信息输入到跨模态注意力模块中，获取模式信息并更新存储到记忆矩阵中，从而使跨模态信息进一步增强；最后，采用报告生成模块，将经过编码后的视觉特征和增强后的跨模态信息共同输入到该模块中，生成最终的诊断报告。在医学报告生成公开数据集上得到的实验结果表明，本方法能有效提高医学报告生成的准确性和有效性。

【技术实现步骤摘要】

本专利技术涉及一种面向胸部放射报告生成的跨模态信息增强方法，属于计算机视觉、自然语言处理、跨模态融合。

技术介绍

1、目前，医学诊断报告时医生和患者沟通的主要媒介，报告中的描述常常是针对于病灶的小大、位置以及可能存在的异常等，而撰写医学报告需要放射科医生强大的医学知识储备和长期的医学工作经验。自动生成放射影像的医学诊断报告能够解放医生的工作压力，显著减轻医疗系统的负担。

2、报告生成任务的难题是：放射影像特征难以提取；放射影像难以与对应的医学报告进行匹配；生成的医学报告存在大量复杂词汇等。近年来，基于深度学习的医学影像报告自动生成任务取得了一定的成功，证明了报告生成领域存在很大的潜力。但是现有的报告生成模型方法依然存在三个不足：1)医学影像中的病灶区域占比很小，模型很难准确的识别并区分所有病灶。2)医学报告文本具有语义复杂性，而当前模型对医学报告文本的深层语义信息获取能力不足。3)模型对于跨模态信息的表征能力不足，报告生成效果好坏关键因素就是学习语义级别的模态不变性特征，它能保证在图像到文本的跨模态转化过程中引入最少的噪声，从而生成更加精准的报本文档来自技高网...

【技术保护点】

1.一种面向胸部放射报告生成的跨模态信息增强方法，其特征在于，所述方法具体包括如下：

2.根据权利要求1所述面向胸部放射报告生成的跨模态信息增强方法，其特征在于：所述步骤1中包括如下：

3.根据权利要求1所述面向胸部放射报告生成的跨模态信息增强方法，其特征在于：所述步骤2中包括如下：

4.根据权利要求1所述面向胸部放射报告生成的跨模态信息增强方法，其特征在于：所述步骤3中具体包括如下：

5.根据权利要求1所述面向胸部放射报告生成的跨模态信息增强方法，其特征在于：所述步骤4具体包括如下：

【技术特征摘要】

1.一种面向胸部放射报告生成的跨模态信息增强方法，其特征在于，所述方法具体包括如下：

2.根据权利要求1所述面向胸部放射报告生成的跨模态信息增强方法，其特征在于：所述步骤1中包括如下：

3.根据权利要求1所述面向胸部放射报告生成的跨模态信息增强方...

【专利技术属性】
技术研发人员：刘利军，提俊通，潘玉，黄青松，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：