一种融合空间信息和联合损失优化的X光胸片报告生成方法技术

本发明专利技术公开了一种融合空间信息和联合损失优化的X光胸片报告生成方法，包括如下步骤：图像特征提取器搭建、空间信息矩阵学习层搭建、疾病分类器搭建、卷积块注意力模块搭建、编解码器搭建；通过将文本报告损失和疾病分类损失作为联合损失，并利用疾病分类结果指导报告的生成，以此提高生成报告的准确性；通过添加一个空间信息矩阵来学习特征图中存在的丰富的空间信息；通过添加一个卷积块注意力模块来学习准确的特征图空间注意力关系。

【技术实现步骤摘要】

本专利技术涉及医学文本报告自动生成，具体涉及一种融合空间信息和联合损失优化的x光胸片报告生成方法。

技术介绍

1、x光胸片作为最常见的医学影像之一，是医生进行肺部、心脏等相关疾病诊断的重要工具，被广泛应用于医学临床诊断和治疗中。传统的x光胸片诊断需要医生仔细阅读x光胸片，并准确地描述x光图像中所显示的异常情况，然后再给出相应的诊断结果。然而，这种方式存在着时间成本高、主观性强等问题，因此，如何快速而准确地对x光胸片进行诊断成为了医学界和计算机科学界共同关注的课题。

2、自动化诊断报告生成是一项需要计算机视觉和自然语言处理等多个前沿研究领域相结合的研究任务，主要是利用从图像提取到的特征预测每一个时间步对应的单词，从而构建整个编解码模型框架。然而，本申请的专利技术人经过研究发现，当前利用深度学习生成x光胸片诊断报告的方法存在以下不足：(1)对特征图的patch做注意力，难以学习到准确的特征图空间注意力关系；(2)特征图存在丰富的空间信息，而transformer将特征图分成patch之后，可能会损失掉丰富的空间信息；(3)仅仅利用生成的报告来计算损本文档来自技高网...

【技术保护点】

1.一种融合空间信息和联合损失优化的X光胸片报告生成方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种融合空间信息和联合损失优化的X光胸片报告生成方法，其特征在于：所述步骤S1中所述图像特征提取器用于提取X光胸片中的视觉特征，该图像特征提取器由DenseNet组成。

3.根据权利要求1所述的一种融合空间信息和联合损失优化的X光胸片报告生成方法，其特征在于：所述步骤S5中首先采用Xavier方法对网络模型参数进行初始化，然后采用Adam算法优化网络目标函数，并运用误差反向传播算法更新网络模型参数；将数据集MIMIC-CXR按7：1：2比例分为训练集、验证...

【技术特征摘要】

1.一种融合空间信息和联合损失优化的x光胸片报告生成方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种融合空间信息和联合损失优化的x光胸片报告生成方法，其特征在于：所述步骤s1中所述图像特征提取器用于提取x光胸片中的视觉特征，该图像特征提取器由densenet组成。

3.根据权利要求1所述的一种融合空间信息和联合损失优化的x光胸片报告生成方法，其特征在...

【专利技术属性】
技术研发人员：张洋，屈虎，
申请(专利权)人：深圳大学，
类型：发明
国别省市：