平衡跨模态信息的胸部影像诊断报告自动生成方法技术

本发明专利技术提供平衡跨模态信息的胸部影像诊断报告自动生成方法，涉及医疗信息领域。该网络通过优化编码器‑解码器框架，充分考虑了图像和文本之间的联系，在编码时，该网络的侧重点在图像特征处理，通过DFC‑MSPCNN和多感受野残差网络病灶区域信息提取模块对X射线影像区域进行多维特征提取；在解码时，该网络的侧重点在医学报告生成，通过图像文本对齐模块CMITAM寻找图像和文本之间的中间态，并将此中间态引入基于Transformer解码层的报告生成模块，在IUX‑Ray和MIMIC‑CXR基准数据集上进行其有效性验证，结果表明，本文方法在平衡胸部影像与文本信息方面有出色的表现，能够自动生成可靠的胸部X射线影像诊断报告。

【技术实现步骤摘要】

本专利技术涉及医疗信息领域，尤其涉及平衡跨模态信息的胸部影像诊断报告自动生成方法。

技术介绍

1、x射线广泛用于骨折、肺部感染、肿瘤、心脏病和消化系统等疾病的检测和诊断。胸部影像诊断报告通常包括影像学所见、诊断意见和建议等部分，是对胸部影像检查结果的专业解读和总结，为临床医生提供关于患者胸部状况的详细的有价值信息。

2、胸部影像诊断报告自动生成的公认难题是：x射线影像特征难以提取；x射线影像难以与对应医学报告进行匹配；生成的医学报告存在大量复杂词汇等。靠医生使用传统方法整理形成胸部影像诊断报告，存在书写信息负载高、掺杂主观性因素不可避免、影像与文本信息关联匹配度不高等问题。近年来深度学习技术广泛应用，在目前机器学习尚不能实现多器官成像报告自动生成的情况下，一些学者提出了基于深度学习的医学影像报告自动生成方法，并在实际应用中取得了一定的成功，证明深度学习是一种有效的工具，但其在平衡图像特征或文本特征信息方面还存在不足。现有的研究对图像信息和文本信息之间的注释对应关系还解释得不够清楚，尚缺乏能够有效学习这种对应关系的适配模型设计。这导致生成的医学报本文档来自技高网...

【技术保护点】

1.平衡跨模态信息的胸部影像诊断报告自动生成方法，其特征在于，网络模型主体包括DFC-MSPCNN模型、Resnet-152的多尺度残差网络、CMITAM跨模态图像文本对齐模块和Transformer模块的跨模态神经网络，并通过跨模态记忆网络，增强胸部X射线影像和对应医学报告的联系，

2.根据权利要求1所述的平衡跨模态信息的胸部影像诊断报告自动生成方法，其特征在于，所述Resnet-152的多尺度残差网络增加了一个最大池化层和一个平均池化层，并与DFC-MSPCNN提取到的特征进行融合，最后结合自注意力机制实现完整的胸部X射线影像特征提取。

3.根据权利要求1至2...

【技术特征摘要】

1.平衡跨模态信息的胸部影像诊断报告自动生成方法，其特征在于，网络模型主体包括dfc-mspcnn模型、resnet-152的多尺度残差网络、cmitam跨模态图像文本对齐模块和transformer模块的跨模态神经网络，并通过跨模态记忆网络，增强胸部x射线影像和对应医学报告的联系，

2.根据权利要求1所述的平衡跨模态信息...

【专利技术属性】
技术研发人员：马元琳，王向红，董子龙，牛小娇，廉敬，刘冀钊，张家骏，汤春阳，
申请(专利权)人：兰州交通大学，
类型：发明
国别省市：