一种融合标签信息的医学影像报告生成方法及设备技术

本发明专利技术公开了一种融合标签信息的医学影像报告生成方法及设备，属于医学影像处理与文本生成领域。包括以下步骤：构建医学影像报告生成模型；基于医学影像数据，提取影像中的视觉特征与语义特征；对语义特征进行识别分类，得到该影像的标签特征；对视觉特征与标签特征进行视觉、文本对齐融合，得到融合特征；将处理后的融合特征输入文本解码器中，实现医学影像报告生成。本发明专利技术加快工作流程的自动化，减轻医生工作负担，降低错误报告的出现概率，提高医疗报告的质量和标准化。医疗报告的质量和标准化。医疗报告的质量和标准化。

【技术实现步骤摘要】
一种融合标签信息的医学影像报告生成方法及设备


[0001]本专利技术涉及医学影像处理与文本生成
，更具体的说是涉及一种融合标签信息的医学影像报告生成方法及设备。

技术介绍

[0002]医学影像报告自动生成任务旨在通过给定的医学影像，生成清晰(clear)、正确(correct)、简洁(concise)、完整(complete)、一致(consistent)、连贯(coherent)即6C特点的报告内容。从海量的影像诊断报告与医疗影像作为基础数据源，通过深度学习进行相关特征提取与分析，并能够生成结构化的诊断报告，是一种影像图像处理与自然语言生成技术结合的新方法。针对医学影像报告自动生成任务的研究，现有技术中仅实现了对胸腔常见疾病的分类和诊断报告生成，提出了多标签分类+目标检测+生成医学报告的多任务模型，其核心是通过分类任务预测疾病标签。及更换性能更好的编码器网络与解码器网络、训练额外的分类器来预测疾病标签或医疗标签，进一步提高报告质量。利用先验知识构建疾病图，获得疾病预测结果等。然而，在现有技术中，多数模型都是通过视觉特征来生成报告，同时模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合标签信息的医学影像报告生成方法，其特征在于，包括以下步骤：构建医学影像报告生成模型框架，所述医学影像报告生成模型框架包括：编码器、分类模块、融合模块以及文本解码器；获取医学影像数据，并对所述医学影像数据进行预处理后输入至所述医学影像报告生成模型框架；通过所述编码器提取影像中的视觉特征与语义特征，得到视觉特征信息以及语义特征信息；通过所述分类模块对语义特征信息进行识别分类，得到医学影像的标签特征信息；通过所述融合模块对视觉特征信息与标签特征信息进行视觉文本对齐融合，得到融合特征信息；将处理后的融合特征信息输入所述文本解码器中，生成医学影像报告并输出。2.根据权利要求1所述的一种融合标签信息的医学影像报告生成方法，其特征在于，所述医学影像报告生成模型框架包括：基于Transformer模型的编码器，基于MIX
‑
MLP的多标签分类网络的分类模块，基于POS
‑
SCAN的视觉文本对齐注意力机制的融合模块以及分层LSTM网络的文本解码器。3.根据权利要求1所述的一种融合标签信息的医学影像报告生成方法，其特征在于，所述获取医学影像数据，并对所述医学影像数据进行预处理后输入至所述医学影像报告生成模型框架，包括：获取医学影像数据；对所述医学影像数据进行向量化；将讲过向量化的医学影像数据输入至所述医学影像报告生成模型框架。4.根据权利要求3所述的一种融合标签信息的医学影像报告生成方法，其特征在于，所述通过所述编码器提取影像中的视觉特征与语义特征，得到视觉特征信息以及语义特征信息，包括：将向量化的医学影像数据输入至基于Transformer模型的编码器；所述Transformer模型的编码器作为视觉与语义特征提取器同时提取视觉与语义特征，得到特征信息；将特征信息分离为视觉特征信息与语义特征信息。5.根据权利要求4所述...

【专利技术属性】
技术研发人员：孙水发，梅周俊森，吴义熔，李小龙，唐庭龙，
申请(专利权)人：三峡大学，
类型：发明
国别省市：