一种多模态半监督影像分析与结构化报告生成方法及应用技术

本发明专利技术属于医学影像分析领域，针对慢性阻塞性肺疾病患者的标准化报告生成效率低且高度依赖人工经验的问题，本发明专利技术提出了一种多模态半监督影像分析与结构化报告生成方法及应用，所述方法包括：获取肺部医学影像数据，进行预处理；构建改进的变分自编码器，得到肺部医学影像数据的潜变量表示；利用域适应对抗学习，将未标注数据集中的数据在潜变量和分割结果上对齐到已标注数据集中的数据的分布；根据变分自编码器的编码器输出的隐变量，利用文本解码器生成初步报告文本；基于预训练过的Teacher网络与文本解码器进行知识蒸馏，修改初步报告文本中的医学术语和缩写；输出结构化报告。本发明专利技术能够高精度分割肺部病灶、量化疾病程度并自动生成结构化报告。

【技术实现步骤摘要】

本专利技术涉及影像分析，尤其是涉及一种多模态半监督影像分析与结构化报告生成方法。

技术介绍

1、慢性阻塞性肺疾病（copd）是全球范围内致死与致残的主要疾病之一。由于其病理特征呈现多样化和渐进性，患者往往需要反复进行肺部影像学检查（ct、x光等）来监测病灶发展并评估治疗效果。然而，传统的影像分析方法在处理复杂的肺部结构、识别多发性病灶以及撰写标准化报告方面往往存在效率不足的问题，且对人工经验高度依赖，容易导致诊断和描述不一致。近年来，随着深度学习、多模态融合与自然语言处理技术的快速进展，如何在半监督场景下充分利用少量标注数据和大量未标注数据，构建一套能高精度分割肺部病灶、量化疾病程度并自动生成结构化报告的端到端方案，逐渐成为临床需求与学术研究的焦点。

2、目前，现有技术中已经公开了基于u－net的病灶分割模型，利用该分割模型对病灶进行分割，然后再基于cnn－transformer的多模态融合框架以及基于预训练语言模型的报告生成系统来进行报告生成，但其存在以下缺陷：

3、第一，半监督学习效率低下：多数方法依赖全监督训练，需大量标注数据本文档来自技高网...

【技术保护点】

1.一种多模态半监督影像分析与结构化报告生成方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种多模态半监督影像分析与结构化报告生成方法，其特征在于，步骤2中，改进变分自编码器通过在传统变分自编码器的编码器中引入Dirichlet过程先验、解码器中增加分割分支以及在编码器与解码器之间插入Flow模型进行多级耦合得到。

3.如权利要求2所述的一种多模态半监督影像分析与结构化报告生成方法，其特征在于，步骤2具体包括以下步骤：

4.如权利要求3所述的一种多模态半监督影像分析与结构化报告生成方法，其特征在于，步骤2.5的具体步骤包括：

5....

【技术特征摘要】

1.一种多模态半监督影像分析与结构化报告生成方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种多模态半监督影像分析与结构化报告生成方法，其特征在于，步骤2中，改进变分自编码器通过在传统变分自编码器的编码器中引入dirichlet过程先验、解码器中增加分割分支以及在编码器与解码器之间插入flow模型进行多级耦合得到。

3.如权利要求2所述的一种多模态半监督影像分析与结构化报告生成方法，其特征在于，步骤2具体包括以下步骤：

4.如权利要求3所述的一种多模态半监督影像分析与结构化报告生成方法，其特征在于，步骤2.5的具体步骤包括：

5.如权利要求4所述的一种多模态半监督影像分析与结构化报告生成方法，其特征在于，步骤3的具体步骤包括：

【专利技术属性】
技术研发人员：余维巍，王琪，杨春晓，张存泰，
申请(专利权)人：华中科技大学同济医学院附属同济医院，
类型：发明
国别省市：