基于图卷积网络的医学图像诊断报告自动生成方法技术

技术编号:45803722 阅读:18 留言:0更新日期:2025-07-11 20:18
本发明专利技术公开了一种基于图卷积网络的医学图像诊断报告自动生成方法,该方法通过结合医学图像处理与文本生成技术,实现从医学图像中提取特定的病理信息并生成精准的诊断报告;利用疾病标签引导图像特征提取,并通过图卷积网络GCN对医学图像中的病理信息进行针对性提取和离散化处理;此外,本发明专利技术设计的跨模态对齐模块能够有效连接医学图像、诊断报告和疾病标签,增强图像与文本之间的语义一致性,并通过预构建的关系矩阵减少额外工作量。本发明专利技术显著提升了医学报告生成的质量和效率,为医学图像诊断报告的自动化生成提供了新的技术路径,同时兼顾了临床实用性和计算效率。

【技术实现步骤摘要】

本专利技术涉及图像处理以及语言生成,尤其涉及一种基于深度疾病标签引导的图卷积医学图像诊断报告自动生成方法。


技术介绍

1、医学报告生成是一项新兴的跨学科研究任务,旨在通过利用专业且严谨的语言描述医学图像中的病变区域和疾病的严重程度,以减轻医学专家的工作负担,并为诊断提供辅助支持。目前,医学图像被广泛用作协助医生评估患者状况的重要工具,并被用于多种疾病的诊断和治疗。在临床实践中,医生需要为给定的医学图像提供准确的诊断报告,这不仅需要广泛的医学专业知识,还需要大量的时间和人力。为了减轻医生的负担并提高患者咨询的效率,开发医学报告生成方法显得尤为重要和迫切,吸引了临床医学与人工智能领域研究者的广泛关注。

2、医疗诊断报告自动生成任务的研究不仅涉及到对医学图像的分析和解释,还伴随着对诊断报告这种离散的文本数据的研究。在以往的研究中,受到机器翻译领域的影响,这种复杂的机器学习训练模式往往通过传统的编码-解码范式解决。具体来说,首先以卷积神经网络(convolutional neural network,cnn)为主体的编码器对医学图像中复杂且重要的病理信本文档来自技高网...

【技术保护点】

1.一种基于深度疾病标签引导的图卷积医学图像诊断报告自动生成方法,其特征在于,包括:

2.根据权利要求1所述的基于深度疾病标签引导的图卷积医学图像诊断报告自动生成方法,其特征在于,文本编码模块还包括文本特征提取单元,对报告生成模型的训练包括:

3.根据权利要求1或2所述的基于深度疾病标签引导的图卷积医学图像诊断报告自动生成方法,其特征在于,疾病标签引导的图卷积网络由疾病关键词节点和中心节点组成,属于同一个器官的疾病关键词节点连接并分组在一起,疾病关键词节点即疾病分类特征,中心节点为将图像进行特征提取得到的全局特征。

4.根据权利要求2所述的基于深度疾病...

【技术特征摘要】

1.一种基于深度疾病标签引导的图卷积医学图像诊断报告自动生成方法,其特征在于,包括:

2.根据权利要求1所述的基于深度疾病标签引导的图卷积医学图像诊断报告自动生成方法,其特征在于,文本编码模块还包括文本特征提取单元,对报告生成模型的训练包括:

3.根据权利要求1或2所述的基于深度疾病标签引导的图卷积医学图像诊断报告自动生成方法,其特征在于,疾病标签引导的图卷积网络由疾病关键词节点和中心节点组成,属于同一个器官的疾病关键词节点连接并分组在一起,疾病关键词节点即疾病分类特征,中心节点为将图像进行特征提取得到的全局特征。

4.根据权利要求2所述的基于深度疾病标签引导的图卷积医学图像诊断报告自动生成方法,其特征在于,利用文本特征,通过多头注意力机制对文本记忆单元中的记忆信息mem进行更新...

【专利技术属性】
技术研发人员:徐黎明汪勇衡刘念郑伯川唐全
申请(专利权)人:西华师范大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1