基于图文交互的医学影像分割方法及系统技术方案

本申请公开了一种基于图文交互的医学影像分割方法及系统，涉及影像分割技术领域，其首先获取医学影像并提取多尺度视觉特征，利用医学知识图谱深度解析用户文本描述，并利用医学解剖知识图谱进行知识增强，从而构建出融合了深层语义与精确解剖上下文的增强文本向量。进而，通过多粒度语义接地与协同融合机制，将增强文本向量与多尺度视觉特征进行渐进式的跨模态对齐与信息交互，引导模型聚焦并精确定位目标区域，最终由解码器生成高精度的分割掩膜。这样，结合了自然语言的灵活性与医学先验知识的精确性，能有效克服复杂或模糊场景下的分割挑战，显著提升了分割任务的准确度与鲁棒性。

【技术实现步骤摘要】

本申请涉及影像分割，且更为具体地，涉及一种基于图文交互的医学影像分割方法及系统。

技术介绍

1、随着精准医学和医学影像技术的快速发展，临床诊疗实践对医学影像分析与识别的智能化、精准化提出了更高要求。医学影像作为疾病诊断的核心依据，其病灶区域的精确分割直接关系到诊断准确性、治疗方案制定与疗效评估。尤其在诸如肿瘤、神经退行性疾病及血管性病变等复杂疾病的诊疗流程中，高精度的影像分割是提升医疗决策效能、实现个体化治疗的关键环节。

2、在现有技术中，医学影像分割主要依赖手动标注或基于单一图像模态（如仅mri、ct或超声）的自动化算法。人工手动分割不仅耗费专家大量时间精力，且存在主观性强、重复性差的问题，难以满足海量影像数据的处理需求。而传统自动化分割方法虽能在标准化场景下提供辅助，但其处理流程通常专注于图像像素级的低阶特征分析（如灰度、纹理、边缘），往往忽略了蕴含于临床报告、医师标注图文说明（如病灶描述、边界指示、结构标注）等丰富文本信息中的高阶语义知识。这种语义信息的缺失，导致算法在面对图像伪影干扰、病灶与正常组织边界模糊不清（如浸润性肿瘤）、或解剖结本文档来自技高网...

【技术保护点】

1.一种基于图文交互的医学影像分割方法，其特征在于，包括：获取原始医学影像；将所述原始医学影像输入医学专用视觉编码器以得到医学影像多尺度视觉特征图；对获取的用户文本描述进行文本特征编码与知识增强以得到包含语义信息和解剖结构上下文的增强文本特征向量；对所述医学影像多尺度视觉特征图和所述包含语义信息和解剖结构上下文的增强文本特征向量进行多粒度语义接地与协同融合以得到医学影像多尺度跨模态语义接地特征图；将所述医学影像多尺度跨模态语义接地特征图输入解码器以得到分割掩膜；将所述分割掩膜作用于所述原始医学影像以得到医学影像分割结果。

2.根据权利要求1所述的基于图文交互的医学影像分割方法...

【技术特征摘要】

1.一种基于图文交互的医学影像分割方法，其特征在于，包括：获取原始医学影像；将所述原始医学影像输入医学专用视觉编码器以得到医学影像多尺度视觉特征图；对获取的用户文本描述进行文本特征编码与知识增强以得到包含语义信息和解剖结构上下文的增强文本特征向量；对所述医学影像多尺度视觉特征图和所述包含语义信息和解剖结构上下文的增强文本特征向量进行多粒度语义接地与协同融合以得到医学影像多尺度跨模态语义接地特征图；将所述医学影像多尺度跨模态语义接地特征图输入解码器以得到分割掩膜；将所述分割掩膜作用于所述原始医学影像以得到医学影像分割结果。

2.根据权利要求1所述的基于图文交互的医学影像分割方法，其特征在于，将所述原始医学影像输入医学专用视觉编码器以得到医学影像多尺度视觉特征图，包括：将所述原始医学影像输入基于unet编码器的医学专用视觉编码器以得到医学影像高分辨率特征图、医学影像中分辨率特征图和医学影像低分辨率特征图，医学影像高分辨率特征图、医学影像中分辨率特征图和医学影像低分辨率特征图构成所述医学影像多尺度视觉特征图。

3.根据权利要求1所述的基于图文交互的医学影像分割方法，其特征在于，对获取的用户文本描述进行文本特征编码与知识增强以得到包含语义信息和解剖结构上下文的增强文本特征向量，包括：将所述用户文本描述输入基于bioclinical bert模型的医学专用语言编码器以得到初始文本嵌入编码向量；从所述用户文本描述提取医学解剖实体，并利用所述医学解剖实体在预定义的医学解剖结构知识图谱中进行查询以得到相关的解剖结构信息；对所述相关的解剖结构信息进行信息编码以得到解剖知识嵌入编码向量；将所述初始文本嵌入编码向量和所述解剖知识嵌入编码向量输入知识融合模块以得到所述包含语义信息和解剖结构上下文的增强文本特征向量。

4.根据权利要求3所述的基于图文交互的医学影像分割方法，其特征在于，将所述初始文本嵌入编码向量和所述解剖知识嵌入编码向量输入知识融合模块以得到所述包含语义信息和解剖结构上下文的增强文本特征向量，包括：所述知识融合模块对所述初始文本嵌入编码向量和所述解剖知识嵌入编码向量进行全连接编码以得到所述包含语义信息和解剖结构上下文的增强文本特征向量。

5.根据权利要求2所述的基于图文交互的医学影像分割方法，其特征在于，对所述医学影像多尺度视觉特征图和所述包含语义信息和解剖结构上下文的增强文本特征向量进行多粒度语义接地与协同融合以得到医学影像多尺度跨模态语义接地特征图，包括：基于所述包含语义信息和解剖结构上下文的增强文本特征向量构造查询向量且基于所述医学影像低分辨率特征图构造值向量和键向量，将所述查询向量、所述值向量和所述键向量输入粗粒度接地模块以得到医学影像低分辨率跨模态语义接地特征图；基于所述医学影像低分辨率跨模态语义接地特征图构造查询向量且基于医学影像中分辨率特征图构造值向量和键向量，将所述查询向量、所述值向量和所述键向量输入中粒度接地模块以得到医学影像中辨率跨模态语义接地特征图；基于所述医学影像中辨率跨模态语义接地特征图构造查询向量且基于医学影像高分辨率特征图构造值向量和键向量，将所述查询向量、所述值向量和所述键向量输入精细粒度接地模块以得到所述医学影像多尺度跨模态语义接地特征图。

6.根据权利要求5所述的基于图文交互的医学影像分割方法，其特征在于，基于所述医学影像中辨率跨模态语义接地特征图构造构造查询向量且基于医学影像...

【专利技术属性】
技术研发人员：胡利荣，伍华樑，尤堃，
申请(专利权)人：浙江飞图影像科技有限公司，
类型：发明
国别省市：