当前位置: 首页 > 专利查询>山东大学专利>正文

基于视觉语言模型的半监督医学图像分割方法及系统技术方案

技术编号:41531987 阅读:24 留言:0更新日期:2024-06-03 23:08
本发明专利技术属于图像处理技术领域,提供了一种基于视觉语言模型的半监督医学图像分割方法及系统,包括以下步骤:获取医学图像;将无标签图像和文本描述输入视觉语言模型中,得到密集图像嵌入和文本嵌入,根据密集图像嵌入和文本嵌入,得到文本引导的掩码;将有标签图像输入学生模型中,得到有标签图像预测,利用有标签图像预测计算有监督损失;将无标签图像分别输入学生模型和教师模型,得到无标签图像预测和伪标签,将文本引导的掩码与伪标签合并,利用合并的伪标签与无标签图像预测计算半监督损失;根据文有监督损失和半监督损失训练学生模型,利用训练好的学生模型进行医学图像分割。本公开能够利用文本描述的优势精确定位目标分割区域。

【技术实现步骤摘要】

本公开涉及图像处理,具体涉及了一种基于视觉语言模型的半监督医学图像分割方法及系统


技术介绍

1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息,不必然构成在先技术。

2、医学图像分割可以用来提取异常图像中的重要器官或病变,在计算机辅助诊断和治疗研究中发挥着重要作用。近年来,许多基于监督学习的医学图像分割编解码器网络取得了显著的成果,如u-net、u-net++、h-denseunet等。然而,这些监督学习方法在很大程度上依赖于大量的像素级标记数据,在实践中对医学图像进行注释通常非常昂贵。此外,医学图像注释比自然图像需要更多的专业知识。与监督学习相比,半监督学习是解决数据不完全监督问题的一种新的学习范式。它使用少量的标记数据和大量的未标记数据来实现联合训练。显然,在医学图像分割中,半监督学习比监督学习更重要,更符合实际临床场景的要求。在半监督医学图像分割中,分割的性能与伪标签的质量密切相关。现在的半监督医学图像分割方法在执行联合训练时可能导致模型之间的互补性不足,使得同一样本的预测不一致,从而影响伪标签的质量。

<p>3、视觉语言模型本文档来自技高网...

【技术保护点】

1.基于视觉语言模型的半监督医学图像分割方法,其特征在于,包括以下步骤:

2.如权利要求1中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述视觉语言模型为预训练的视觉语言模型,对视觉语言模型进行预训练,具体为:

3.如权利要求2中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述三重对比学习包括跨模态对比学习、模态内对比学习和全局局部对比学习。

4.如权利要求3中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述跨模态对比学习实现图像和文本之间的有效对齐;所述模态内对比学习捕获每个模态内不同样本之间的潜在关联...

【技术特征摘要】

1.基于视觉语言模型的半监督医学图像分割方法,其特征在于,包括以下步骤:

2.如权利要求1中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述视觉语言模型为预训练的视觉语言模型,对视觉语言模型进行预训练,具体为:

3.如权利要求2中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述三重对比学习包括跨模态对比学习、模态内对比学习和全局局部对比学习。

4.如权利要求3中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述跨模态对比学习实现图像和文本之间的有效对齐;所述模态内对比学习捕获每个模态内不同样本之间的潜在关联,从而提供更丰富的上下文关系和内在表征;所述全局局部对比学习通过理解不同尺度的特征,促进模型关注重要的局部信息,从而限制不相关局部区域的学习。

5.如权利要求2中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述不确定性语义约束策略,具体为:将文本嵌入和动量文本嵌入建模为对应的两个分布表示,计算这两个分布之间的...

【专利技术属性】
技术研发人员:姬冰潘庆涛乔文皓娄惊蛟
申请(专利权)人:山东大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1