【技术实现步骤摘要】
本公开涉及图像处理,具体涉及了一种基于视觉语言模型的半监督医学图像分割方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息,不必然构成在先技术。
2、医学图像分割可以用来提取异常图像中的重要器官或病变,在计算机辅助诊断和治疗研究中发挥着重要作用。近年来,许多基于监督学习的医学图像分割编解码器网络取得了显著的成果,如u-net、u-net++、h-denseunet等。然而,这些监督学习方法在很大程度上依赖于大量的像素级标记数据,在实践中对医学图像进行注释通常非常昂贵。此外,医学图像注释比自然图像需要更多的专业知识。与监督学习相比,半监督学习是解决数据不完全监督问题的一种新的学习范式。它使用少量的标记数据和大量的未标记数据来实现联合训练。显然,在医学图像分割中,半监督学习比监督学习更重要,更符合实际临床场景的要求。在半监督医学图像分割中,分割的性能与伪标签的质量密切相关。现在的半监督医学图像分割方法在执行联合训练时可能导致模型之间的互补性不足,使得同一样本的预测不一致,从而影响伪标签的质量。
< ...【技术保护点】
1.基于视觉语言模型的半监督医学图像分割方法,其特征在于,包括以下步骤:
2.如权利要求1中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述视觉语言模型为预训练的视觉语言模型,对视觉语言模型进行预训练,具体为:
3.如权利要求2中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述三重对比学习包括跨模态对比学习、模态内对比学习和全局局部对比学习。
4.如权利要求3中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述跨模态对比学习实现图像和文本之间的有效对齐;所述模态内对比学习捕获每个模态内不
...【技术特征摘要】
1.基于视觉语言模型的半监督医学图像分割方法,其特征在于,包括以下步骤:
2.如权利要求1中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述视觉语言模型为预训练的视觉语言模型,对视觉语言模型进行预训练,具体为:
3.如权利要求2中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述三重对比学习包括跨模态对比学习、模态内对比学习和全局局部对比学习。
4.如权利要求3中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述跨模态对比学习实现图像和文本之间的有效对齐;所述模态内对比学习捕获每个模态内不同样本之间的潜在关联,从而提供更丰富的上下文关系和内在表征;所述全局局部对比学习通过理解不同尺度的特征,促进模型关注重要的局部信息,从而限制不相关局部区域的学习。
5.如权利要求2中所述的基于视觉语言模型的半监督医学图像分割方法,其特征在于,所述不确定性语义约束策略,具体为:将文本嵌入和动量文本嵌入建模为对应的两个分布表示,计算这两个分布之间的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。