基于多模态模型的计算机断层扫描图像分割的伪标签选择方法、系统、设备和介质技术方案

技术编号:45085365 阅读:26 留言:0更新日期:2025-04-25 18:23
本发明专利技术公开基于多模态模型的计算机断层扫描图像分割的伪标签选择方法、系统、设备和介质,方法包括:使用Totalsegmentator标注原始CT图像数据集中未被标注的解刨器官类型,得到噪声伪标签;对人工标注的标签进行退化;将原始CT图像、人工标注标签和退化的人工标注标签组成训练集,输入BiomedCLIP的图像编码器中提取视觉特征;初始化提示词后输入到BiomedCLIP的文本编码器提取文本特征;构造联合损失函数监督并训练提示词,将噪声伪标签的类别信息叠加到训练好的提示词上,再输入到文本编码器中得到文本特征,将原始CT图像及噪声伪标签进行变换后输入到图像编码器中提取视觉特征;基于文本特征和视觉特征的相似度判断噪声伪标签质量好坏。本发明专利技术提高筛选高质量伪标签的效率。

【技术实现步骤摘要】

本专利技术属于人工智能及计算机视觉领域,具体涉及一种基于多模态模型的计算机断层扫描图像分割的伪标签选择方法、系统、设备和介质


技术介绍

1、将深度学习应用于医学影像学中,特别是利用图像分割技术辅助医生诊断,已成为当前的研究热点。然而,计算机断层扫描图像(computed tomography,ct)中存在噪声、伪影且对比度低,加之解剖结构复杂,标注数据匮乏,导致ct图像分割面临诸多挑战。

2、尽管各大医院每日都会产生大量的ct数据,但由于医学图像涉及患者隐私,并且解读医学图像需要专业知识,必须由专业医生进行标注,因此获取大量精确标注的医学图像代价高昂。为了解决标注数据不足的问题,伪标签(pseudo labels)被广泛用于半监督学习和无监督学习中,通过将模型生成的预测结果用作训练数据的标签,从而扩展数据规模。然而,伪标签质量的参差不齐对模型的训练效果带来了显著影响,尤其是在ct图像中,噪声和不一致的伪标签会降低模型对医学病变特征的识别能力。因此,高效筛选出高质量伪标签成为一个亟待解决的关键问题。

3、人工智能技术的发展引发了医学本文档来自技高网...

【技术保护点】

1.一种基于多模态模型的计算机断层扫描图像分割的伪标签选择方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于多模态模型的计算机断层扫描图像分割的伪标签选择方法,其特征在于,S3中,所述对人工标注的标签进行退化具体为:

3.如权利要求1所述的基于多模态模型的计算机断层扫描图像分割的伪标签选择方法,其特征在于,S4中,所述训练数据集表示为:

4.如权利要求1所述的基于多模态模型的计算机断层扫描图像分割的伪标签选择方法,其特征在于,S5中,所述多模态模型BiomedCLIP的文本编码器表达为下式:

5.如权利要求1所述的基于多模态模型的...

【技术特征摘要】

1.一种基于多模态模型的计算机断层扫描图像分割的伪标签选择方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于多模态模型的计算机断层扫描图像分割的伪标签选择方法,其特征在于,s3中,所述对人工标注的标签进行退化具体为:

3.如权利要求1所述的基于多模态模型的计算机断层扫描图像分割的伪标签选择方法,其特征在于,s4中,所述训练数据集表示为:

4.如权利要求1所述的基于多模态模型的计算机断层扫描图像分割的伪标签选择方法,其特征在于,s5中,所述多模态模型biomedclip的文本编码器表达为下式:

5.如权利要求1所述的基于多模态模型的计算机断层扫描图像分割的伪标签选择方法,其特征在于,s6中,所述训练目标为最小化联合损失用...

【专利技术属性】
技术研发人员:金鸽苑永起朱颖雯张迁程勇余德
申请(专利权)人:江苏开放大学江苏城市职业学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1