System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法及装置制造方法及图纸_技高网

基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法及装置制造方法及图纸

技术编号:40280968 阅读:7 留言:0更新日期:2024-02-07 20:35
本发明专利技术涉及一种基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法及装置,充分利用未标记数据来提高分割精度。本发明专利技术提出了跨层特征聚合模块来整合跨层相邻层,以增强不同分辨率下特征的表示能力;为了处理尺度变化问题,提出了双尺度一致性约束,以确保同一输入图像在不同尺度下的分割图的一致性;此外,结合尺度感知的扰动一致性约束和交叉生成一致性约束挖掘有效的特征表示来提升分割性能。

【技术实现步骤摘要】

本专利技术涉及图像处理领域,特别涉及一种基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法及装置


技术介绍

1、结直肠癌(colorectal cancer,crc)是全球范围内最致命的疾病之一,主要由腺瘤性息肉形成。因此,早期发现并切除息肉有助于降低结直肠癌的发生率。为了实现这一目标,息肉分割对早期定位息肉起着关键作用,为临床医生的诊断提供了方便。目前,各种深度学习模型已经被开发出来,并在息肉分割中取得了良好的性能。上述方法基于全监督训练策略,并严重依赖大量像素级标注。然而,对于医学图像而言,标注往往需要高度专业的经验,费时且昂贵。因此,半监督学习(ssl)提供了一种有效的解决方案,以利用未标记数据来提高模型的性能。

2、最近,各种基于深度学习的半监督方法被开发出来。在这些方法中,一致性约束是一种广泛使用的策略,通过增强对未标记数据的扰动不应显著改变其输出或预测。其中最具代表性的框架是mean teacher(mt)(tarvainen,a.,valpola,h.:mean teachers arebetter role models:weight-averaged consistency targets improve semi-supervised deep learning results.nips 30(2017)),它在未标记样本上设计了基于扰动的教师和学生模型之间的一致性损失。受mt的启发,一些改进的方法专注于设计不同的扰动策略来实现ssl分割。例如,提出了一种不确定性感知框架(ua-mt)(yu,l.,wang,s.,li,x.,fu,c.w.,heng,p.a.:uncertainty-aware self-ensembling model for semi-supervised 3d left atrium segmentation.in:miccai.pp.605–613.springer(2019)),通过利用不确定性信息使学生模型逐渐学习到更可靠的目标,并消除不可靠的预测。chen等人(chen,x.,yuan,y.,zeng,g.,wang,j.:semi-supervised semantic segmentationwith cross pseudo supervision.in:ieee cvpr.pp.2613–2622(2021))开发了一种交叉伪监督(cps)策略,该策略初始化两个具有不同权重的相同网络,并鼓励相同输入流经具有不同权重的两个网络获得的预测图应该高度一致性。luo等人(luo,x.,liao,w.,chen,j.,song,t.,chen,y.,zhang,s.,chen,n.,wang,g.,zhang,s.:efficient semi-supervisedgross target volume of nasopharyngeal carci-noma segmentation via uncertaintyrectified pyramid consistency.in:miccai.pp.318–329.springer(2021))设计了一种不确定性修正的金字塔一致性(urpc)方案,使分割模型能够在不同尺度上产生一致的预测。此外,提出了一种基于对比学习和一致性约束的clcc算法(zhao,x.,fang,c.,fan,d.j.,lin,x.,gao,f.,li,g.:cross-level contrastive learning and consistencyconstraint for semi-supervised medical image segmentation.in:ieee isbi.pp.1–5(2022)),用于融合全局信息和分块信息,并将其应用于息肉分割。slcnet(liu,j.,desrosiers,c.,zhou,y.:semi-supervised medical image segmentation using cross-model pseudo-supervision with shape awareness and local contextconstraints.in:miccai.pp.140–150.springer(2022))被提出通过同时向网络输入伪标签,利用形状信息进行训练。尽管取得了这一成就,但由于形状、大小、拍摄角度和位置的变化,半监督息肉分割仍然是一项具有挑战性的任务。因此,对于利用大量无标记数据进行息肉分割,提出一种有效、鲁棒的半监督学习策略至关重要。


技术实现思路

1、本专利技术的目的在于提供一种基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法及装置。

2、实现本专利技术目的的技术方案为:第一方面,本专利技术提供一种基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法,包括:

3、收集多个数据集的结直肠息肉图像,组成训练样本和测试样本;

4、构建以res2net为骨干网络的包含跨层特征聚合模块的神经网络;

5、利用多重一致性约束训练所述神经网络,优化网络参数,选取最好的分割模型,多重一致性约束包括双尺度一致性约束、尺度感知的扰动一致性约束和交叉生成一致性约束;

6、将测试样本输入至最终分割模型,得到结直肠息肉分割图像。

7、第二方面,本专利技术提供一种基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割装置,包括:

8、数据采集模块,用于收集多个数据集的结直肠息肉图像,组成训练样本和测试样本;

9、跨层特征聚合模块,用于构建以res2net为骨干网络的神经网络,融合每两个相邻层的特征;

10、双尺度一致性模块,用于约束不同尺度图像的输出,使不同尺度的特征能够相互细化;

11、尺度感知的扰动一致性和交叉生成一致性模块,用于约束原始图像,通过交叉分割图来重构扰动后的图像,利用来自未标记数据的知识来增强分割模型;

12、分割图像生成模块,用于将测试样本输入至最终的分割模型,得到结直肠息肉分割图像。

13、第三方面,本专利技术提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面所述的方法的步骤。

14、第四方面,本专利技术提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述的方法的步骤。

15、与现有技术相比,本专利技术的显著优点为:

16、(1)提出了跨层级特征聚合模块,以融合跨层级特征,增强不同分辨率下特征的表示能力。

17、(2)本专利技术提出一种双尺度一致性约束来缩小来自不同尺度输入的预测分割图之间的差距,从而学习尺度相关特征来处理不同息肉的尺度变化。

18、(3)提出了一种交叉生成一致性约束,利用丰富的语义信息来提高分割性能。

19、(4)在5个广泛使用的数据集上的本文档来自技高网...

【技术保护点】

1.一种基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法,其特征在于,包括:

2.根据权利要求1所述的基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法,其特征在于,构建以Res2Net为骨干网络的包含跨层特征聚合模块的神经网络,具体为:

3.根据权利要求1所述的基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法,其特征在于,双尺度一致性约束具体为:

4.根据权利要求3所述的基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法,其特征在于,尺度感知的扰动一致性和交叉生成一致性,具体如下:

5.一种基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割装置,其特征在于,包括:

6.根据权利要求5所述的基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割装置,其特征在于,跨层特征聚合模块的具体实现方式为:

7.根据权利要求5所述的基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割装置,其特征在于,双尺度一致性模块的具体实现方式为:

8.根据权利要求7所述的基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割装置,其特征在于,尺度感知的扰动一致性和交叉生成一致性模块的具体实现方式为:

9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-4任一所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4任一所述的方法的步骤。

...

【技术特征摘要】

1.一种基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法,其特征在于,包括:

2.根据权利要求1所述的基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法,其特征在于,构建以res2net为骨干网络的包含跨层特征聚合模块的神经网络,具体为:

3.根据权利要求1所述的基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法,其特征在于,双尺度一致性约束具体为:

4.根据权利要求3所述的基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割方法,其特征在于,尺度感知的扰动一致性和交叉生成一致性,具体如下:

5.一种基于双尺度增强和交叉生成一致性学习的半监督息肉图像分割装置,其特征在于,包括:

6.根据权利要求5所述的基于双尺度增强和交...

【专利技术属性】
技术研发人员:周涛顾芸绮张轶哲
申请(专利权)人:南京理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1