【技术实现步骤摘要】
本专利技术涉及图像处理领域，特别涉及一种基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置。
技术介绍
1、医学图像分割是一项关键的任务，旨在精准地提取和标定医学图像中的特定结构或组织，如器官、肿瘤等，为医学诊断等领域提供了宝贵的信息。近年来，基于深度学习的医学图像分割取得了显著的进展，为临床决策提供可靠的支持。然而大部分方法采用全监督训练策略依赖大规模像素级标注，而标注通常需要高度专业的经验，耗时且成本高昂。sam(segment anything model)强大的分割性能引人关注。因此，结合sam的弱监督学习(wsl)为这一问题提供了一种有效解决方案，越来越受到人们的关注。
2、近年来，多种基于弱监督的医学图像分割方法逐渐被探索，在这些方法中，不同的稀疏标签被应用在多种器官的分割任务中，例如，yu等人提出了一种基于涂鸦级注释的弱监督细胞分割框架(yu,siyue,et al."structure-consistent weakly supervisedsalient object detection with local saliency coherence."in:aaai conference onartificial intelligence.)实现对细胞的自动分割。liu等人提出了一种covid-19感染ct切片分割方法实现对肺部感染区域的分割(liu,xiaoming,et al."weakly supervisedsegmentation of covid19 infection w
技术实现思路
1、本专利技术的目的在于提供一种基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置。
2、实现本专利技术目的的技术方案为：第一方面，本专利技术提供一种基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法，包括：
3、收集多个不同的医学图像数据集，组成训练集和测试集，用弱监督方法的不同标签处理处理训练集；
4、构建以res2net50为骨干网络框架包含跨层特征融合多层特征增强的神经网络ceanet；
5、借助sam提供的预测mask利用多种损失约束训练所述神经网络，优化网络参数，选取最好的模型，包括部分损失约束约束、结构一致性约束；
6、将测试集样本输入至最终模型文件，得到最终的分割图像。
7、第二方面，本专利技术提供一种基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割装置包括：
8、数据采集模块，收集不同数据集的医学图像多个数据集，组成训练样本和测试样本；
9、跨层特征聚合模块，用于构建以res2net为骨干网络的神经网络，融合每两个相邻层的特征；
10、多层特征增强模块，用于聚合不同尺度图像特征信息，使不同尺度的高级特征和低级特征均保留；
11、结构一致性和交叉一致性模块，用于约束图像预测，利用涂鸦标记注释以及来自sam生成的掩码来约束监督分割模型；
12、分割图像生成模块，用于将测试样本输入至最终的分割模型，得到最终的分割图像。
13、第三方面，本专利技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法的步骤。
14、第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤。
15、与现有技术相比，本专利技术的显著优点为：
16、(1)提出了跨层级特征聚合模块，通过融合跨层级特征，增强不同分辨率下特征的表示能力。
17、(2)本专利技术提出了多层特征增强模块，通过融合高层多尺度特征，进而将融合特征用于增强当前层特征，关注高级语义的同时兼顾低级特征，有效地提高了网络的感知力。
18、(3)本专利技术提出了提示盒子生成策略优化协同学习过程，通过对涂鸦标签以及预测特征得到盒子的融合，为sam提供很好的提示，以便生成更高质量的掩码图像。
19、(4)在5个广泛使用的息肉数据集上的实验结果表明，sam-clnet优于现有弱监督分割方法。
本文档来自技高网...【技术保护点】
1.一种基于SAM协同学习和跨层特征聚合增强的弱监督医学图像分割方法，其特征在于，包括：
2.根据权利要求1所述的基于SAM协同学习和跨层特征聚合增强的弱监督医学图像分割方法，其特征在于，构建以Res2Net50为骨干网络框架包含跨层特征融合多层特征增强的神经网络，具体为：
3.根据权利要求1所述的所述的基于SAM协同学习和跨层特征聚合增强的弱监督医学图像分割方法，其特征在于，在将第i层的特征引入解码器时，首先聚合所有先前CEM模块中的特征，并将聚合的特征与结合，然后将其馈送到解码器生成预测的分割图；对于首先级联特征所有这些特征都被级联，然后通过一个1×1的卷积层以减少通道；因此，可获得级联特征描述为其中Ocat表示concatenation操作；特征Fcas经过一个3×3的卷积层，接着是批量归一化和ReLU激活函数生成特征Fcon；然后，在Fcon上应用全局平均池化操作，再通过Sigmoid激活函数生成全局权重图；权重图与相应的特征Fcon逐元素相乘，产生全局注意增强特征Fg，为了保留每层的原始特征信息，通过在初始增强特征上堆叠Fcon和Fg来应用残差连
4.根据权利要求1所述的基于SAM协同学习和跨层特征聚合增强的弱监督医学图像分割方法，其特征在于，基于SAM的协同学习方法，具体为：
5.一种所述的基于SAM协同学习和跨层特征聚合增强的弱监督医学图像分割装置，其特征在于，包括：
6.根据权利要求5所述的基于SAM协同学习和跨层特征聚合增强的弱监督医学图像分割装置，其特征在于，跨层特征聚合模块的具体实现方式为：
7.根据权利要求5所述的基于SAM协同学习和跨层特征聚合增强的弱监督医学图像分割装置，其特征在于，多层特征增强模块的具体实现方式为：
8.根据权利要求5所述的基于SAM协同学习和跨层特征聚合增强的弱监督医学图像分割装置，其特征在于，协同学习的结构一致性和交叉一致性约束的具体实现方式为：
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一所述的方法的步骤。
...【技术特征摘要】
1.一种基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法，其特征在于，包括：
2.根据权利要求1所述的基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法，其特征在于，构建以res2net50为骨干网络框架包含跨层特征融合多层特征增强的神经网络，具体为：
3.根据权利要求1所述的所述的基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法，其特征在于，在将第i层的特征引入解码器时，首先聚合所有先前cem模块中的特征，并将聚合的特征与结合，然后将其馈送到解码器生成预测的分割图；对于首先级联特征所有这些特征都被级联，然后通过一个1×1的卷积层以减少通道；因此，可获得级联特征描述为其中ocat表示concatenation操作；特征fcas经过一个3×3的卷积层，接着是批量归一化和relu激活函数生成特征fcon；然后，在fcon上应用全局平均池化操作，再通过sigmoid激活函数生成全局权重图；权重图与相应的特征fcon逐元素相乘，产生全局注意增强特征fg，为了保留每层的原始特征信息，通过在初始增强特征上堆叠fcon和fg来应用残差连接；之后，融合的特征经过一个3×3的卷积批量归一化和relu激活函数得到最终的特征；该过程表示...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。