一种基于多图谱和SAM模型的脊柱图像分割方法技术

本发明专利技术公开了一种基于多图谱和SAM模型的脊柱图像分割方法，使用简单网络对待分割图像进行初步分割，然后将提示图像与粗分割结果进行配准，并将其作为多图谱；使用SAM预训练权重的ViT模型作为图像编码器提取输入图像特征，并在其中插入适配器进行微调；使用CNN作为提示编码器提取多图谱特征，并保留每次下采样的特征图；使用掩膜解码器的解码模块融合两个编码器提取的特征，并通过多层MLP获取特征向量，最后通过点乘得到预测结果。本发明专利技术通过一个多图谱生成子网络和一个分割子网络自动化生成分割结果而无需人工手动干预，改进了SAM模型在医学分割领域中需要手工标注点和框的低效率操作，同时结合多图谱的先验知识使分割结果更加精确。

【技术实现步骤摘要】

本专利技术属于医学图像，特别涉及一种基于多图谱和sam模型的脊柱图像分割方法。

技术介绍

1、脊柱是人体中不可或缺的重要结果，它对人体提供重要的支撑作用。精确的脊柱分割结果对脊柱疾病的治疗也很重要，它能帮助医生更好地了解病人的脊柱解剖形态从而更好的为病人进行诊断和治疗。但是对脊柱进行精确的人工标注是一件十分耗时且低效的工作。并且由于标注者的个人经验不同，人工标注也容易出错。对于基于深度学习的自动标注方法来说，这也是件难事。由于脊柱区域复杂的解剖学结构、医学图像的噪声、ct中神经区域的低对比度等等原因，都会导致脊柱区域的分割结果效果达不到非常精确。

2、多图谱分割具有稳定、精确的特点。传统的多图谱分割使用多组图像及其标签作为模板，然后通过syn或demons算法将待分割图像与标注好的模板图像进行配准，得到多个配准后的标注图像。再经过加权投票等方式将多个标注后的结果进行标签融合，产生的图像再经过一些后处理即可得到最终待分割图像的分割结果。随着深度学习的发展，多图谱分割跟深度学习也进行了融合达到了优势结合。

3、sam模型提供了图像分割领本文档来自技高网...

【技术保护点】

1.一种基于多图谱和SAM模型的脊柱图像分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多图谱和SAM模型的脊柱图像分割方法，其特征在于，所述步骤(1)是实现过程如下：

3.根据权利要求1所述的一种基于多图谱和SAM模型的脊柱图像分割方法，其特征在于，步骤(2)所述使用SAM预训练权重的ViT模型作为图像编码器提取输入图像特征实现过程如下：

4.根据权利要求1所述的一种基于多图谱和SAM模型的脊柱图像分割方法，其特征在于，步骤(2)所述插入适配器进行微调实现过程如下：

5.根据权利要求1所述的一种基于多图谱和SAM模型...

【技术特征摘要】

1.一种基于多图谱和sam模型的脊柱图像分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多图谱和sam模型的脊柱图像分割方法，其特征在于，所述步骤(1)是实现过程如下：

3.根据权利要求1所述的一种基于多图谱和sam模型的脊柱图像分割方法，其特征在于，步骤(2)所述使用sam预训练权重的vit模型作为图像编码器提取输入图像特征实现过程如下：

4.根据权利要求1所述的一种基于多图谱和sam模型的脊柱图像分割方法，其特征在于，步骤(2)所述插入适配器进行微调实现过程如下：

5.根据权利要求1所述的一种基于多图谱和sam模型的脊柱图像分割方法，其特征在于，所述步骤(3)实现过程如下：

6.根据权利要求5所述的一种基于多图谱和sam模型的脊柱图像分割方法，其特征在于，所述最大池化层中，卷积核大小为2，步长为2，将图像长宽缩小一半同时保持原来通道数不变。

7.根据权利要求5所述的一种基于多图谱和sam模型的脊柱图像分割方法，其特征在于，所述卷积层的卷积核大小为3，步长为1，填充为1。

8.根据权利要求1...

【专利技术属性】
技术研发人员：孙亮，樊定伟，张道强，赵俊勇，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：