【技术实现步骤摘要】
本专利技术涉及医学图像分割，具体涉及一种基于sam的跨模态域泛化医学图像分割方法。
技术介绍
1、在大数据和人工智能飞速发展的时代，人类广泛应用视觉技术来从庞大的数据池中提取信息。特别是在医学和生物工程
，采用多模态医学影像数据为医学诊断和治疗开辟了新的研究途径和思路，推动了创新的发展。在医学图像的研究中，数据量小和各个数据集之间的差异性是最显著的问题，因此，聚焦于医学图像数据的处理具有重要的指导意义与研究价值，长期依赖受到国内外学者的积极关注。医学临床诊断和疾病治疗的关键是医学影像精准分割。
2、当前医疗系统中对图像分割的需求日益增加，主要目标是建立一个系统，有效地组合不同的诊断模式，以输出一个能够帮助专家根据每个患者的特定解剖结构和病理特征制定个性化的诊断和治疗计划。然而由于医学图像的成像方式种类不同，同一成像方式下采集设备的差异、老化等造成医疗影像数据的差异。
3、近年来，以深度学习方法替代人工方法对医学图像进行精准分割，进一步提升了分割精度和临床诊断效率。大部分医学图像处理的深度学习模型需要建立在大量标注数据的基础上，而临床数据具有隐私性和异质性等特征，导致模型的泛化能力降低。最新提出的一种segment anything model(sam)在自然图像分割上显示了强大的能力，但在医学图像分割任务上效果差甚至会失败。
4、现有医学图像分割方法面临着许多挑战：(1)临床数据规模小且标注质量差。基于患者隐私保护和安全难以获取原始无损的影像数据大多数标注依赖专业医生，耗时耗力，导致临床
5、医学图像的多模态形式及临床采集差异导致临床数据“域漂移”现象，导致泛化性低。(3)分割边缘不清和异常情况。医学图像中可能存在噪声、病变边缘不清晰、器官形态变异等情况，这增加了分割的难度。
6、上述问题亟待解决，为此，提出一种基于sam的跨模态域泛化医学图像分割方法。
技术实现思路
1、本专利技术所要解决的技术问题在于：如何解决sam在医学图像上的边界分割模糊、组织不清晰等问题，提供了一种基于sam的跨模态域泛化医学图像分割方法。
2、本专利技术是通过以下技术方案解决上述技术问题的，本专利技术包括以下步骤：
3、s1：将3d脑肿瘤mri的数据集进行切片和预处理，得到预处理后的切片图像数据；
4、s2：对预处理后的切片图像数据进行增强处理；
5、s3：建立基于sam的医学图像分割网络，通过对分割网络中编码器结构进行冻结，引入cds适配器结构，采用多种注意力机制，提取多模态医学图像特征信息，然后将不同维度的特征信进行特征融合，实现对分割网络的特征提取及融合过程的改进；
6、s4：建立分割网络的提示分割和切片合成方式，得到改进后的分割网络，即基于sam的跨模态域泛化医学图像分割网络；
7、s5：对基于sam的跨模态域泛化医学图像分割网络训练，利用训练完成的分割网络，通过测试集进行测试并得到分割结果。
8、更进一步地，在所述步骤s1中，具体处理过程如下：
9、s11：读取到原始数据x后，对3d脑肿瘤mri图像进行切片处理，得到切片图像数据
10、s12：将切片图像数据通过z-score方法进行正则化处理，得到预处理后的切片图像数据z1。
11、更进一步地，在所述步骤s2中，具体处理过程如下：
12、s21：对预处理后的切片图像数据进行一系列数据增强处理，数据增强处理包括随机旋转、尺寸缩放、水平镜像、随机裁剪；
13、s22：采用相同的随机性种子，使图像和标签之间的对应关系在数据增强时保持一致。
14、更进一步地，在所述步骤s3中，基于sam的医学图像分割网络定义如下：
15、h＝yc02(d(yco1(e(yreshape(x))+p(ygenerate(x))))
16、其中，yreshape表示对输入图像进行预处理操作，ygenerate表示对输入图像生成提示操作，yco1表示编码器和解码器之间的操作，yc02表示解码器之后的操作，表示为输入的3d脑肿瘤mri图像，m表示3d脑肿瘤图像切片数量，c表示每个切片的通道数，h×w表示切片的高度和宽度。
17、更进一步地，在所述步骤s3中，具体处理过程如下：
18、s31：对分割网络中编码器结构进行冻结，采用切片注意力机制和通道注意力机制进行特征提取；
19、s32：将提取的通道特征和切片特征与位置信息相融合，进行多模态特征融合操作。
20、更进一步地，在所述步骤s31中，通道注意力机制处理过程如下：
21、s3101：对切片数量、高度和宽度维度分别执行全局最大池化和平均池化操作；
22、s3102：将得到的最大池化特征和平均池化特征分别输入到同一个多层通道感知器cmlp中；
23、s3103：将多层通道感知器cmlp的两个输出输入到一个sig型函数中，生成通道注意力图tchannel。
24、更进一步地，在所述步骤s31中，切片注意力机制处理过程如下：
25、s3111：引入切片不确定性块捕捉由部分体积效应引起的不确定性，或者是由于切片厚度与空间分辨率之间的长度差异导致的不确定性；
26、s3112：在生成切片注意图之前，将多层切片感知器smlp的输出与切片不确定性块的输出相加，从而将捕获的不确定性信息融入到最终的切片注意力机制中；
27、s3113：最后从分布中选取最优的一个向量通过sig型函数得到切片注意力图tslice。
28、更进一步地，在所述步骤s3112中，采用拉普拉斯近似分布n(x|μ,σ2)对切片不确定块进行建模，不确定性块的输入由多个m×1×1×1的张量相互作用获得的对输入张量进行线性运算，得到期望μ和方差σ2。
29、更进一步地，在所述步骤s32中，多模态特征融合操作表达式如下：
30、
31、其中，tposition为位置特征图，由sam分类网络中positional embedding对输入切片图像的位置特征提取得到；t为多模态特征融合得到的特征图；为多模态特征间的矩阵乘法操作。
32、更进一步地，在所述步骤s4中，具体处理过程如下：
33、s41：从最深的特征图开始，逐渐上采样到2倍的大小，然后与较浅的特征图连接，得到与最终分割大小相同的辅助掩码p：
34、p＝m×c×himg×wimg
35、其中，m表示输入的切片图像数量，c表示生成掩码的通道数，himg×wimg表示生成掩码的空间分辨率；
36、s42：利用辅助遮罩为每个切片图像生成一个点、一个边界框和一个遮罩；对于点的选择，利用欧几里得距离变换计算每个像素点到本文档来自技高网...
【技术保护点】
1.一种基于SAM的跨模态域泛化医学图像分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于SAM的跨模态域泛化医学图像分割方法，其特征在于：在所述步骤S1中，具体处理过程如下：
3.根据权利要求1所述的一种基于SAM的跨模态域泛化医学图像分割方法，其特征在于：在所述步骤S2中，具体处理过程如下：
4.根据权利要求1所述的一种基于SAM的跨模态域泛化医学图像分割方法，其特征在于：在所述步骤S3中，基于SAM的医学图像分割网络定义如下：
5.根据权利要求4所述的一种基于SAM的跨模态域泛化医学图像分割方法，其特征在于：在所述步骤S3中，具体处理过程如下：
6.根据权利要求5所述的一种基于SAM的跨模态域泛化医学图像分割方法，其特征在于：在所述步骤S31中，通道注意力机制处理过程如下：
7.根据权利要求6所述的一种基于SAM的跨模态域泛化医学图像分割方法，其特征在于：在所述步骤S31中，切片注意力机制处理过程如下：
8.根据权利要求7所述的一种基于SAM的跨模态域泛化医学图像分割方法
9.根据权利要求8所述的一种基于SAM的跨模态域泛化医学图像分割方法，其特征在于：在所述步骤S32中，多模态特征融合操作表达式如下：
10.根据权利要求9所述的一种基于SAM的跨模态域泛化医学图像分割方法，其特征在于：在所述步骤S4中，具体处理过程如下：
...【技术特征摘要】
1.一种基于sam的跨模态域泛化医学图像分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于sam的跨模态域泛化医学图像分割方法，其特征在于：在所述步骤s1中，具体处理过程如下：
3.根据权利要求1所述的一种基于sam的跨模态域泛化医学图像分割方法，其特征在于：在所述步骤s2中，具体处理过程如下：
4.根据权利要求1所述的一种基于sam的跨模态域泛化医学图像分割方法，其特征在于：在所述步骤s3中，基于sam的医学图像分割网络定义如下：
5.根据权利要求4所述的一种基于sam的跨模态域泛化医学图像分割方法，其特征在于：在所述步骤s3中，具体处理过程如下：
6.根据权利要求5所述的一种基于sam的跨模态域泛化医学图像分割方法，其特征在于：在所述步骤s31中...
【专利技术属性】
技术研发人员：方贤进，杨洋，曾繁茂，姜雪凤，韩玉玺，程颖，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。