System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于时序信息增强的三维医学图像分割方法技术_技高网

一种基于时序信息增强的三维医学图像分割方法技术

技术编号:40172503 阅读:6 留言:0更新日期:2024-01-26 23:41
本发明专利技术公开了一种基于时序信息增强的三维医学图像分割方法,属于医学图像分割领域,该方法针对时序信息的提取和融合提出了Circle Transformer模块,利用时序输入提升深度学习模型的训练效果,可以有效消除相似特征和模糊图像的干扰;在训练阶段,输入是一个时间序列的样本,并通过提取时序信息增强模型训练效果,再通过同时约束时序信息结合前后的分割结果解除模型对于时序的依赖,与输入单个样本的训练方法对比,可以无成本的提升基于编解码结构的分割模型精度;在应用阶段,仅需输入单帧三维图像,无需使用序列作为输入,应用模式更加灵活。

【技术实现步骤摘要】

本专利技术属于医学图像分割领域,更具体地,涉及一种基于时序信息增强的三维医学图像分割方法


技术介绍

1、图像自动分割技术在医学领域有广泛应用,对于临床诊断、手术导航等计算机辅助诊疗系统的开发具有重要作用。以穿刺活检为例,其是诊断前列腺癌的金标准,准确的穿刺导航技术能有效提高穿刺手术的检出率,减少对患者的创伤。实时三维超声在穿刺导航中备受关注,三维超声图像中活检针的自动分割是实现穿刺手术术中导航的关键技术。

2、目前,针对图像分割任务提出了许多深度学习模型,其中卷积神经网络(cnn)和transformer已成为图像分割的主流方法。近年来,cnn与transformer的结合进一步提高了分割网络的精度,但transformer模块需要大量的计算和内存资源。因此cnn与transformer的结合大多依赖于编码器-解码器结构,通过编码消除冗余信息,降低模型的复杂度。

3、随着图像处理技术的发展,许多研究人员发现利用时间信息是提高医学图像分割精度的主要方向之一。以活检针为例,当其移动时,时间信息可以提供相对运动和形状的参考,从而大大降低其检测难度。由于transformer的全局特征相关学习能力,它非常适合处理多帧图像,在视频分割任务中得到了广泛应用。然而,现有研究主要针对二维自然图像序列,对于基于三维超声的实时针检测无法取得良好效果。

4、数据标注成本高是医学图像分割面临的另一个主要问题。因此,很多人致力于探索半监督分割方法,即只对数据集中的少量图像进行标注,实现接近标注所有数据时的分割精度。目前流行的半监督分割策略是一致性学习,即当样本或模型参数受到轻微干扰时,鼓励模型有相似的输出。这将迫使相似样本的输出特征更接近,而不同类别的输出特征则差别更大,从而利用未标记的样本间接提高模型的性能。现有的一致性学习方案主要通过建立并行网络或变换输入数据来实现。前者需要占用额外的计算资源,而后者的性能也不够理想。


技术实现思路

1、针对现有技术的以上缺陷或改进需求,本专利技术提供了一种基于时序信息增强的三维医学图像分割方法,该方法采用circle transformer用于提取三维图像序列中目标的运动信息用于训练,有利于提高三维医学图像中目标区域影像的分割精度;该方法适用于所有基于编码器-解码器结构的分割模型,通过同时约束时间信息结合前后的分割结果,消除了模型对时间模块的依赖,能无成本提高模型的分割精度。应用过程中仅需输入单帧三维图像,无需使用序列作为输入,应用模式更加灵活;对于无标签数据,该方法根据时间信息结合前后的输出概率图计算一致性损失,更有利于提高模型性能,且不需要额外内存。

2、为实现上述目的,按照本专利技术的第一方面,提供了一种基于时序信息增强的三维医学图像分割方法,包括:

3、训练阶段:

4、利用训练集及circle transformer模块对分割模型进行半监督训练;

5、所述训练集包括含有目标区域的三维医学图像序列,且其中部分所述三维医学图像序列的目标区域分割金标准已知,为有标签数据,另一部分为无标签数据;

6、所述分割模型包括编码器及解码器;其中,所述编码器用于分别对所述三维医学图像序列中的各图像进行编码得到编码特征;所述circle transformer模块用于分别将所述三维医学图像序列中的各图像作为目标图像进行处理得到其解码前特征,所述处理为:将目标图像的编码特征fs作为k和v、将三维医学图像序列中其它图像的编码特征fd作为q进行自注意力计算得到fm;将fm作为k和v、将fs作为q再次进行自注意计算得到fa,对fa进行层归一化和前馈神经网络计算得到所述目标图像的解码前特征fo;所述解码器用于分别对所述各图像的fo进行解码,得到所述各图像的分割结果;

7、对于有标签数据,其训练目标为各图像的分割结果与其标签的差异最小化;对于无标签数据,其训练目标为各图像的分割结果与将各图像的编码特征输入至解码器得到的分割结果的差异最小化。

8、应用阶段:

9、将待分割的三维医学图像输入至训练好的分割模型,得到分割结果。

10、按照本专利技术的第二方面,提供了一种基于时序信息增强的三维医学图像分割系统,包括:计算机可读存储介质和处理器;

11、所述计算机可读存储介质用于存储可执行指令;

12、所述处理器用于读取所述计算机可读存储介质中存储的可执行指令,执行如第一方面所述的方法。

13、按照本专利技术的第三方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行如第一方面所述的方法。

14、总体而言,通过本专利技术所构思的以上技术方案与现有技术相比,能够取得下列有益效果:

15、1、本专利技术提供的方法,针对时序信息的提取和融合提出了circle transformer模块,利用时序输入提升深度学习模型的训练效果,可以有效消除相似特征和模糊图像的干扰;在训练阶段,输入是一个时间序列的样本,并通过提取时序信息增强模型训练效果,再通过同时约束时序信息结合前后的分割结果解除模型对于时序的依赖,与输入单个样本的训练方法对比,可以无成本的提升基于编解码结构的分割模型精度;在应用阶段,仅需输入单帧三维图像,无需使用序列作为输入,应用模式更加灵活。

16、2、本专利技术中提出使用标签同时约束时序信息结合前后的分割结果,可以在不增加额外成本的情况下提高编解码结构的分割模型的训练效果。同时基于时序信息结合前后的分割结果提出新的一致性损失,提高模型的半监督训练效果。

17、综上,本专利技术将深度学习与基于时序信息增强的分割模型半监督训练结合对三维医学图像分割模型进行训练,在对基于时序信息增强的分割模型半监督训练时,构建了circle transformer模块用于提取时序运动信息并用以优化训练过程;同时提出了同时监督时序信息结合前后的分割结果,消除模型对于时序的依赖,从而无成本的提升分割模型的训练效果;基于时序信息结合前后的分割结果提出新的一致性损失,用于约束无标签数据从而实现半监督训练,有利于提高模型性能,且不需要额外内存。

本文档来自技高网...

【技术保护点】

1.一种基于时序信息增强的三维医学图像分割方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,

3.如权利要求1或2所述的方法,其特征在于,所述对所述分割模型进行半监督训练之前,还包括:根据感兴趣区域对所述训练集中各图像进行裁剪,再进行像素值归一化处理;

4.如权利要求1或2所述的方法,其特征在于,所述训练阶段的损失包括有标签数据的分割损失Lseg及无标签数据的一致性损失Lcons。

5.如权利要求4所述的方法,其特征在于,

6.一种基于时序信息增强的三维医学图像分割系统,其特征在于,包括:计算机可读存储介质和处理器;

7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行如权利要求1-5任一项所述的方法。

【技术特征摘要】

1.一种基于时序信息增强的三维医学图像分割方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,

3.如权利要求1或2所述的方法,其特征在于,所述对所述分割模型进行半监督训练之前,还包括:根据感兴趣区域对所述训练集中各图像进行裁剪,再进行像素值归一化处理;

4.如权利要求1或2所述的方法,其特征在于,所述训练阶段的损失包括有标签...

【专利技术属性】
技术研发人员:张旭明闻明伟
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1