System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种多层级特征提取融合注意力机制的医学图像分割方法技术_技高网

一种多层级特征提取融合注意力机制的医学图像分割方法技术

技术编号:40258037 阅读:9 留言:0更新日期:2024-02-02 22:49
本发明专利技术公开了一种多层级特征提取融合注意力机制的医学图像分割方法,其方法步骤包括:构建多类型的医学图像数据集编码流程,针对医学图像进行人工标注,插入额外的可训练层进行特征提取;获取生成的特征提取数据集嵌入卷积处理,利用注意力机制进行全局分析;构建依据图像中稀疏提示进行提示工程处理,利用CLIP和ALIGN算法对比学习训练对齐;获取提示工程和卷积处理的数据集进行注意力机制处理,可进行对令牌的自我关注和交叉关注;采用激活函数和优化器加速医学图像检测方法,引入优化器和新的激活函数模块,加速模型检测速度。本发明专利技术实施例能够高效地训练出准确度高,适用范围广的医学图像分割检测模型,提高医学图像分割检测的效率。

【技术实现步骤摘要】

本专利技术涉及医学图像处理领域,尤其涉及一种融合注意力机制的医学图像分割方法。


技术介绍

1、在过去几十年中,医学成像已成为辅助医生诊断病情的首要技术。随着科技的发展与新型医学影像技术的日益成熟,医学影像主要包括计算机断层扫描、核磁共振图像、x射线(x-ray)、光学相干断层扫描、电子显微镜、超声和正电子发射断层扫描七大类。医学图像分析的目的是突出图像中的某些特征信息并对其进行处理和分析,医学图像分割作为医学成像中分析领域中的重要任务,在医疗手术计划、放射性治疗计划和解剖教学等方面有重要的应用,具有广泛的应用前景与很高的实用价值,是国内外专家学者广泛关注的研究课题。

2、医学图像分割的过程是在病灶图像中提取被分割器官的特征,将感兴趣的区域从周围环境中提取出来并分析其物理和病理信息,为疾病的诊断提供强有力的保障。传统的分割方法主要有边缘检测、区域生长、局部阈值、小波变换等,但由于医学图像可能存在各种类型的噪声和模糊,以及由于患者自身个体差异而导致目标形态异常及软组织间相似边界信息弱等问题,所以需要引入计算机辅助诊断技术来改善上述问题,来减轻医生的阅片负担并避免主观判断误差。不同于自然图像处理,医学图像的分割比自然图像中的目标更小,边缘分割精确度高,所需的专业性知识更高,对医学图像中的器官组织进行精确分割需要学习可用于定量分析的临床参数,使得医学图像分割的难度相对较大。传统的医学图像分割方法多数集中在灰度统计、阈值分割和边缘检测等方法,其应用场景单一,不具备通用性。

3、近年来,随着深度学习的快速发展,深度学习在医学图像分割领域取得了显著的成就,基于深度学习的医学图像分割方法在自然图像处理中已达到了很好的效果。基于深度学习的语义分割方法提供了最先进的分割性能,成功地应用与医学图像分类、检测和分割等任务中。基于深度学习的医学图像分割方法通过深度神经网络的引入,使其可以从图像数据中学习到具有良好鲁棒性,能够实现从图像中识别目标、提取并准确定位图像中的特征、实现自动分割,使得医学图像分割性能得到了进一步的提高。目前,基于深度学习的医学图像分割方法主要分为两类,一类是以unet网络为代表的应用广泛的分割模型,其基于对称的收缩路径和扩展路径,并在两个路径之间使用跳跃连接构成体系结构,在收缩路径中图像不断进行下采样,在扩展路径中图像不断进行上采样,并且收缩路径的图像会直接传入扩展路径中,使扩展路径获得更广阔的感受野,这类模型在解决从图像到图像的映射任务中有非常显著的效果。unet模型由于其灵活性和优化的模块化设计以及在医学图像领域获得显著效果,已成为最广泛应用的图像分割结构之一。另一类是以sam零样本分割一切的通用模型,sam与以往只能处理某种特定类型图片的图像分割模型不同,sam可以处理所有类型的图像。sam模型先通过图像编码器为图像生成编码,同时用一个轻量级提示编码器将用户的文字提示转换为提示编码,然后,sam将图像编码分别和提示编码信息源组合在一起,输送到一个轻量级解码器中,用于预测分割掩码。

4、随着深度学习的发展,将深度学习应用于医学图像的分割是大势所趋。然而,多数基于深度学习的医学图像分割方法在医学图像中的应用普遍采用与自然图像相同的方法进行处理,没有针对医学图像中存在的如特定任务只能处理特定图像以及通用模型中检测精读较低等一系列问题提出相应的解决方法,特征信息冗杂且极易引入背景噪声,边缘分割不明确,检测精度较低,表现效果有待提升,实际检测效果仍不理想,易出现错检与漏检的情况。


技术实现思路

1、针对现有技术中存在的不足,本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本专利技术提出一种训练效果好、时间成本低且大小目标通用的医学图像分割方法。

2、本专利技术实施例提供了一种构建多类型的医学图像数据集编码流程实现图像的特征提取,针对多类型的医学图像数据集进行少量半自动人工标注,交互式分割注释掩膜,插入额外的可训练层,医学图像数据集经过训练层,进行医学图像特征提取;

3、获取生成的医学图像特征提取数据集嵌入卷积处理流程,利用注意力机制对医学图像进行全局分析,通过全卷积通道以及层归一化进行图像特征优化;

4、构建依据图像中稀疏提示对医学图像的提示工程处理流程,稀疏提示映射到全卷积层进行嵌入,利用clip算法和align算法对比学习训练对齐两种模式的文本和图像编码器,以实现下游任务;

5、获取提示工程和卷积处理的数据集进行注意力机制处理流程,注意力机制可进行对令牌的自我关注,可进行从令牌到图像嵌入的交叉关注,可进行从图像嵌入到令牌的交叉关注,可进行更新每个令牌;

6、采用激活函数优化和优化器加速医学图像检测方法;其中,引入优化器和线性学习率进行多次迭代和学习率衰减,引入新的激活函数模块,加速模型检测速度。

7、可选地,所述构建多类型的医学图像数据集自动编码处理流程,包括:

8、医学图像数据集自动处理流程需要针对多任务的不同类型医学图像数据进行少量半自动人工标注;

9、数据集自动处理流程经过数据引擎,模型协助注释者注释掩膜,实现交互式分割设置;

10、针对多类型的医学图像数据集插入额外的可训练lora层,医学图像数据集经过训练层,训练层对医学图像进行特征提取。

11、可选地,所述获取生成的医学图像特征提取数据集嵌入卷积处理流程,包括:

12、采用注意力机制对医学图像进行全局分析,经过注意力机制处理,得到九个等距的全局注意力块;

13、九个等距的全局注意力块通过全卷积通道,每个卷积层都进行层归一化进行图像特征优化。

14、可选地,所述构建依据图像中稀疏提示对医学图像的提示工程处理流程,包括:

15、对稀疏提示点,框和蒙版映射到全卷积层进行图像嵌入;

16、利用clip算法和align算法对比学习训练对齐两种模式的文本和图像编码器,以实现下游任务。

17、可选地,所述获取提示工程和卷积处理的医学图像数据集进行注意力机制处理流程,包括:

18、构建多尺度注意力模块,通过全局上下文建模,缓解传统卷积操作中感受野受限的问题,为特征图带来更全面的信息;

19、设计实现一种基于令牌的多头注意力机制处理流程模块,可以对每个令牌进行自我关注,可以对每个令牌进行更新,可以进行从令牌到图像嵌入的交叉关注,可以进行从图像嵌入到令牌的交叉关注,该模块使用提示信息更新图像嵌入;

20、每一个自关注和交叉关注注意力与mlp进行训练,在每一个自关注和交叉关注注意力中都与mlp设计了残差连接,层归一化和dropout层;

21、从多头注意力机制中获取到的更新的令牌和更新的图像进行再嵌入,使用转置卷积层对更新后的图像嵌入进行上采样,在最后一个维度上执行softmax和argmax操作,提高计算效率。

22、可选地,所述采用激活函数优化的模型和优化器加速检测方法,包括:...

【技术保护点】

1.一种融合注意力机制的医学图像分割方法,其特征在于,包括:

2.根据权利要求1所述的一种融合注意力机制的医学图像分割方法,其特征在于,所述构建多类型的医学图像数据集自动编码处理流程,包括:

3.根据权利要求1所述的一种融合注意力机制的医学图像分割方法,其特征在于,获取生成的医学图像特征提取数据集嵌入卷积处理流程,包括:

4.根据权利要求1所述的一种融合注意力机制的医学图像分割方法,其特征在于,构建依据图像中稀疏提示对医学图像的提示工程处理流程,包括:

5.根据权利要求1所述的一种融合注意力机制的医学图像分割方法,其特征在于,获取提示工程和卷积处理的医学图像数据集进行注意力机制处理流程,构建融合注意力机制的医学图像分割模型,包括:

6.根据权利要求1所述的一种融合注意力机制的医学图像分割方法,其特征在于,采用激活函数优化的模型和优化器加速检测方法,包括:

【技术特征摘要】

1.一种融合注意力机制的医学图像分割方法,其特征在于,包括:

2.根据权利要求1所述的一种融合注意力机制的医学图像分割方法,其特征在于,所述构建多类型的医学图像数据集自动编码处理流程,包括:

3.根据权利要求1所述的一种融合注意力机制的医学图像分割方法,其特征在于,获取生成的医学图像特征提取数据集嵌入卷积处理流程,包括:

4.根据权利要求1所述的一种融合注意力机制的医学图像...

【专利技术属性】
技术研发人员:张丽罗亮钦林靖
申请(专利权)人:广州市豁朗医疗科技有限公司
类型:发明
国别省市:

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1