System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于双流网络的目标分类方法、肺结节识别方法及系统技术方案_技高网
当前位置: 首页 > 专利查询>江南大学专利>正文

基于双流网络的目标分类方法、肺结节识别方法及系统技术方案

技术编号:40968467 阅读:2 留言:0更新日期:2024-04-18 20:49
本发明专利技术公开了一种基于双流网络的目标分类方法、肺结节识别方法及系统,属于计算机辅助检测技术领域。所述方法通过3D加权运动图像处理捕获图像的时序特征,然后图像特征和时序特征分开输入至双流网络,最后以类注意力机制的方法将时序特征重标定图像特征,从而达到不同模态特征融合。本方法不仅能够有效提取时序特征,而且能够将两种不同模态特征进行有效融合,从而提高了分类性能。本发明专利技术通过对于肺结节真假阳性分类的实例验证其有效性,且可广泛地应用于医学图像检测领域。

【技术实现步骤摘要】

本专利技术涉及基于双流网络的目标分类方法、肺结节识别方法及系统,属于计算机辅助检测。


技术介绍

1、随着图像处理技术的不断发展和创新,基于图像的目标识别和分类技术已经应用到各个领域,包括医学领域的计算机辅助检测。具体来说,在医学领域,特别是肺结节的检测方面,医生通常需要进行一系列综合性的考虑,以确定肺结节是否潜在地威胁患者的健康,是否可能是早期肺癌的病灶。这些综合因素包括但不限于结节的大小、密度、形态、患者的吸烟史、家族病史等,以协助做出准确的诊断和治疗计划。

2、低剂量螺旋计算机断层扫描(low-dose spiral computed tomography,ldct)目前被广泛用于筛查肺结节,可以检测到直径超过3毫米的肺部异常。然而,一次ldct扫描会生成大量轴向图像,这对专业医生来说是一项繁重而耗时的任务,因为他们需要逐一检查这些图像。这不仅增加了医生的工作负担,还可能因为疲劳导致检测错误的出现。为了应对这个挑战,肺部肿瘤结节计算机辅助检测(cad)系统应运而生,它旨在辅助放射医师更高效地进行肺结节筛查。cad系统可以快速分析ldct图像,标识潜在的肺结节,然后提供这些结节区域的定位和特征信息。这样,医生可以更专注于复杂的病例,而不必从头到尾检查每张图像。cad系统的引入不仅提高了筛查效率,还有助于减少医生的工作强度,使他们能够更准确地诊断患者的肺部状况。

3、在使用该系统时,医生将上传待检测的ct图像,系统会迅速定位潜在的结节区域,并提供这些候选结节为阳性的概率,也就是判断该ct图像中的潜在结节是否是真正的肺结节,而不是其他器官或血管等组织。该系统分为两个主要部分:候选结节检测和假阳性识别。在进行第一阶段候选结节检测时,为了不漏掉所有的结节,第一阶段的检测结果中会有很多结节是假阳性的,也就是这些其实不是真正的肺结节。在第二阶段假阳性识别中,需要尽可能地将第一阶段检测结果中的假阳性结节筛选出来。因此,在这两个阶段中,假阳性识别的准确性对整个系统的性能至关重要。提高系统在假阳性识别阶段的精确性具有重大意义。

4、近年来,随着深度学习方法的广泛应用,基于卷积神经网络(cnn)的计算机医疗辅助诊断系统已成为研究的热点领域。在假阳性识别方面,已经取得了一些进展,然而,现有的cnn模型主要基于二维ct图像进行假阳性结节的识别。由于肺结节在位置和表现形式上的多样性,可细分为孤立性、血管附着性、磨玻璃性和空泡性等不同类型。在二维切片状态下,这些肺结节和一些其它人体组织(假阳性结节)的表现形式非常相似,这就增加了模型对于假阳性结节识别的难度。

5、与二维图像相比,三维图像包含更丰富的语义信息,因此基于三维ct图像进行假阳性结节的识别可以提高模型的准确性和鲁棒性。这种方法更能应对肺结节的多样性,为医疗诊断系统带来更好的性能和效益。但是现有的基于三维图像对于假阳性结节进行识别分类方法通常只考虑了图像本身特征,而忽略了肺结节本身特性带来的时序特征。肺结节往往表现为类球形,具体来说,在ct图像中,对于连续的切片,肺结节通常保持相对固定的中心位置,从刚开始出现结节的切片开始,其大小会逐渐扩大,在中心位置时达到最大,然后再逐渐收缩。而假阳性结节在时序上不具有与肺结节相同的特性。因此,在肺结节假阳性识别阶段,如果忽略三维ct图像的时序特征,会严重影响结节识别准确率。


技术实现思路

1、为了进一步提升三维图像识别、肺结节识别的准确率,本专利技术提供了基于双流网络的目标分类方法、肺结节识别方法及系统,所述技术方案如下:

2、本专利技术的第一个目的在于提供一种目标分类方法,包括:

3、步骤1:获取待分类三维图像,所述待分类三维图像由二维图像序列构成;

4、步骤2:采用3d加权运动图像处理方法对所述待分类三维图像进行处理,生成3d时序图像;

5、步骤3:采用双流网络对所述待分类图像和所述3d时序图像分别进行特征提取,得到所述待分类图像的图像特征和时序特征;

6、步骤4:采用类注意力机制模块对所述图像特征和时序特征进行融合,得到融合特征;

7、步骤5:基于所述融合特征,得到分类结果。

8、可选的,所述步骤4的类注意力机制模块的计算过程包括:

9、of=softmax[linear(xi)⊙linear(xt)t]⊙xt+xi

10、其中,xi表示所述图像特征,xt表示所述时序特征,of表示所述融合特征。

11、可选的,所述步骤2中3d加权运动图像处理的计算过程包括:

12、h(x,y,t)=mask(x,y,t)*w+h(x,y,t-1)*(1-w)

13、其中,h(x,y,t)为运动历史图像像素的强度值,x、y表示像素的位置,t表示切片的索引,mask(x,y,t)表示更新函数,w表示时间权重;

14、w=1-t/total

15、

16、其中,i(x,y,t)和i(x,y,t-1)分别代表两张相邻切片,表示z轴方向切片数量,ξ代表阈值,每两张相邻切片得到一张运动历史图像。

17、可选的,所述z轴方向切片数量total设为10。

18、可选的,所述步骤3中的双流网络包括两个子网络,所述子网络由4个模块构成,每个模块由一个3d swin transformer块组成。

19、可选的,所述步骤5通过三维自适应池化对所述融合特征进行处理,生成一维分类向量,然后通过分类器进行处理,输出二分类的置信度分数。

20、本专利技术的第二个目的在于提供一种肺结节识别方法,采用上述任一项所述的目标分类方法进行真假阳性的识别。

21、可选的,所述方法还包括:

22、首先采用计算机辅助检测cad系统对ldct图像进行处理,获取候选结节区域图像,对所述候选结节区域图像进行真假阳性肺结节的识别。

23、本专利技术的第三个目的在于提供一种目标分类系统,包括:

24、图像获取模块,用于获取待分类的三维图像,所述待分类三维图像由二维图像序列构成;

25、3d时序图像生成模块,用于采用3d加权运动图像处理方法对所述待分类三维图像进行处理,生成3d时序图像;

26、多模态特征提取模块,采用双流网络对所述待分类图像和所述3d时序图像分别进行特征提取,得到所述待分类图像的图像特征和时序特征;

27、特征融合模块,采用类注意力机制模块对所述图像特征和时序特征进行融合,得到融合特征;

28、分类输出模块,基于所述融合特征,得到并输出分类结果。

29、本专利技术的第四个目的在于提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现上述任一项所述的方法。

30、本专利技术有益效果是:

31、本专利技术目标分类方法,通过3d加权运动图像获取3d时序图像,并通过双流的本文档来自技高网...

【技术保护点】

1.一种目标分类方法,其特征在于,所述方法包括:

2.根据权利要求1所述的目标分类方法,其特征在于,所述步骤4的类注意力机制模块的计算过程包括:

3.根据权利要求1所述的目标分类方法,其特征在于,所述步骤2中3D加权运动图像处理的计算过程包括:

4.根据权利要求3所述的目标分类方法,其特征在于,所述z轴方向切片数量total设为10。

5.根据权利要求1所述的目标分类方法,其特征在于,所述步骤3中的双流网络包括两个子网络,所述子网络由4个模块构成,每个模块由一个3D Swin Transformer块组成。

6.根据权利要求1所述的目标分类方法,其特征在于,所述步骤5通过三维自适应池化对所述融合特征进行处理,生成一维分类向量,然后通过分类器进行处理,输出二分类的置信度分数。

7.一种肺结节识别方法,其特征在于,所述肺结节识别方法采用权利要求1-7任一项所述的目标分类方法进行真假阳性的识别。

8.根据权利要求7所述的肺结节识别方法,其特征在于,所述方法还包括:

9.一种目标分类系统,其特征在于,所述系统包括:

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现根据权利要求1至8中任一项所述的方法。

...

【技术特征摘要】

1.一种目标分类方法,其特征在于,所述方法包括:

2.根据权利要求1所述的目标分类方法,其特征在于,所述步骤4的类注意力机制模块的计算过程包括:

3.根据权利要求1所述的目标分类方法,其特征在于,所述步骤2中3d加权运动图像处理的计算过程包括:

4.根据权利要求3所述的目标分类方法,其特征在于,所述z轴方向切片数量total设为10。

5.根据权利要求1所述的目标分类方法,其特征在于,所述步骤3中的双流网络包括两个子网络,所述子网络由4个模块构成,每个模块由一个3d swin transformer块组成。

6.根据权利要求1...

【专利技术属性】
技术研发人员:罗海驰崔方正李岳阳
申请(专利权)人:江南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1