System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于自监督预训练的白内障图像分类方法及系统技术方案_技高网

基于自监督预训练的白内障图像分类方法及系统技术方案

技术编号:40316522 阅读:7 留言:0更新日期:2024-02-07 20:59
本发明专利技术公开了一种基于自监督预训练的白内障图像分类方法及系统,涉及图像分类技术领域,具体步骤为:基于散瞳眼前节照相图像构建掩码模板;从本地数据集中提取裂隙灯照相图像,并将裂隙灯照相图像与掩码模板进行图像与运算获得掩码图像;搭建图像复原模型;利用图像复原模型对掩码图像进行自监督预训练,获得自监督预训练权重;基于图像复原模型、自监督预训练权重以及分类模块构建图像分类模型;获取待识别图像,并基于图像分类模型获得分类结果。本发明专利技术通过自监督预训练能够减少样本数量的依赖性,同时还可提高分类识别的准确性。

【技术实现步骤摘要】

本专利技术涉及图像分类,更具体的说是涉及一种白内障图像分类的准确识别。


技术介绍

1、白内障是致盲的主要原因。研究显示,每年因白内障导致失明的患者数量将增加100万人,同时每年需要手术治疗的白内障患者将增加400万人,这庞大的患者群体给医疗系统带来了沉重的负担。白内障核严重程度的分级对于是否手术的判断和手术方案的设计至关重要。眼科医生通常通过观察病人散瞳后的裂隙灯照相图像对白内障核严重程度的进行判断。但是,这种诊断方法的缺点在于依赖眼科医生的主观视觉,存在诊断主观性问题。如何通过裂隙灯照相图像对白内障核严重程度进行更加准确和客观的分级,是本领域面临的一个技术难题。

2、为了客观精确的评估白内障严重程度,在areds(the age-related eye diseasestudy)4号文件基础上,将标准1定义为正常,标准2和3判定为轻度,标准4和5判定为中度,标准6和7定义为重度白内障,共划分四个类别。利用深度学习技术分析散瞳眼前节照相图像,可以实现白内障核严重程度的智能分级,弥补传统检测方法的不足,实现更高效的智能分级。但是,直接利用深度学习模型处理医学图像还存在一定挑战。

3、现有技术中,qian等人基于迁移学习方法,利用squeezenet对白内障进行了三分类研究,通过手动裁剪病灶区域和平衡数据集分布,模型的诊断准确率达到96%。

4、zhou等人利用先验知识,将改进的haar特征和可见结构特征进行组合,其白内障核严重程度的分级的准确率为89.23%。

5、xu等人提出gla-net,在有通过大量标记数据来训练模型的前提下,该模型通过集成全局和局部的注意力增强了对白内障的分类性能,模型的诊断准确率为83.47%。

6、然而上述模型存在分级简单、需要结合先验信息构建模型以及严重依赖大量标记数据,不能满足对白内障图像分类的准确识别需求。因此如何准确识别白内障图像的分类是本领域技术人员亟需解决的问题。


技术实现思路

1、有鉴于此,本专利技术提供了一种基于自监督预训练的白内障图像分类方法及系统,克服了上述缺陷。

2、为了实现上述目的,本专利技术提供如下技术方案:

3、一种基于自监督预训练的白内障图像分类方法,具体步骤为:

4、基于散瞳眼前节照相图像构建掩码模板;从本地数据集中提取裂隙灯照相图像,并将裂隙灯照相图像与掩码模板进行图像与运算获得掩码图像;

5、搭建图像复原模型;

6、利用图像复原模型对掩码图像进行自监督预训练,获得自监督预训练权重;

7、基于图像复原模型、自监督预训练权重以及分类模块构建图像分类模型;

8、获取待识别图像,并基于图像分类模型获得分类结果。

9、可选的,掩码模板的构建步骤为:

10、获取散瞳眼前节照相图像,并对散瞳眼前节照相图像进行缩放处理;

11、将缩放处理后的散瞳眼前节照相图像按照设定的掩码比率生成掩码模板。

12、可选的,图像复原模型包括编码器和解码器;编码器分为五个阶段部分,分别是第一阶段部分stage1、第二阶段部分stage2、第三阶段部分stage3、第四阶段部分stage4和第五阶段部分stage5;第二阶段部分stage2、第三阶段部分stage3、第四阶段部分stage4和第五阶段部分stage5内的结构分别重复堆叠3、4、6和3次;解码器包括特征融合模块、第一上采样块upblock1、第二上采样块upblock2、第三上采样块upblock3、第四上采样块upblock4和第五上采样块upblock5。

13、可选的,第二阶段部分stage2、第三阶段部分stage3、第四阶段部分stage4和第五阶段部分stage5中均设有卷积层,卷积层包括卷积操作、批量归一化操作和激活函数silu。

14、可选的,激活函数silu的表达式为:

15、

16、式中,x代表批量归一化后的张量。

17、可选的,各个上采样块的结构采用相同的结构,包括第一支路、第二支路、拼接模块和融合模块;第一支路采用transformer block和卷积层进行上采样;第二支路采用转置卷积进行上采样;拼接模块对第一支路和第二支路输出的特征图在通道维度上进行拼接;融合模块采用两个卷积层将拼接模块输出的特征图进行特征融合。

18、可选的,transformerblock包括线性层和自注意力计算。

19、可选的,自注意力计算的步骤为:

20、对线性层的输出特征进行自注意力机制计算;

21、对自注意力机制计算的输出结果进行线性映射,获得输出序列;

22、将输出序列进行reshape,获得输出特征图。

23、可选的,分类模块包括两个并联的卷积层、transformerblock、mlp块和avg块。

24、一种基于自监督预训练的白内障图像分类系统,包括:

25、掩码模板构建模块,用于根据散瞳眼前节照相图像构建掩码模板;

26、掩码图像计算模块,用于从本地数据集中提取裂隙灯照相图像,并将裂隙灯照相图像与掩码模板进行图像与运算获得掩码图像;

27、图像复原模型构建模块,用于搭建图像复原模型;

28、自监督预训练模块,用于利用图像复原模型对掩码图像进行自监督预训练,获得自监督预训练权重;

29、图像分类模型构建模块,用于根据图像复原模型、自监督预训练权重以及分类模块构建图像分类模型;

30、图像识别模块,用于获取待识别图像,并基于图像分类模型获得分类结果。

31、经由上述的技术方案可知,与现有技术相比,本专利技术具有如下有益效果:

32、本专利技术首次提出一种基于自监督预训练的白内障分级模型,用于对白内障严重程度进行四分类。其采用的自监督预训练,能够解决基于自然图像训练的深度学习模型在医学数据上表现出不匹配的问题,从而获得适合实验数据的初始权重,进而在面对样本数量较少的情况下,促使模型可以克服样本间相似性较高的问题,实现白内障核严重程度的高效分级;

33、本专利技术设计了一个融合cnn和transformer的优点的混合模块,能够有效捕捉到特征图中不同位置之间的关系,提高对散瞳眼前节图像的关注度,比如瞳孔和虹膜;

34、本专利技术构建了cnn和transformer混合上采样的解码器,促使模型无需在主观对数据集进行调节的情况下,如手动调整数据集的分布以及对病灶区域裁剪等,充分挖掘数据潜在结构和特征表示。

本文档来自技高网...

【技术保护点】

1.一种基于自监督预训练的白内障图像分类方法,其特征在于,具体步骤为:

2.根据权利要求1所述的一种基于自监督预训练的白内障图像分类方法,其特征在于,掩码模板的构建步骤为:

3.根据权利要求1所述的一种基于自监督预训练的白内障图像分类方法,其特征在于,图像复原模型包括编码器和解码器;编码器分为五个阶段部分,分别是第一阶段部分stage1、第二阶段部分stage2、第三阶段部分stage3、第四阶段部分stage4和第五阶段部分stage5;第二阶段部分stage2、第三阶段部分stage3、第四阶段部分stage4和第五阶段部分stage5内的结构分别重复堆叠3、4、6和3次;解码器包括特征融合模块、第一上采样块UpBlock1、第二上采样块UpBlock2、第三上采样块UpBlock3、第四上采样块UpBlock4和第五上采样块UpBlock5。

4.根据权利要求3所述的一种基于自监督预训练的白内障图像分类方法,其特征在于,第二阶段部分stage2、第三阶段部分stage3、第四阶段部分stage4和第五阶段部分stage5中均设有卷积层,卷积层包括卷积操作、批量归一化操作和激活函数SiLU。

5.根据权利要求4所述的一种基于自监督预训练的白内障图像分类方法,其特征在于,激活函数SiLU的表达式为:

6.根据权利要求3所述的一种基于自监督预训练的白内障图像分类方法,其特征在于,各个上采样块的结构采用相同的结构,包括第一支路、第二支路、拼接模块和融合模块;第一支路采用Transformerblock和卷积层进行上采样;第二支路采用转置卷积进行上采样;拼接模块对第一支路和第二支路输出的特征图在通道维度上进行拼接;融合模块采用两个卷积层将拼接模块输出的特征图进行特征融合。

7.根据权利要求6所述的一种基于自监督预训练的白内障图像分类方法,其特征在于,Transformerblock包括线性层和自注意力计算。

8.根据权利要求7所述的一种基于自监督预训练的白内障图像分类方法,其特征在于,自注意力计算的步骤为:

9.根据权利要求1所述的一种基于自监督预训练的白内障图像分类方法,其特征在于,分类模块包括两个并联的卷积层、Transformerblock、MLP块和AVG块。

10.一种基于自监督预训练的白内障图像分类系统,其特征在于,包括:

...

【技术特征摘要】

1.一种基于自监督预训练的白内障图像分类方法,其特征在于,具体步骤为:

2.根据权利要求1所述的一种基于自监督预训练的白内障图像分类方法,其特征在于,掩码模板的构建步骤为:

3.根据权利要求1所述的一种基于自监督预训练的白内障图像分类方法,其特征在于,图像复原模型包括编码器和解码器;编码器分为五个阶段部分,分别是第一阶段部分stage1、第二阶段部分stage2、第三阶段部分stage3、第四阶段部分stage4和第五阶段部分stage5;第二阶段部分stage2、第三阶段部分stage3、第四阶段部分stage4和第五阶段部分stage5内的结构分别重复堆叠3、4、6和3次;解码器包括特征融合模块、第一上采样块upblock1、第二上采样块upblock2、第三上采样块upblock3、第四上采样块upblock4和第五上采样块upblock5。

4.根据权利要求3所述的一种基于自监督预训练的白内障图像分类方法,其特征在于,第二阶段部分stage2、第三阶段部分stage3、第四阶段部分stage4和第五阶段部分stage5中均设有卷积层,卷积层包括卷积操作、批量归一化操作和激活函数...

【专利技术属性】
技术研发人员:杨卫华张少冲谢翠娟席文群赵佳妮张哲
申请(专利权)人:深圳市眼科医院深圳市眼病防治研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1