基于局部和全局信息的角膜病图像检测分类方法及装置制造方法及图纸

本发明专利技术公开了一种基于局部和全局信息的角膜病图像检测分类方法及装置，该方法包含：对图像进行分割获得超像素病灶区域集合；提取局部特征与全局特征；获得结合局部、全局信息的超像素病灶区域特征表示；利用结合了局部特征的全局主体特征进行分类训练，对角膜病裂隙灯图像做出预测；对超像素病灶区域进行无监督聚类与类别表示，并对角膜病裂隙灯图像中的异常病灶区域进行可视化展示。本发明专利技术的基于局部和全局信息的角膜病图像检测分类方法及装置，可以有效的抽取裂隙灯图像的全局特征与病灶区域局部特征，并进行异常区域的特征融合，实现图像的分类及异常区域显示。现图像的分类及异常区域显示。现图像的分类及异常区域显示。

【技术实现步骤摘要】
基于局部和全局信息的角膜病图像检测分类方法及装置


[0001]本专利技术属于图像处理
，具体涉及一种基于局部和全局信息的角膜病图像检测分类方法及装置。

技术介绍

[0002]角膜病在临床上表现为明显的视物模糊、疼痛、微光等刺激性症状及严重的示例减退，是全球主要的致盲病之一。快速的临床检查极大依赖医生的专业素养且准确率较低，而相对准确的实验室检查耗时长耽误治疗进程。计算机视觉不断发展，在交通、工业领域取得了显著有效的实际应用价值，同样在医疗影像辅助诊断领域有着较大应用前景。利用深度学习网络对角膜病数据影像进行分析处理，提供异常特征区域展示，可作为临床诊断中的重要辅助工具，大大提高临床诊断的准确率与效率。同时结合深度神经网络的角膜病异常区域特征检测装置可以实现由“专家下沉”到“技术下沉”的转变，切实提高诊断效率，缓解医院诊断压力，提高患者就诊体验。
[0003]不同病原体类别的病灶区域有着各种各样的差异，而这些细微的异常特征区域往往凸显着重要的判别指标。传统的基于深度学习的图像分类算法，直接对整张图像进行特征提取并映射到一维类别向量中进行分类虽然具有一定的可行性，但是通过对全局图像的单一建模往往忽略了局部信息以及异常病灶区域这些细小且具有决定性作用的关键特征信息。

技术实现思路

[0004]本专利技术提供了一种基于局部和全局信息的角膜病图像检测分类方法及装置，采用如下的技术方案：
[0005]一种基于局部和全局信息的角膜病图像检测分类方法，包括以下步骤：
[0006]S1：应用超像素分割算法获得超像素病灶区域集合；利用VGG16模型获取基础的深度特征，设计超像素平均池化模块以结合超像素病灶区域集合提取局部特征与全局特征；
[0007]S2：全局特征与局部特征在通道维度上进行序列拼接处理，利用注意力模块进行信息融合，获得结合局部、全局信息的超像素病灶区域特征表示；
[0008]S3：利用结合了局部特征的全局主体特征进行分类训练，对角膜病裂隙灯图像做出分类预测；
[0009]S4：对超像素病灶区域进行无监督聚类与类别表示，并对角膜病裂隙灯图像中的异常病灶区域进行可视化展示。
[0010]进一步地，步骤S1包含：
[0011]S11：对角膜病裂隙灯图像进行圆形区域检测，获取眼球的基本区域轮廓，并根据该轮廓进行小范围外扩的眼球区域定位裁切；设置超像素区域数量参数m，应用超像素分割算法获得掩码数据，其表现形式如Mask所示，
[0012][0013]其中h，w分别表示裂隙灯图像的高度与宽度，m
u,v
∈{0，1，...m
‑
1}表示该像素点所属的超像素区域标号，全部图像进行处理后构建数据集data＝{image
i
，mask
i
}，其中}，其中表示角膜病裂隙灯图像，表示超像素分割掩码。
[0014]S12：应用构造的深度神经网络特征提取器对角膜病裂隙灯图像进行特征提取，对于张图像image
i
，特征提取器提取出对应的特征图其中c表示特征维度、h
′
表示特征图的高度、w
′
表示特征图的宽度，深度神经网络特征提取器在深度卷积网络VGG16的基础上，保留深度卷积网络VGG16中的conv1、conv2、conv3的基准单元，移除conv4和cony5中的Max
‑
pooling层以保持特征图的分辨率，同时移除全连接层；
[0015]S13：对每张图像image
i
的特征图F
i
通过双线性插值上采样将其调整到与image
i
相同的分辨率大小，得到特征图其中h表示特征图F
′
i
的高度、w表示特征图F
′
i
的宽度，对特征图F
′
i
应用超像素平均池化单元处理，将特征图F
′
i
中的每个元素F
′
i
(u，v)按照其超像素标号mask
i
(u，v)进行累计加和，获得对应的超像素区域的特征值，超像素平均池化模块表示为：
[0016][0017]每张图片image
i
由上得到超像素特征集合SP
i
＝{sp0，sp1，...，sp
m
‑1}；为保持一致对整张图进行全局平均池化得到全局特征
[0018]进一步地，步骤S2包含：
[0019]S21：在通道维度上对全局特征f
i
及超像素特征集合SP
i
＝{sp0，sp1，...，sp
m
‑1}进行拼接，得到新的特征集合
[0020]S22：应用局部
‑
全局注意力模块对特征集合g
i
进行融合处理：特征g
i
经过query、key、value层Embedding后分别得到对其进行的多头注意力处理，对于每一个head通过如下公式计算得到注意力分数矩阵M
h_i
[0021][0022]并最终得到融合特征
[0023]S23：令SP
′
i
＝g
′
i
[1：]，其表示为融合了局部
‑
全局信息的超像素区域特征集合。
[0024]进一步地，步骤S3包含：
[0025]S31：对g
′
i
[0]构建全连接分类器FC进行建模，应用LogSoftMax函数对其归一化处理，得到的输出表示，其中pre
i
表示该图像对每个角膜病的分类结果的预测概率值，K表示预先设定需预测的角膜病的类别数目，其中，g
′
i
[0]以全局特征为主体，融合了图像的超像素局部区域特征的整体表示；
[0026]S32：利用交叉熵损失作为模型架构的损失函数，其定义如下：S32：利用交叉熵损失作为模型架构的损失函数，其定义如下：pre
i
表示经过局部
‑
全局特征融合的角膜病分类预测概率向量，label
i
表示该图像的真实诊断标签，j表示第j种角膜病类别，通过最小化该损失对网络进行训练，使得该模型可对预测数据中的角膜病裂隙图像给出预测结果。
[0027]进一步地，步骤S4包含：
[0028]S41：将每一个超像素区域特征集合SP
′
i
中的超像素区域特征全部提取到新的数据集合Global_Local_SP＝{glsp0，glsp1，...，glsp
z
}，其中z表示整个训练集中所有的超像素区域数量；
[0029]S42：对数据集合Global_Local_SP进行K
‑
Means无监督聚类，设置K＝30获取聚类中心，对于每一张角膜病裂隙本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部和全局信息的角膜病图像检测分类方法，其特征在于，包括以下步骤：S1：应用超像素分割算法获得超像素病灶区域集合；利用VGG16模型获取基础的深度特征，设计超像素平均池化模块以结合超像素病灶区域集合提取局部特征与全局特征；S2：全局特征与局部特征在通道维度上进行序列拼接处理，利用注意力模块进行信息融合，获得结合局部、全局信息的超像素病灶区域特征表示；S3：利用结合了局部特征的全局主体特征进行分类训练，对角膜病裂隙灯图像做出分类预测；S4：对超像素病灶区域进行无监督聚类与类别表示，并对角膜病裂隙灯图像中的异常病灶区域进行可视化展示。2.根据权利要求1所述的基于局部和全局信息的角膜病图像检测分类方法，其特征在于，所述步骤S1包含：S11：对角膜病裂隙灯图像进行圆形区域检测，获取眼球的基本区域轮廓，并根据该轮廓进行小范围外扩的眼球区域定位裁切；设置超像素区域数量参数m，应用超像素分割算法获得掩码数据，其表现形式如Mask所示，其中h,w分别表示裂隙灯图像的高度与宽度，m
u,v
∈{0,1,
…
m
‑
1}表示该像素点所属的超像素区域标号，全部图像进行处理后构建数据集data＝{image
i
,mask
i
}，其中}，其中表示角膜病裂隙灯图像，表示超像素分割掩码。S12：应用构造的深度神经网络特征提取器对角膜病裂隙灯图像进行特征提取，对于张图像image
i
，特征提取器提取出对应的特征图其中c表示特征维度、h
′
表示特征图的高度、w
′
表示特征图的宽度，深度神经网络特征提取器在深度卷积网络VGG16的基础上，保留深度卷积网络VGG16中的conv1、conv2、conv3的基准单元，移除conv4和conv5中的Max
‑
pooling层以保持特征图的分辨率，同时移除全连接层；S13：对每张图像image
i
的特征图F
i
通过双线性插值上采样将其调整到与image
i
相同的分辨率大小，得到特征图其中h表示特征图F
′
i
的高度、w表示特征图F
′
i
的宽度，对特征图F
′
i
应用超像素平均池化单元处理，将特征图F
′
i
中的每个元素F
′
i
(u,v)按照其超像素标号mask
i
(u,v)进行累计加和，获得对应的超像素区域的特征值，超像素平均池化模块表示为：每张图片image
i
由上得到超像素特征集合SP
i
＝{Sp0,Sp1,
…
,sp
m
‑1}；为保持一致对整张图进行全局平均池化得到全局特征3.根据权利要求1所述的基于局部和全局信息的角膜病图像检测分类方法，其特征在于，
所述步骤S2包含：S21：在通道维度上对全局特征f
i
及超像素特征集合SP
i
＝{sp0,sp1,
…
,sp
m
‑1}进行拼接，得到新的特征集合S22：应用局部
‑
全局注意力模块对特征集合g
i
进行融合处理：特征g
i
经过query、key、value层Embedding后分别得到对其进行的多头注意力处理，对于每一个head通过如下公式计算得到注意力分数矩阵M
h_i
并最终得到融合特征S23：令SP
′
i
＝g
′
i
[1:]，其表示为融合了局部
‑
全局信息的超像素区域特征集合。4.根据权利要求1所述的基于局部和全局信息的角膜病图像检测分类方法，其特征在于，所述步骤S3包含：S31：对g
′
i
[0]构建全连接分类器FC进行建模，应用LogSoftMax函数对其归一化处理，得到的输出表示，其中pre
i
表示该图像对每个角膜病的分类结果的预测概率值，K表示预先设定需预测的角膜病的类别数目，其中，g
′
i
[0]以全局特征为主体，融合了图像的超像素局部区域特征的整体表示；S32：利用交叉熵损失作为模型架构的损失函数，其定义如下:S32：利用交叉熵损失作为模型架构的损失函数，其定义如下:pre
i
表示经过局部
‑
全局特征融合的角膜病分类预测概率向量，label
i
表示该图像的真实诊断标签，j表示第j种角膜病类别，通过最小化该损失对网络进行训练，使得该模型可对预测数据中的角膜病裂隙图像给出预测结果。5.根据权利要求1所述的基于局部和全局信息的角膜病图像检测分类方法，其特征在于，所述步骤S4包含：S41：将每一个超像素区域特征集合SP
′
i
中的超像素区域特征全部提取到新的数据集合Global_Local_SP＝{glsp0,glsp1,
…
,glsp
z
}，其中z表示整个训练集中所有的超像素区域数量；S42：对数据集合Global_Local_SP进行K
‑
Means无监督聚类，设置K＝30获取聚类中心，对于每一张角膜病裂隙灯图像image
i
，结合超像素分割掩码mask
i
，对该图像上的每个超像素病灶局域进行聚类类别标识；S43：针对多头注意力矩阵M，利用进行计算获得异常病灶区域矩阵，利用如下公式对图像中的超像素区域进行异常权重赋值并展示：show(u,v)＝M
′
[mask(u,v)]即图像中的每个超像素区域按照注意力矩阵对应掩码进行赋值展示，其中show(u,v)表示异常特征区域展示图像。6.一种基于局部和全局信息的角膜病图像检测分类装置，其特征在于，包含：
超像素特征提取模块，应用超像素分割算法获得超像素病灶区域集合；利用VGG16模型获...

【专利技术属性】
技术研发人员：姚玉峰，吴飞，李金绪，方钲清，司雨轩，黄正行，况琨，
申请(专利权)人：浙江大学，
类型：发明
国别省市：