【技术实现步骤摘要】
本专利技术涉及图像分类领域，特别是涉及一种眼底图像多标签分类方法、系统、设备及介质。
技术介绍
1、眼部健康领域面临着诸多挑战，包括预防、治疗和康复服务的覆盖范围和质量方面的差异，眼部疾病已经成为全球性的重大公共卫生健康问题。近年来，近视、糖尿病性视网膜病变、年龄相关性黄斑病变、青光眼和白内障等慢性眼底疾病不仅会引起患者眼睛严重不适的问题，还会导致视力下降、视力模糊或畏光，严重影响患者的生活质量。如果不立即诊断和治疗，眼底疾病会导致双眼不可逆转的视力损害。
2、由于眼底图像内可能同时存在多种并发症，如糖尿病性视网膜病变、黄斑变性、青光眼等。因此，对于这样的图像，需要建立一个能够同时识别多种眼底病变的系统，辅助早期筛查。在多标签眼底图像识别中，由于每张图像都包含视网膜血管、黄斑、视盘和视杯等相似的眼部结构，现有的深度卷积神经网络难以深入学习眼部疾病病理学复杂外观的判别表征。不同类型眼部疾病的病理异常存在显著的尺度差异，例如，青光眼识别需要判别视杯视盘比，而糖尿病性视网膜病变(dr)的微动脉瘤和出血点等病灶相比之下较小。深度神经网络难以处理尺度大小差异以及病灶特征在图像中的分散情况。需要建立多尺度注意病灶特征增强模型来提取更丰富的上下文语义信息。在实际临床应用中，某些疾病类型的出现往往伴随着其他并发症。忽略这种标签相关性可能导致模型在预测时无法充分利用标签间的相互依赖信息，从而影响识别性能。需要建立疾病标签特征增强模型来挖掘疾病之间的相关关系。为了减少冗余，简化维护以及提供一致性的预测，需要建立一个统一的病灶图像特征增强
技术实现思路
1、本专利技术的目的是提供一种眼底图像多标签分类方法、系统、设备及介质，可识别眼底图像中可能共存的多种疾病，提高结果的准确性。
2、为实现上述目的，本专利技术提供了如下方案：
3、一种眼底图像多标签分类方法包括：
4、获取训练数据；左眼图像、右眼图像、左眼图像对应的疾病标签和右眼图像对应的疾病标签；
5、将训练数据中的左眼和右眼图像分别输入到共享权重参数的主干神经网络进行特征提取，并对左眼图像特征与右眼图像特征进行融合得到综合的图像特征；
6、采用空洞空间卷积池化金字塔对综合的图像特征进行特征提取，得到综合的图像特征在多个尺度信息的特征；
7、采用cbam注意力机制对综合的图像特征在多个尺度信息的特征进行特征的加权和选择，得到处理后的图像特征；
8、基于训练数据中的左眼和右眼图像对应的疾病标签构建疾病类别标签特征；
9、使用元素乘法融合方法对处理后的图像特征与疾病类别标签特征进行融合，得到融合后的特征；
10、使用全连接层处理融合后的特征，通过sigmoid激活函数将全连接层处理后的特征转换为图像对应的疾病标签的概率列表，对图像对应的疾病标签的概率列表进行阈值筛选确定训练数据中的左眼和右眼图像对应的疾病标签结果，得到多标签眼底图像分类模型；
11、将待预测的眼底图像输入至所述多标签眼底图像分类模型中，得到待预测的眼底图像的疾病标签结果。
12、可选地，采用空洞空间卷积池化金字塔对综合的图像特征进行特征提取，得到综合的图像特征在多个尺度信息的特征，具体包括：
13、采用空洞卷积对综合的图像特征进行卷积操作，得到卷积后的综合的图像特征；
14、对卷积后的综合的图像特征进行下采样操作，得到特征金字塔；
15、对特征金字塔的每个尺度的特征，进行上采样至综合的图像特征，得到上采样后的综合的图像特征；
16、将上采样后的综合的图像特征在深度方向进行融合，得到综合的图像特征在多个尺度信息的特征。
17、可选地，所述cbam注意力机制包括通道注意力和空间注意力。
18、可选地，采用cbam注意力机制对综合的图像特征在多个尺度信息的特征进行特征的加权和选择，得到处理后的图像特征，具体包括：
19、将综合的图像特征在每个尺度信息的特征输入至全局平均池化和全局最大池化，并将全局平均池化和全局最大池化的输出输入至共享权重的前馈网络中，得到综合的图像特征在每个尺度上的每个通道的全局信息和最大响应；
20、将综合的图像特征在每个尺度上的每个通道的全局信息和最大响应进行相加，得到综合的图像特征在每个尺度上的每个通道的相加结果；
21、采用sigmoid激活函数对综合的图像特征在每个尺度上的每个通道的相加结果进行处理，得到综合的图像特征在每个尺度上的每个通道的注意力权重；
22、基于综合的图像特征在每个尺度上的每个通道的注意力权重对综合的多尺度图像特征进行重新加权，得到经过通道注意力加权的综合的图像特征；
23、对经过通道注意力加权的综合的图像特征在每个尺度信息上的每个通道执行全局平均池化和全局最大池化，得到两个单通道的空间响应图；
24、将两个单通道的空间响应图进行拼接，得到双通道特征映射；
25、利用7×7的卷积核对双通道特征映射进行卷积操作，得到单通道的空间注意力分布图；
26、采用sigmoid激活函数对单通道的空间注意力分布图进行处理，得到空间注意力权重图；
27、基于空间注意力权重图对经过通道注意力加权的综合图像特征进行逐元素的加权重构，得到经过空间注意力加权重构后的综合的图像特征；
28、将经过空间注意力加权重构后的综合的图像特征作为处理后的图像特征输出。
29、可选地，基于训练数据中的左眼和右眼图像对应的疾病标签构建疾病类别标签特征，具体包括：
30、基于训练数据中的左眼和右眼图像对应的疾病标签构建类别特征矩阵；
31、计算训练数据中标签的类别数量以及每种标签出现时其他标签共现的条件概率，得到条件概率矩阵；
32、基于训练数据中的左眼和右眼图像对应的疾病标签，采用余弦相似度计算方法来构建相似性矩阵；
33、基于条件概率矩阵和相似性矩阵构建边索引；
34、将边索引和类别特征矩阵输入至图注意力网络中，得到疾病类别标签特征。
35、一种眼底图像多标签分类系统应用于上述所述的眼底图像多标签分类方法，所述眼底图像多标签分类系统包括：
36、获取模块，用于获取训练数据；左眼图像、右眼图像、左眼图像对应的疾病标签和右眼图像对应的疾病标签；
37、综合的图像特征确定模块，用于将训练数据中的左眼和右眼图像分别输入到共享权重参数的主干神经网络进行特征提取，并对左眼图像特征与右眼图像特征进行融合得到综合的图像特征；
38、多个尺度信息的特征确定模块，用于采用空洞空间卷积池化金字塔对综合的图像特征进行特征提取，得到综合的图像特征在多个尺度信息的特征；
本文档来自技高网...
【技术保护点】
1.一种眼底图像多标签分类方法，其特征在于，所述眼底图像多标签分类方法包括：
2.根据权利要求1所述的眼底图像多标签分类方法，其特征在于，采用空洞空间卷积池化金字塔对综合的图像特征进行特征提取，得到综合的图像特征在多个尺度信息的特征，具体包括：
3.根据权利要求1所述的眼底图像多标签分类方法，其特征在于，所述CBAM注意力机制包括通道注意力和空间注意力。
4.根据权利要求1所述的眼底图像多标签分类方法，其特征在于，采用CBAM注意力机制对综合的图像特征在多个尺度信息的特征进行特征的加权和选择，得到处理后的图像特征，具体包括：
5.根据权利要求1所述的眼底图像多标签分类方法，其特征在于，基于训练数据中的左眼和右眼图像对应的疾病标签构建疾病类别标签特征，具体包括：
6.一种眼底图像多标签分类系统，其特征在于，所述眼底图像多标签分类系统应用于所述权利要求1-5中任意一项所述的眼底图像多标签分类方法，所述眼底图像多标签分类系统包括：
7.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理
8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现如权利要求1至5中任一项所述的眼底图像多标签分类方法。
...【技术特征摘要】
1.一种眼底图像多标签分类方法，其特征在于，所述眼底图像多标签分类方法包括：
2.根据权利要求1所述的眼底图像多标签分类方法，其特征在于，采用空洞空间卷积池化金字塔对综合的图像特征进行特征提取，得到综合的图像特征在多个尺度信息的特征，具体包括：
3.根据权利要求1所述的眼底图像多标签分类方法，其特征在于，所述cbam注意力机制包括通道注意力和空间注意力。
4.根据权利要求1所述的眼底图像多标签分类方法，其特征在于，采用cbam注意力机制对综合的图像特征在多个尺度信息的特征进行特征的加权和选择，得到处理后的图像特征，具体包括：
5.根据权利要求1所述的眼底图像多标签分类方法，其特征在...
【专利技术属性】
技术研发人员：孙淑仪，高东怀，宁玉文，齐浩楠，王鑫钰，
申请(专利权)人：西北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。