一种多标签眼底图像分类系统、方法及电子设备技术方案

本发明专利技术提供了一种多标签眼底图像分类系统、方法及电子设备，该系统包括：图像采集设备，包括摄像头，第一通信模块；智能终端，包括电脑或手机，其中电脑或手机包括图像处理模块、第二通信模块；云服务器，包括图像处理模块、第三通信模块；所述系统有两种工作方式，方式一：所述图像采集设备采集眼底图像后，发送采集到的眼底图像至所述智能终端，再由图像处理模块对采集到的眼底图像进行处理，并在所述智能终端上显示图像分类结果；方式二：所述图像采集设备采集眼底图像后，发送采集到的眼底图像至所述云服务器，再由图像处理模块对采集到的眼底图像进行处理，发送图像分类结果至所述智能终端并显示。述智能终端并显示。述智能终端并显示。

【技术实现步骤摘要】
一种多标签眼底图像分类系统、方法及电子设备


[0001]本专利技术涉及眼底图像分类
，尤其涉及一种多标签眼底图像分类系统、方法及电子设备。

技术介绍

[0002]随着医疗科技的发展，使用眼底相机对眼睛进行眼底检查变得愈加方便，这种检查方式已大范围的普及。与此同时，大量的眼底图像数据被存储，如何对这些医疗图像大数据进行合理的处理和分析，充分挖掘其潜在价值成为了近些年的研究热点。此外，使用人工智能对眼底图像进行处理，不仅开发了医疗大数据的价值，更能缓解中国现在医疗资源紧张，医护人员工作压力大的问题。
[0003]在眼底图像处理的技术中，可以直接对眼底图像的关键部位进行分割，再进一步进行分类判断疾病，如专利文献(CN113011450)中公开的一种青光眼识别的方法，基于深度学习的人工神经网络对眼底图像的视盘及视杯区域进行特征提取和训练分类完成对青光眼的患病预测，但该模块处理时对左右眼图像分别处理，未考虑到双眼特征之间的影响。
[0004]如专利文献(CN104881683)中公开的一种基于组合分类器的白内障图像分类方法及分类装置，通过小波变换、轮辅方法和纹理分析提取特征，其次通过支持向量机和BP神经网进行预测分类，得到了较高的分类精确度。但该模块仅实现对白内障疾病的二分类，适用范围较小，不适于大范围的进行推广。
[0005]如专利文献(CN202110075947)中公开的一种基于GACNN的多标签眼底图像识别方法，通过建立构建GACNN模型对带标签图像进行训练，构建图注意网络处理各标签的关系完成模型建立，但该专利技术图像特征提取能力较差，不能较好地解决各标签之间的关联性问题，导致分类结果准确度低。
[0006]在现有技术中，大部分研究对眼底图像的处理都是将左、右眼图像作为独立的个体进行处理，忽略了病人双眼之间的关系。而疾病的发病机制和治疗手段复杂多变，因此仅从图像水平上进行疾病的研究是不够充分的。本专利技术就是设计了一种多标签眼底图像分类系统、方法及电子设备。

技术实现思路

[0007]本专利技术的目的是针对现有技术的缺陷，提供了一种多标签眼底图像分类系统、方法及电子设备。为了实现以上目的，本专利技术采用以下技术方案：
[0008]一种多标签眼底图像分类系统，其特征在于，该系统包括：
[0009]图像采集设备，包括摄像头，第一通信模块；
[0010]智能终端，包括电脑或手机，其中电脑或手机包括图像处理模块、第二通信模块；
[0011]云服务器，包括图像处理模块、第三通信模块；
[0012]所述系统有两种工作方式，方式一：所述图像采集设备采集眼底图像后，由所述第一通信模块通过所述第二通信模块，发送采集到的眼底图像至所述智能终端，再由图像处
理模块对采集到的眼底图像进行处理，并在所述智能终端上显示图像分类结果；
[0013]方式二：所述图像采集设备采集眼底图像后，由所述第一通信模块通过所述第三通信模块，发送采集到的眼底图像至所述云服务器，再由图像处理模块对采集到的眼底图像进行处理，由所述第三通信模块通过所述第二通信模块发送图像分类结果至所述智能终端并显示。
[0014]进一步，所述图像处理模块，包括特征提取模块、图像拼接模块、图卷积计算模块、多标签输出模块、分类预测模块，其中，
[0015]所述特征提取模块包括EfficientNet
‑
B4主干网，对图像特征进行提取；
[0016]所述图像拼接模块，对提取到的图像特征进行拼接，得到图像特征矩阵X；
[0017]所述图卷积计算模块，对拼接后的图像特征进行计算，输出特征
[0018]所述分类预测模块包括LightGBM算法模块，对特征进行多标签分类输出。
[0019]进一步，所述图像拼接模块包括图像拼接、特征拼接、标签拼接三种拼接方式；所述图像拼接为对左、右眼图像进行水平或竖直拼接；所述特征拼接为对左、右眼图像分别对应的特征进行组合；所述标签拼接为对左、右眼图像分别对应的标签进行组合；
[0020]所述图卷积计算模块包括自注意机制模块、图卷积模块、混合图卷积模块；
[0021]所述自注意机制模块通过3个1*1的卷积核提取图像特征矩阵X的三个特征f，g，h；
[0022]f(x)＝W
f
·
x，g(x)＝W
g
·
x，h(x)＝W
h
·
x
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0023][0024]C是图像特征矩阵X的通道数，W
f
、W
g
、W
h
是可学习参数权重矩阵。
[0025]再对f(x)和g(x)进行计算：
[0026]α
j，i
＝softmax(f(x
i
)
T
×
g(x
j
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0027]其中，T代表类别数，共有8个类别。得到自注意机制模块的输出参数
[0028][0029]其中v是另一个1*1的卷积核，M是其他维度相乘得到的值。
[0030]进一步，所述图卷积模块包括构建邻接矩阵A和各层图卷积运算；
[0031]进一步，所述构建邻接矩阵A包括以下步骤：
[0032]Z1.利用Glove算法将多标签图像对应的标签进行词向量编码转换为向量特征；
[0033]Z2.利用标签之间依赖特性即条件概率构造标签相关矩阵A：其中A的每个元素表示为A
mn
，A
mn
＝P(A
m
/A
n
)表示当n标签出现时m标签出现的概率，有：
[0034][0035]其中，B
m
是m标签出现的总次数，E
mn
是n标签和m标签同时出现的总次数；
[0036]进一步，所述各层图卷积运算由下述公式实现：
[0037][0038]其中H
(l)
是第1层顶点，D是对角矩阵，由计算得到，a
ij
是A中元素，A是所述邻接矩阵A，W
(l)
是第1层的可训练权值，H
(l+1)
是第1+1层顶点，σ(x)是激活函数。
[0039]进一步，所述混合图卷积模块对所述自注意机制模块的输出β
j，i
和所述图卷积模块的输出Y进行计算，得到特征
[0040][0041]其中，γ是可训练的权值。
[0042]一种眼底图像分析方法，其特征在于，所述方法包括：
[0043]S1.获取待分类的眼底图像；
[0044]S2.对待分类的眼底图像进行预处理；
[0045]S3.对待分类的眼底图像进行图像拼接，并进行特征提取，获得图像特征矩阵；
[0046]S4.将图像特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多标签眼底图像分类系统，其特征在于，该系统包括：图像采集设备，包括摄像头，第一通信模块；智能终端，包括电脑或手机，其中电脑或手机包括图像处理模块、第二通信模块；云服务器，包括图像处理模块、第三通信模块；所述系统有两种工作方式，方式一：所述图像采集设备采集眼底图像后，由所述第一通信模块通过所述第二通信模块，发送采集到的眼底图像至所述智能终端，再由图像处理模块对采集到的眼底图像进行处理，并在所述智能终端上显示图像分类结果；方式二：所述图像采集设备采集眼底图像后，由所述第一通信模块通过所述第三通信模块，发送采集到的眼底图像至所述云服务器，再由图像处理模块对采集到的眼底图像进行处理，由所述第三通信模块通过所述第二通信模块发送图像分类结果至所述智能终端并显示。2.根据权利要求1所述的系统，其特征在于，所述图像处理模块，包括特征提取模块、图像拼接模块、图卷积计算模块、多标签输出模块、分类预测模块，其中，所述特征提取模块包括EfficientNet
‑
B4主干网，对图像特征进行提取；所述图像拼接模块，对提取到的图像特征进行拼接，得到图像特征矩阵X；所述图卷积计算模块，对拼接后的图像特征进行计算，输出特征所述分类预测模块包括LightGBM算法模块，对特征进行多标签分类输出。3.根据权利要求2所述的系统，其特征在于，所述图像拼接模块包括图像拼接、特征拼接、标签拼接三种拼接方式；所述图像拼接为对左、右眼图像进行水平或竖直拼接；所述特征拼接为对左、右眼图像分别对应的特征进行组合；所述标签拼接为对左、右眼图像分别对应的标签进行组合；所述图卷积计算模块包括自注意机制模块、图卷积模块、混合图卷积模块；所述自注意机制模块通过3个1*1的卷积核提取图像特征矩阵X的三个特征f,g,h；f(x)＝W
f
·
x,g(x)＝W
g
·
x,h(x)＝W
h
·
x
ꢀꢀꢀꢀ
(1)W
f
，W
g
，W
h
∈R
c
’×
c
ꢀꢀꢀꢀꢀ
(2)C是图像特征矩阵X的通道数，W
f
、W
g
、W
h
是可学习参数权重矩阵，再对f(x)和g(x)进行计算：α
j，i
＝softmax(f(x
i
)
T
×
g(x
j
))
ꢀꢀꢀꢀꢀꢀꢀ
(3)其中，T代表类别数，共有8个类别，得到自注意机制模块的输出参数其中v是另一个1*1的卷积核，M是其他维度相乘得到的值。4.根据权利要求3所述的系统，其特征在于，所述图卷积模块包括构建邻接矩阵A和各层图卷积运算。5.根据权利要求4所述的系统，其特征在于，所述构建邻接矩阵A包括...

【专利技术属性】
技术研发人员：皮喜田，孙凯，刘洪英，徐尧，吴沁莹，贺梦嘉，
申请(专利权)人：重庆大学，
类型：发明
国别省市：