糖尿病视网膜病变的特征分类方法、系统、设备及介质技术方案

本发明专利技术公开了一种糖尿病视网膜病变的特征分类方法、系统、设备及介质，其中方法包括：获取糖尿病视网膜的病变图像；将病变图像分别输入至预设的通道注意力网络和预设的空间注意力网络中，得到通道注意力网络输出的第一特征图和空间注意力网络输出的第二特征图；融合第一特征图和第二特征图，得到第三特征图；将第三特征图输入至胶囊网络，得到胶囊网络的输出结果；将输出结果输入至预设的分类器中，得到分类器输出的病变图像的分类结果。能够提高对糖尿病视网膜的病变图像分类的准确度和分类效率，能够更好地应对糖尿病视网膜的病变图像差异大和糖尿病视网膜的病变图像数据量大所带来的问题。所带来的问题。所带来的问题。

【技术实现步骤摘要】
糖尿病视网膜病变的特征分类方法、系统、设备及介质


[0001]本专利技术涉及病变图像分类
，尤其是涉及一种糖尿病视网膜病变的特征分类方法、系统、设备及介质。

技术介绍

[0002]糖尿病(DM)是一种由体内高血糖水平引起的代谢紊乱的疾病。它逐渐成为全球公共卫生领域的一个重大难题，影响着全球4.63亿人，预计到2045年这一数字将上升到7亿。至少三分之一的糖尿病患者还患有与糖尿病有关的眼病，其中糖尿病视网膜病变(DR)是最常见的一种。糖尿病视网膜病变随着慢性糖尿病的发展，会对视网膜产生不同程度的破坏，是导致视力损害和失明的最常见原因之一。传统上，糖尿病视网膜病变分级是基于对彩色眼底图像中呈现的不同结构特征的综合评估而确定，例如微动脉瘤、渗出物、出血和新生血管的存在。因此，在早期治疗糖尿病视网膜病变研究的基础上，提出了无明显视网膜病变、轻度非增殖性、中度、重度和增殖性视网膜病变5种严重程度分级标准。
[0003]现阶段，常使用深度学习对视网膜病变的严重程度进行自动分类，然而在多模态数据集难以获取的情况下，使用单一模态的数据集，仅仅依靠深度神经网络提取的高级特征并不能很好的识别或区分糖尿病视网膜病变的病灶特征，这导致现阶段的自动分类方案存在着分类精度不高的问题。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种糖尿病视网膜病变的特征分类方法、系统、设备及介质，能够增强糖尿病视网膜病变的特征分类在通道注意力和空间注意力上的表现，提高糖尿病视网膜病变的特征分类的精确性和鲁棒性。
[0005]第一方面，本专利技术的实施例提供了一种糖尿病视网膜病变的特征分类方法，包括：
[0006]获取糖尿病视网膜的病变图像；
[0007]将所述病变图像分别输入至预设的通道注意力网络和预设的空间注意力网络中，得到所述通道注意力网络输出的第一特征图和所述空间注意力网络输出的第二特征图；其中，所述通道注意力网络包括N个通道注意力模块，所述空间注意力网络包括N个空间注意力模块，第n个所述通道注意力模块的输出与第n个所述空间注意力模块的输出融合后作为第n+1个所述通道注意力模块的输入，第 n个所述空间注意力模块的输出作为第n+1个所述空间注意力模块的输入；n是 1至N
‑
1中的正整数；
[0008]融合所述第一特征图和所述第二特征图，得到第三特征图；
[0009]将所述第三特征图输入至胶囊网络，得到所述胶囊网络的输出结果；
[0010]将所述输出结果输入至预设的分类器中，得到所述分类器输出的所述病变图像的分类结果。
[0011]根据本专利技术实施例的控制方法，至少具有如下有益效果：
[0012]本方法一方面将病变图像输入通道注意力网络，得到第一特征图，通过通道注意力网络能够为每个不同的通道分配不同的权重，使后续进行分类时快速判断通道的重要性，提高分类的准确性和时效性；另外一方面将病变图像输入空间注意力网络，得到第二特征图，使得对特征的空间定位更加精确，提高了后续分类时的定位速度和定位效果；而且通道注意力网络包括N个通道注意力模块，空间注意力网络包括N个空间注意力模块，第n个通道注意力模块的输出与第n个空间注意力模块的输出融合后作为第n+1个通道注意力模块的输入，第n个空间注意力模块的输出作为第n+1个空间注意力模块的输入，这样设置能够加强通道注意力权重的分配和空间注意力权重的分配，并为后续的第一特征图和第二特征图融合提供融合基础；将第一特征图和第二特征图融合，得到第三特征图，第三特征图保存了病变图像在空间上的注意力信息和通道的注意力信息，有效地关联了通道的注意力权重和空间的注意力权重，融合产生的特征图进行分类时抗干扰性更强，误判率更低；将第三特征图输入至胶囊网络，胶囊网络能够在不丢失任何信息的情况下检索空间信息以及更重要的特征，与融合了通道的注意力权重和空间的注意力权重的第三特征图适配，能够提高分类的准确度，也提高了分类效率。
[0013]根据本专利技术的一些实施例，在所述获取糖尿病视网膜的病变图像之后，所述方法还包括：
[0014]对所述病变图像进行去除边框、图像增强、数据增强和数据平衡。
[0015]根据本专利技术的一些实施例，所述通道注意力网络中的第n个所述通道注意力模块通过以下方式得到输出的特征：
[0016]接收第n
‑
1个所述通道注意力模块的输出与第n
‑
1个所述空间注意力模块的输出融合的第一初始特征；
[0017]对所述第一初始特征进行全局平均池化，得到每个通道的通道特征；其中，所述全局平均池化包括：
[0018]p＝gap(F
n
)，p∈R
Cn
，F
n
∈R
Cn
×
Hn
×
Wn
[0019]其中，p表示通道特征，F
n
表示第n个所述通道注意力模块输出的特征， gap()表示全局平均池化，R表示病变图像，Cn表示第n个所述通道注意力模块输出的特征的通道序数，H和W分别表示病变图像的长和宽；
[0020]将所述通道特征输入一维卷积，并通过sigmoid函数激活得到激活特征：
[0021][0022]q＝sigmoid(Conv1d(p))，q∈R
Cn
[0023]其中，k表示一维卷积的卷积核大小，β和γ表示预设的参数，q表示激活特征，Conv1d()表示卷积函数，sigmoid()表示激活函数；
[0024]根据所述激活特征得到全局通道评估系数：
[0025][0026]其中，t表示全局通道评估系数，w0表示0维权重参数，w
i
表示一维权重参数，V
i
表示二维权重参数，x
i
和x
j
表示激活特征q中的值；
[0027]通过所述全局通道评估系数和所述激活特征得到通道注意力图：
[0028]r＝q
×
t
[0029]其中，r表示通道注意力图；
[0030]将所述通道注意力图与所述第一初始特征相乘，得到输出的特征。
[0031]根据本专利技术的一些实施例，所述空间注意力网络中的第n个所述空间注意力模块通过以下方式得到输出的特征：
[0032]接收第n
‑
1个所述空间注意力模块输出的第二初始特征；
[0033]将所述第二初始特征进行平均池化和最大池化得到空间信息；
[0034]将所述空间信息分别输入三个卷积，得到三个张量；
[0035]根据所述三个张量，计算得到输出的特征：
[0036]S
n
'＝SA(I
max
‑
mean
)＝softmax(F
q
F
kT
)F
v
+F
v
，S
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种糖尿病视网膜病变的特征分类方法，其特征在于，所述方法包括：获取糖尿病视网膜的病变图像；将所述病变图像分别输入至预设的通道注意力网络和预设的空间注意力网络中，得到所述通道注意力网络输出的第一特征图和所述空间注意力网络输出的第二特征图；其中，所述通道注意力网络包括N个通道注意力模块，所述空间注意力网络包括N个空间注意力模块，第n个所述通道注意力模块的输出与第n个所述空间注意力模块的输出融合后作为第n+1个所述通道注意力模块的输入，第n个所述空间注意力模块的输出作为第n+1个所述空间注意力模块的输入；n是1至N
‑
1中的正整数；融合所述第一特征图和所述第二特征图，得到第三特征图；将所述第三特征图输入至胶囊网络，得到所述胶囊网络的输出结果；将所述输出结果输入至预设的分类器中，得到所述分类器输出的所述病变图像的分类结果。2.根据权利要求1所述的糖尿病视网膜病变的特征分类方法，其特征在于，在所述获取糖尿病视网膜的病变图像之后，所述方法还包括：对所述病变图像进行去除边框、图像增强、数据增强和数据平衡。3.根据权利要求1或2所述的糖尿病视网膜病变的特征分类方法，其特征在于，所述通道注意力网络中的第n个所述通道注意力模块通过以下方式得到输出的特征：接收第n
‑
1个所述通道注意力模块的输出与第n
‑
1个所述空间注意力模块的输出融合的第一初始特征；对所述第一初始特征进行全局平均池化，得到每个通道的通道特征；其中，所述全局平均池化包括：p＝gap(F
n
)，p∈R
Cn
，F
n
∈R
Cn
×
Hn
×
Wn
其中，p表示通道特征，F
n
表示第n个所述通道注意力模块输出的特征，gap()表示全局平均池化，R表示病变图像，Cn表示第n个所述通道注意力模块输出的特征的通道序数，H和W分别表示病变图像的长和宽；将所述通道特征输入一维卷积，并通过sigmoid函数激活得到激活特征：q＝sigmoid(Conv1d(p))，q∈R
Cn
其中，k表示一维卷积的卷积核大小，β和γ表示预设的参数，q表示激活特征，Conv1d()表示卷积函数，sigmoid()表示激活函数；根据所述激活特征得到全局通道评估系数：其中，t表示全局通道评估系数；通过所述全局通道评估系数和所述激活特征得到通道注意力图：r＝q
×
t其中，r表示通道注意力图，w0表示0维权重参数，w
i
表示一维权重参数，V
i
表示二维权重
参数，x
i
和x
j
表示激活特征q中的值；将所述通道注意力图与所述第一初始特征相乘，得到输出的特征。4.根据权利要求3所述的糖尿病视网膜病变的特征分类方法，其特征在于，所述空间注意力网络中的第n个所述空间注意力模块通过以下方式得到输出的特征：接收第n
‑
1个所述空间注意力模块输出的第二初始特征；将所述第二初始特征进行平均池化和最大池化得到空间信息；将所述空间信息分别输入三个卷积，得到三个张量；根据所述三个张量，计算得到输出的特征：S
n
'＝SA(I
max
‑
mean
)＝softmax(F
q
F
kT

【专利技术属性】
技术研发人员：夏卓群，江其盛，胡航宇，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：