基于超参数优化的TransCNN医学眼底图像分类算法制造技术

本发明专利技术公开一种基于超参数优化的TransCNN医学眼底图像分类算法，即Deho

【技术实现步骤摘要】
基于超参数优化的TransCNN医学眼底图像分类算法


[0001]本专利技术涉及医学图像分类
，具体涉及一种基于超参数优化的TransCNN医学眼底图像分类算法。

技术介绍

[0002]视网膜病变是目前眼底疾病的主要病因之一，主要有糖尿病视网膜病害(DR)、视网膜脱离、黄斑病变等。而糖尿病视网膜病变是当前增长最快的致盲疾病，其致残致死率仅次于心脏血管疾病和癌症。如何有效、快速的对眼底图像进行诊断，降低疾病带来的干扰，成为医学眼科的重要方向。
[0003]眼科患者急速增长，人工诊断已无法满足需求，利用智能设备辅助人工检测成为智慧医疗发展的核心。检测技术主要包含机器学习方法和深度学习方法。其中，任福龙等人使用融合多列学习与极限学习机方法构建多核图多列学习模型，实现糖尿病图像二分类；张晨曦等人以小波分解图像金字塔模型为基础，通过局部二值模式与灰度梯度共生矩阵算法分别提取眼底图像病灶区纹理特征和细节特征，将提取结果融合得到全局特征进行降维，并使用最小优化模型进行眼底图像分类。Shaohua Wan等人利用融合迁移学习与超参数优化的CNN模型对眼底图像进行分类；Sunil Sharma等人提出基于神对卷积神经网络(CNN)模型实现糖尿病视网膜眼底图像二分类；Kang Zhou等人采用多单元多任务卷积神经网络(M2CNN)对眼底图像进行分类，已解决梯度消失/爆炸问题，进而提升图像分类效果；Jonathan Zhang等人将DenseNe121网络与ResNet50网络融合实现对糖尿病病变严重程度的分类；李琼等人提出在AlexNet网络基础上，在其卷积层和全连接层前引入归一化层构建BNnet网络实现特征提取，同时对网络使用迁移学习策略进行预训练，并结合深度分类器实现眼底视网膜图像分类；李轩屹等人提出基于多尺度ResNet网络模型，该模型通过不同分辨率输入、全连接层处理深浅层特征信息以及迁移学习实现参数初始化处理以实对DR眼底图像严重程度分类；孙雨琛等人使用残差思想的DCNN网络模型实现视网膜眼底图像特征自动提取，以实现对眼底图像分类；连先锋等人利用多特征融合的改进VGG16网络模型提取眼底图像局部特征，以实现图像分类。
[0004]以上算法虽能有效较好实现对眼底图像分类，但网络结构较为复杂，模型训练时间长，初始参数设置具有随机性，对眼底图像病变处交织重叠处理效果不佳，且不适用于不均衡样本多分类场景。

技术实现思路

[0005]为解决上述问题，本专利技术提出一种基于超参数优化的改进TransCNN眼底图像分类算法。
[0006]本专利技术提供一种基于超参数优化的TransCNN医学眼底图像分类算法，即Deho
‑
TransCNN，包括：
[0007]对TransCNN模型全连接层参数使用差分进化算法进行权值初始化选择，以实现网
络初始权重寻优；
[0008]将眼底图像输入网络初始化权重的TransCNN模型进行训练，利用差分进化算法监听网络向前传播损失值，对TransCNN模型训练过程中网络参数自适应迭代，寻找最优超参数组合；
[0009]所述TransCNN模型的分类器采用MEB
‑
KSVM分类器。
[0010]具体地，所述对TransCNN模型全连接层参数使用差分进化算法进行权值初始化选择，以实现网络初始权重寻优，包括：
[0011]步骤1：初始化；包含权重初始化、图像编码和种群初始化操作；其中，网络权重初始化为正态初始，以解决网络因随机生成权重引起无效的模型训练；网络权重初始化服从正态分布数学期望，其概率密度为
[0012][0013]其中，w表示网络权重，μ表示网路权重参数期望，σ表示方差。
[0014]图像编码用于处理分类器属性数据偏差，使用one
‑
hot编码实现输入图像的处理，将图像采用二进制向量进行分类，分别得到样本∈(1,2,3,4,5)对应DR严重程度分级，one
‑
hot编码分别为{[1,0,0,0,0],[0,1,0,0,0]，[0,0,1,0,0]，[0,0,0,1,0]，[0,0,0,0,1]}。
[0015]对编码后数据进行种群初始化，将标签编码后图像输入模型进行训练，记录每次TransCNN向前传播权重值w
a
，计算公式为
[0016]b＝e1×
e1+e2+e2×
e3+e3[0017]P
a
(g)＝{w1(g),w2(g),...,w
b
(g)}
[0018]其中，e1为全连接层输入层神经元个数，e2为隐藏层神经元个数，e3为输出层神经元个数，用于计算种群内个体规模，w
b
为种群中单个个体，a是种群编号，对差分权重优化而言，一组完整神经网络权重即为差分的一个种群。
[0019]步骤2：种群计算；包含计算评价、变异、交叉和选择操作；计算评价用于评价种群优劣，分为计算适应度和计算阈值两个操作；其中，计算适应度用于记录每次TransCNN训练后的预测值，利用预测值得到每次模型训练后损失值suit，
[0020][0021]其中，β是待检测DR图像程度类数，是每组图像标签的维数，pre是网络预测值，T是标签真实值，将计算所得损失值l作为适应度，评价DR分类中每个种群优劣程度以及判断阈值；阈值判断以本次适应度与上次迭代适应度差的绝对值进行评判，计算公式为
[0022]abs(suit
a
‑1‑
suit
a
)>o
1 and abs(suit
a
‑1‑
suit
a
)>o2[0023]o1＝280+4
×
l
a
‑1,o2＝280+7
×
l
a
[0024]其中，o1与o2代表阈值，suit
a
‑1代表第a
‑
1次迭代适应度，suit
a
代表第a次迭代适应度，若满足绝对值差小于阈值，寻优结束，本次迭代权重为网络初始化权重，反之执行变异操作，以突破局部范围问题，寻找全局最优权重。
[0025]差分变异操作在现有权重组合中引入新的权重空间以突破当前搜索限制，实现更优解求解，计算公式为
[0026]VAR
a
(g)＝P
n1
(g)+Fa(P
n2
(g)
‑
P
n3
(g))
[0027]其中，VAR(g)为变异后种群，取值n0,n1,n2,n3∈{1,2，...40}且为互不相同整数，Fa是交叉因子，若过小将降低网络收敛速度产生局部最小值较小，过大则会造成种群难收敛。
[0028]为将优良种群传递给下一代，对变异种群进行交叉处理，将两组适应度高的父母种群权重组合的个体进行交叉处理，形成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超参数优化的TransCNN医学眼底图像分类算法，其特征在于，包括：对TransCNN模型全连接层参数使用差分进化算法进行权值初始化选择，以网络初始权重寻优；将眼底图像输入网络初始化权重的TransCNN模型进行训练，利用差分进化算法监听网络向前传播损失值，对TransCNN模型训练过程中网络参数自适应迭代，寻找最优超参数组合；所述TransCNN模型的分类器采用MEB
‑
KSVM分类器。2.根据权利要求1所述的一种基于超参数优化的TransCNN医学眼底图像分类算法，其特征在于，所述对TransCNN模型全连接层参数使用差分进化算法进行权值初始化选择，以实现网络初始权重寻优，包括：步骤1：初始化；包含权重初始化、图像编码和种群初始化操作；其中，网络权重初始化为正态初始，以解决网络因随机生成权重引起无效的模型训练；网络权重初始化服从正态分布数学期望，其概率密度为其中，w表示网络权重，μ表示网路权重参数期望，σ表示方差；图像编码用于处理分类器属性数据偏差，使用one
‑
hot编码实现输入图像的处理，将图像采用二进制向量进行分类，分别得到样本∈(1,2,3,4,5)对应DR严重程度分级，one
‑
hot编码分别为{[1,0,0,0,0],[0,1,0,0,0]，[0,0,1,0,0]，[0,0,0,1,0]，[0,0,0,0,1]}；对编码后数据进行种群初始化，将标签编码后图像输入模型进行训练，记录每次TransCNN向前传播权重值w
a
，计算公式为b＝e1×
e1+e2+e2×
e3+e3P
a
(g)＝{w1(g),w2(g),...,w
b
(g)}其中，e1为全连接层输入层神经元个数，e2为隐藏层神经元个数，e3为输出层神经元个数，用于计算种群内个体规模，w
b
为种群中单个个体，a是种群编号；对差分权重优化而言，一组完整神经网络权重即为差分的一个种群；步骤2：种群计算；包含计算评价、变异、交叉和选择操作；计算评价用于评价种群优劣，分为计算适应度和计算阈值两个操作；其中，计算适应度用于记录每次TransCNN训练后的预测值，利用预测值得到每次模型训练后损失值suit，其中，β是待检测DR图像程度类数，是每组图像标签的维数，pre是网络预测值，T是标签真实值，将计算所得损失值l作为适应度，评价DR分类中每个种群优劣程度以及判断阈值；阈值判断以本次适应度与上次迭代适应度差的绝对值进行评判，计算公式为abs(suit
a
‑1‑
suit
a
)>o1and abs(suit
a
‑1‑
suit
a
)>o2o1＝280+4
×
l
a
‑1,o2＝280+7
×
l
a
其中，o1与o2代表阈值，suit
a
‑1代表第a
‑
1次迭代适应度，suit
a
代表第a次迭代适应度，
若满足绝对值差小于阈值，寻优结束，本次迭代权重为网络初始化权重，反之执行变异操作，以突破局部范围问题，寻找全局最优权重；差分变异操作在现有权重组合中引入新的权重空间以突破当前搜索限制，实现更优解求解，计算公式为VAR
a
(g)＝P
n1
(g)+Fa(P
n2
(g)
‑
P
n3
(g))其中，VAR(g)为变异后种群，取值n0,n1,n2,n3∈{1,2，...40}且为互不相同整数，Fa是交叉因子，若过小将降低网络收敛速度产生局部最小值较小，过大则会造成种群难收敛；为将优良种群传递给下一代，对变异种群进行交叉处理，将两组适应度高的父母种群权重组合的个体进行交叉处理，形成子权重组合，其中，父母种群中群众组合采用轮盘赌算法进行采样，计算公式为其中，suit
a
为种群P
ni
(g)的适应度，suit
all
为种群适应度的和，pr
a
为当前超参数组合被选择的概率，对采样后结果进行交叉操作，计算公式为其中，CRO(g)为交叉后的种群，rand[0，1]为属于0到1的随机数；为确保VAR
a
(g)的每个种群至少存在一个个体遗传给下一代，则限定第一个交叉操作的基因是VAR
a
(g)中第b
rand
位基因作为交叉后CRO
a
(g)的第b
rand
位等位基因；后续交叉操作通过pr选取等位基因；将变异和交叉操作后新种群与原种群进行比较，以择优，计算公式为判断差分计算是否满足寻优条件，对计算结果进行差分终止检验；将适应度最高的种群迭代至TransCNN模型进行训练，根据所计算的损失值判断本次迭代的损失值与上一次迭代结果的绝对值差是否小于阈值，若小于则巡游结束，输出最优权重结果，反之，则重复循环过程，直到满足条件；经过差分进化算法处理后，得到TransCNN全局最优的全连接参数初始化信息。3.根据权利要求1所述的一种基于超参数优化的TransCNN医学眼底图像分类算法，其特征在于，所述TransCNN模型以TransCNN
‑
small为基础网络模型，模型结构为：将输入图像采用两个顺序的vanilla 3*3、步长为2卷积将图像下采样至1/4尺度特征图，并利用多尺度金字塔池化模型将网络划分为1/4,1/8,1/16,1/32 4个尺度阶段，每个阶段利用H
‑
MHSA块与卷积块交替叠加使用，并通过局部最大池化计算每个块最大值实现由多到少池化处理以压缩特征图，所述H
‑
MHSA块为分层级联MHSA，卷积块为倒残差瓶颈块IRB；在金字塔池化处理的前三个阶段中，H
‑
MHSA块与卷积块后连接二分支降采样块TDB进行降采样；TDB中一个分支由vanilla3*3卷积构成，另一个分支由一个最大池化层和一个1*1卷积构成，TDB中的两个分支通过按元素求和方式融合。4.根据权利要求3所述的一种基于超参数优化的TransCNN医学眼底图像分类算法，其特征在于，所述H
‑
MHSA块通过级联方式进行分层计算，通过将图片分成独立窗口以patch计算局部注意力，公式为
J＝H0×
W0其中，J是标记数量，H0和W0分别是DR特征图的高度和宽度；将特征图切分，划分为K0×
K0小网格，公式为其中，Z是特征映射，C是每个标记的特征维数，满足将处理所得局部注意力逐步拼接并添加残差连接，使其在反向传播过程中梯度连乘，避免梯度消失，公式为D0＝Z+D0其中，D0为局部注意力机制处理结果，满足K0×
K0为第1步处理小网格大小；当q
*
＝Z
′
W
q
,k
*
＝Z
′
W
k
,v
*
＝Z
′
W
v
，将特征图Z
→
D0简化网络，W
q
∈R
C
×
C
为查询矩阵，W
k
∈R
C
×
C
为关键词矩阵，W
v
∈R
C
×
C
为值矩阵，皆为线性变换权重矩阵，用于对输入特征图进行降维；D0特征图简化处理公式为若求s步处理结果，其中s>0，将第s
‑...

【专利技术属性】
技术研发人员：余柯欣，王张怡，王剑华，施一飞，
申请(专利权)人：北京吉利学院，
类型：发明
国别省市：