【技术实现步骤摘要】
本专利技术涉及医学图像语义分割，具体涉及一种基于图卷积网络和部分卷积的轻量级视网膜血管分割方法。
技术介绍
1、眼底是人类全身唯一可以直接观察到动脉、静脉和毛细血管的部位。通过对视网膜血管的几何形态进行观察，例如血管角度、直径和拓扑结构等，可以有效诊断糖尿病、高血压以及各种眼部疾病。在这些疾病中，糖尿病可导致视网膜血管病变和新生血管，甚至导致病人失明；高血压可导致血管异常增生，出现血管瘤和棉绒斑等症状。此外，高度近视的人群眼底可能出现弥漫性或斑片状的视网膜萎缩斑。因此，在临床研究中，分析视网膜血管的视觉信息对于帮助医生诊断糖尿病、高血压和各种眼部疾病至关重要，而出色的视网膜血管分割方法可以提高医生的诊断效率和准确性。
2、然而，眼底视网膜血管具有复杂的树状拓扑结构，当血管过于细小时容易出现断裂。视盘区域的亮度较其他区域高，对比度较低，增加了视网膜血管分割的难度。除此之外，光照不足或过度曝光也会降低图像对比度，导致视网膜血管边界不清晰。综上所述，由于视网膜血管自身成像的限制以及成像过程中的光源等干扰因素，血管的对比度降低，进而可能导致血管信息丢失或直接影响血管的拓扑结构，这些原因都大大增加了视网膜血管分割的难度。
3、随着深度学习领域中卷积神经网络的迅速发展，以及各种网络优化技术的出现，越来越多的国内外研究者将目光聚焦于实现视网膜血管的自动分割与病情的辅助诊断。近些年，视网膜血管自动分割算法大多基于编码器-解码器结构，并使用卷积神经网络提取图像血管特征，最终取得了不错的分割效果。然而本申请的专利技术人经过研
技术实现思路
1、针对现有基于编码器-解码器结构的视网膜血管分割方法无法解决分割图中血管断裂以及边界不清晰的技术问题，本专利技术提供一种基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，该方法搭建一种卷积神经网络模型，采用部分卷积代替常规卷积并使用图卷积来分别提取图像的局部特征以及全局特征，引入多尺度特征融合模块来更好的融合编解码器特征，并且采用临近块扩充层来实现一种新型的上采样方式代替双线性插值算法，以提高模型的泛化性，实现视网膜血管的精确分割。
2、为了解决上述技术问题，本专利技术采用了如下的技术方案：
3、基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，包括以下步骤：
4、s1、基于图卷积网络和部分卷积的轻量级视网膜血管分割网络模型搭建：
5、s11、基于图卷积网络和部分卷积的轻量级视网膜血管分割网络包括特征编码器、多尺度特征融合器、特征解码器和标签预测器，所述特征编码器通过部分卷积捕获图像的局部特征以及通过图卷积捕获图像的全局特征，并通过最大池化操作进行下采样，在降低图像分辨率的同时增加图像所蕴含的语义信息；所述多尺度特征融合器对局部特征以及全局特征进行加权融合，对特征层中的噪声信息进行抑制并注重血管的特征信息；所述特征解码器通过临近块扩充层与卷积层将特征图的分辨率逐步恢复到与原图一样大小；所述标签预测器将特征解码器输出的多通道特征图通过卷积与激活函数得到最终的分割概率图；
6、s12、所述特征编码器包括五个特征编码层组，所述特征解码器包括三个特征解码层组和四个临近块扩充层，每个特征编码层组和每个特征解码层组均由顺序设置的两个部分卷积层和一个常规卷积层组成，特征解码器每一级之间设置一个临近块扩充层，临近块扩充层替代双线性插值对特征图进行上采样操作，将特征图逐步恢复至原图大小；所述多尺度特征融合器包括两个池化层组、两个卷积层以及一个softmax权重转换层，每个池化层组由一个最大池化层和一个平均池化层组成，每个池化层组后面设置一个卷积层；所述标签预测器由一个类别预测层和一个softmax概率转换层组成，softmax概率转换层将类别预测分数转换成概率分布；
7、s2、视网膜血管分割网络模型训练与参数优化：
8、s21、网络参数初始化：采用xavier方法对步骤s1搭建的基于图卷积网络和部分卷积的轻量级视网膜血管分割网络模型参数进行初始化；
9、s22、数据集准备：将划分有训练集和验证集并且带像素级分割标签的原始视网膜血管图像分离为rgb三通道特征图并进行加权处理，接着使用直方图均衡化将视网膜图像的直方图近似均匀分布，从而增强图像的对比度，然后进行gamma变换，更有效的保留图像亮度信息，最后对训练集中训练图像数据样本使用在线数据增强技术来进行数据增强，以此完成对采集视网膜血管图像的预处理；
10、s23、数据集训练：将预处理后带有像素级分割标签的训练集图像数据采用5折交叉验证法来对分割网络模型进行训练；
11、s24、将同一视网膜血管切面的彩色眼底图像输入网络，通过网络前向计算生成视网膜血管分割结果；
12、s25、采用分类交叉熵损失函数和集合相似度损失函数的组合作为分割网络目标优化函数，定义如下：
13、
14、l2(θ')＝1-jaccard(y′ij-yij)
15、l(θ')＝λ1l1(θ')+λ2l2(θ')
16、其中，θ'为分类网络参数，l1(θ')为交叉熵损失函数，l2(θ')为集合相似度损失函数，s为图像像素的个数，c为像素类别数，y′ij是分割标签，yij是预测标签，jaccard(y′ij-yij)为分割标签与预测结果的相似度，它是两个集合交集大小与并集大小的比值，l(θ')为分割网络目标优化函数，λ1为交叉熵损失函数加权求和的权重因子，λ2为集合相似度损失函数加权求和的权重因子；
17、s26、采用自适应矩估计梯度下降算法优化目标函数l(θ')，运用误差反向传播更新视网膜血管分割网络模型参数，得到最优网络模型参数θbest；
18、s3、视网膜血管结构的自动语义分割：
19、s31、用学习得到的最优网络模型参数θbest，搭建基于图卷积网络和部分卷积的轻量级视网膜血管彩色眼底图像自动语义分割网络；
20、s32、首先将彩色眼底图像进行在线数据增强，然后对rgb三通道的图像进行加权合并为单通道的图像并切分为64×64大小的图像块，输入特征编码器提取得到不同尺度的特征图；
21、s33、通过特征解码器得到与原图大小相同的特征图，然后送入标签预测器中的类别预测层得到血管区域与背景区域这两个类别上的像素类别预测分数，最后使用softmax概率转换层将预测分数转换成概率分布；
22、s34、取每个像素最大概率所在分量的下标作为像素类别标签，得到最终视网膜血管语义分割二值图。
23、进一步，所述步骤s12中，每个特征编码层组和特征解码层组中的两个部分卷积层的卷积核大小为3×3，步长为1，一个常规卷积层的卷积核大小为1×1，步长为1，两个部分卷积层中的前一个部分卷本文档来自技高网...
【技术保护点】
1.基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，其特征在于，所述步骤S12中，每个特征编码层组和特征解码层组中的两个部分卷积层的卷积核大小为3×3，步长为1，一个常规卷积层的卷积核大小为1×1，步长为1，两个部分卷积层中的前一个部分卷积层的卷积核数仅为上一级特征编解码器得到的特征通道数的1/4，即只对特征输入通道的前1/4应用常规的卷积进行空间特征提取，其余通道保持不变，后一个卷积层的作用为促进经过卷积层的通道与未经过卷积层的通道之间的信息交换；所述五个特征编码层组的卷积核个数依次为64、16、128，32、32、256，64、64、512，128、128、1024；所述三个特征解码层组的卷积核个数依次为128、128、512，64、64、256，32、32、128；所述多尺度特征融合器中的两个卷积层的卷积核大小为1×1，步长为1；所述标签预测器的卷积核个数依次为16、2。
3.根据权利要求1所述的基于图卷积网络和部分卷积的轻量级视网膜血管分割方
4.根据权利要求1所述的基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，其特征在于，所述步骤S24中网络前向计算包括卷积操作、图卷积操作、批量归一化、非线性激励和概率值转换。
5.根据权利要求4所述的基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，其特征在于，所述卷积操作运算中，任意一个卷积核所对应的输出特征图Zi采用下式进行计算：
6.根据权利要求4所述的基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，其特征在于，所述图卷积操作运算中，将编码器特征图的每个像素都当作一个图节点，通过K近邻算法找到每个节点的3个最近邻居作为图的边，然后使用拉普拉斯矩阵来定义图卷积，对于一个无向图A代表邻接矩阵，D代表对角矩阵，L＝I-D-1/2AD-1/2表示对进行归一化操作的拉普拉斯矩阵，L可以分解为L＝UΛUT，其中U为特征向量矩阵，Λ＝diag[λ1,...,λn]为特征值矩阵；图卷积网络引入ChebNet的一阶近似，图卷积网络迭代的聚合来自邻居节点的信息，关于节点vi的前向传播过程为：
7.根据权利要求4所述的基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，其特征在于，所述非线性激励采用整流线性单元ReLU作为特征图Zi的非线性激励函数，用于将特征图Zi中的每个值进行非线性转化，所述整流线性单元ReLU定义如下：
8.根据权利要求4所述的基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，其特征在于，所述概率值转换使用Softmax函数将类别预测分值转换成概率分布，Softmax函数定义如下：
9.根据权利要求1所述的基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，其特征在于，所述步骤S26中具体优化过程如下：
...【技术特征摘要】
1.基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，其特征在于，所述步骤s12中，每个特征编码层组和特征解码层组中的两个部分卷积层的卷积核大小为3×3，步长为1，一个常规卷积层的卷积核大小为1×1，步长为1，两个部分卷积层中的前一个部分卷积层的卷积核数仅为上一级特征编解码器得到的特征通道数的1/4，即只对特征输入通道的前1/4应用常规的卷积进行空间特征提取，其余通道保持不变，后一个卷积层的作用为促进经过卷积层的通道与未经过卷积层的通道之间的信息交换；所述五个特征编码层组的卷积核个数依次为64、16、128，32、32、256，64、64、512，128、128、1024；所述三个特征解码层组的卷积核个数依次为128、128、512，64、64、256，32、32、128；所述多尺度特征融合器中的两个卷积层的卷积核大小为1×1，步长为1；所述标签预测器的卷积核个数依次为16、2。
3.根据权利要求1所述的基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，其特征在于，所述步骤s22中，对训练集中训练图像数据样本使用随机水平、垂直翻转、旋转45°、90°、135°、180°、225°、270°、315°在线数据增强技术，使训练图像数据样本增加为初始的10倍。
4.根据权利要求1所述的基于图卷积网络和部分卷积的轻量级视网膜血管分割方法，其特征在于，所述步骤s24中网络前向计算包括卷积操作、图卷积操作、批...
【专利技术属性】
技术研发人员：崔少国，张乐迁，万皓明，王海祥，
申请(专利权)人：重庆师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。