融合像素连接性的视网膜血管分割方法及其系统技术方案

本发明专利技术涉及视网膜血管分割技术领域，特别涉及融合像素连接性的视网膜血管分割方法及其系统；本发明专利技术通过在血管分割的网络中额外引入像素连接性预测任务，以改善细微血管分割及分割的血管易断裂的问题，通过同时预测像素级的血管分割和像素之间的连接性，且将像素连接性以注意力形式增强血管分割，使得互相融合促进，提高整体血管分割的效果。提高整体血管分割的效果。提高整体血管分割的效果。

【技术实现步骤摘要】
融合像素连接性的视网膜血管分割方法及其系统


[0001]本专利技术涉及视网膜血管分割
，特别涉及融合像素连接性的视网膜血管分割方法及其系统。

技术介绍

[0002]对于临床诊断，完整、准确的视网膜血管提供了重要的参考信息，现有的视网膜血管分割方法可以分为传统方法和基于深度学习的方法。
[0003]在早期的传统方法中，首先提取血管中心线，并应用与血管宽度相关的形态学滤波器进行血管填充，使用设计的滤波器来增强血管，然后通过阈值分割来分割血管，在血管中心线上采用广义的形态有序滤波器和主动轮廓模型来捕获每个血管边缘。
[0004]然而与传统方法相比，基于深度学习的方法通过设计巧妙的模块来提取浅层局部特征和深度语义特征，获得了更显著的血管分割效果；现有的基于深度学习的方法，存在一定的局限性，由于存在难以分割的细小血管，这将导致在改善整体模型促进分割的同时，使得分割出的血管存在断裂现象。

技术实现思路

[0005]本专利技术主要解决的技术问题是提供融合像素连接性的视网膜血管分割方法，其通过在血管分割的网络中额外引入像素连接性预测任务，以改善细微血管分割及分割的血管易断裂的问题，通过同时预测像素级的血管分割和像素之间的连接性，且将像素连接性以注意力形式增强血管分割，使得互相融合促进，提高整体血管分割的效果；还提供融合像素连接性的视网膜血管分割系统。
[0006]为解决上述技术问题，本专利技术采用的一个技术方案是：提供融合像素连接性的视网膜血管分割方法，其特征在于，包括如下步骤：
>[0007]步骤S1、对输入的视网膜图像进行血管分割，形成血管分割模型，从而输出像素预测结果，同时对视网膜图像内每一个像素与其相邻像素构建连接关系，形成连接性预测模型，输出像素连接性预测结果；
[0008]步骤S2、将连接性预测模型中网络像素特征图进行连接性特征的转换；
[0009]步骤S3、通过注意力模块将像素预测结果和像素连接性预测结果以注意力形式融合增强。
[0010]作为本专利技术的一种改进，在步骤S1内，对视网膜图像内每一个像素与其周围3x3范围内的相邻像素构建连接关系，得到连接性矩阵。
[0011]作为本专利技术的进一步改进，在步骤S2内，对于连接性预测模型中网络像素特征图，以顺时针顺序检索其每个像素的第i个邻域像素得到第i个相邻像素的特征图，通过补零实现同样的特征图大小，网络像素特征图与第i个相邻像素的特征图构成一对像素特征图对。
[0012]作为本专利技术的更进一步改进，将网络像素特征图与第i个相邻像素的特征图在通道上串联，则得到第i个连接性特征图。
[0013]作为本专利技术的更进一步改进，视网膜图像内每一个像素的周围8个像素均转换为连接性特征图。
[0014]作为本专利技术的更进一步改进，连接性特征图和连接性分支中的特征图为同域的特征，再将连接性特征图和连接性分支中的特征图在通道上串联，通过1x1的卷积进行特征变换再输入后续连接性分支的卷积层。
[0015]作为本专利技术的更进一步改进，连接性特征图通过通道池化操作转化为注意力图，将注意力图与像素分割分支中的特征图相乘，再通过1x1的卷积进行特征变换然后输入后续像素分割的卷积层。
[0016]融合像素连接性的视网膜血管分割系统，其中，包括：
[0017]解码预测模块，用于对输入的视网膜图像进行血管分割，形成血管分割模型，从而输出像素预测结果，同时对视网膜图像内每一个像素与其相邻像素构建连接关系，形成连接性预测模型，输出像素连接性预测结果；
[0018]转换模块，用于将连接性预测模型中网络像素特征图进行连接性特征的转换；
[0019]注意力融合模块，用于通过注意力模块将像素预测结果和像素连接性预测结果以注意力形式融合增强。
[0020]本专利技术的有益效果是：与现有技术相比，本专利技术通过在血管分割的网络中额外引入像素连接性预测任务，以改善细微血管分割及分割的血管易断裂的问题，通过同时预测像素级的血管分割和像素之间的连接性，且将像素连接性以注意力形式增强血管分割，使得互相融合促进，提高整体血管分割的效果。
附图说明
[0021]图1为本专利技术的视网膜血管分割方法的步骤框图；
[0022]图2为本专利技术的网络结构流程图；
[0023]图3为由血管标签生成连接性标签示意图；
[0024]图4由网络像素特征图生成连接性特征图示意图；
[0025]图5为本专利技术的注意力融合模块结构图。
具体实施方式
[0026]请参照图1至图5，本专利技术的融合像素连接性的视网膜血管分割方法，包括如下步骤：
[0027]步骤S1、对输入的视网膜图像进行血管分割，形成血管分割模型，从而输出像素预测结果，同时对视网膜图像内每一个像素与其相邻像素构建连接关系，形成连接性预测模型，输出像素连接性预测结果；
[0028]步骤S2、将连接性预测模型中网络像素特征图进行连接性特征的转换；
[0029]步骤S3、通过注意力模块将像素预测结果和像素连接性预测结果以注意力形式融合增强。
[0030]本专利技术通过在血管分割的网络中额外引入像素连接性预测任务，以改善细微血管分割及分割的血管易断裂的问题，通过同时预测像素级的血管分割和像素之间的连接性，且将像素连接性以注意力形式增强血管分割，使得互相融合促进，提高整体血管分割的效
果。
[0031]如图2所示，本专利技术首先从多任务的思想出发，在血管分割的网络中额外引入像素连接性预测任务，共享编码器并分别设计血管分割解码器和连接性预测解码器，形成双分支网络模型，同时输出像素预测结果和像素连接性预测结果，然后在像素连接性分支，对共享编码器得到的血管特征均进行连接性特征的转换(Pixel to connectivity，P2C)，最后通过注意力融合模块(Attention fusion module,AFM)进一步将像素连接性以注意力形式增强血管分割，使得两个任务互相融合促进，提高整体血管分割的效果。
[0032]在步骤S1内，对视网膜图像内每一个像素与其周围3x3范围内的相邻像素构建连接关系，得到连接性矩阵，具体地讲，像素连接性是对输入图像预测其每个像素和周围像素之间的连接关系，如图3所示，对于图像大小HxW，将每个像素和其周围3x3范围内的相邻像素构建连接关系，可以得到HxWx8的连接性矩阵，本专利技术将像素对的连接性，即相邻的两个像素关系，分为两类：都是血管为类别1，否则为类别2(即两个像素中至少1个是背景)，基于此，图3中以图像的血管标签为例，可以通过图像的血管标签(HxWx1)生成图像的连接性标签(HxWx8)，为像素之间的连接性预测提供了训练目标；也就是说，图3中对每个像素的周围像素以顺时针排列，即每个像素和左上角像素的关系得到连接性标签中的C1，每个像素和其下方的像素的关系得到连接性标签中的C6，若当前像素和其邻域第n个像素都是血管，则在连接性标签中对应位置的Cn的标签则为1，否则为0。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.融合像素连接性的视网膜血管分割方法，其特征在于，包括如下步骤：步骤S1、对输入的视网膜图像进行血管分割，形成血管分割模型，从而输出像素预测结果，同时对视网膜图像内每一个像素与其相邻像素构建连接关系，形成连接性预测模型，输出像素连接性预测结果；步骤S2、将连接性预测模型中网络像素特征图进行连接性特征的转换；步骤S3、通过注意力模块将像素预测结果和像素连接性预测结果以注意力形式融合增强。2.根据权利要求1所述的融合像素连接性的视网膜血管分割方法，其特征在于，在步骤S1内，对视网膜图像内每一个像素与其周围3x3范围内的相邻像素构建连接关系，得到连接性矩阵。3.根据权利要求2所述的融合像素连接性的视网膜血管分割方法，其特征在于，在步骤S2内，对于连接性预测模型中网络像素特征图，以顺时针顺序检索其每个像素的第i个邻域像素得到第i个相邻像素的特征图，通过补零实现同样的特征图大小，网络像素特征图与第i个相邻像素的特征图构成一对像素特征图对。4.根据权利要求3所述的融合像素连接性的视网膜血管分割方法，其特征在于，将网络像素特征图与第i个相邻像素的特征图在通道上串联，则得到第i个连接性特征图。...

【专利技术属性】
技术研发人员：袁韵怡，张英奎，王琼，钱银玲，廖祥云，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：