结合深度可分离卷积与通道加权的FCN视网膜图像血管分割制造技术

本发明专利技术涉及一种结合深度可分离卷积与通道加权的FCN视网膜图像血管分割方法，包括：1)对眼底图像的绿色通道进行CLAHE及Gamma校正以增强对比度；2)为了适应网络训练，对增强后的图像进行分块以扩充数据；3)以深度可分离卷积代替标准的卷积方式以增加网络宽度，同时引入通道加权模块，以学习的方式显式地建模特征通道的依赖关系，提高特征的可分辨性。将二者结合应用于FCN网络中，以专家手动标识结果作为监督在DRIVE数据库进行实验。结果表明，该方法可以实现较为精确的视网膜图像血管分割，并且具有较高的鲁棒性。

FCN image segmentation based on depth separable convolution and channel weighting

The present invention relates to a vascular segmentation method for FCN retinal images, which combines depth-separable convolution with channel weighting. The method comprises: 1) CLAHE and Gamma correction for green channels of fundus images to enhance contrast; 2) segmentation of enhanced images to expand data for adapting to network training; 3) depth-separable convolution. Instead of the standard convolution method, the network width is increased, and the channel weighting module is introduced to explicitly model the dependency of feature channels in a learning way, so as to improve the distinguishability of features. The combination of the two methods is applied to FCN network, and the result of expert manual identification is used as supervisor in DRIVE database for experiment. The results show that this method can achieve more accurate retinal image vascular segmentation, and has high robustness.

【技术实现步骤摘要】
结合深度可分离卷积与通道加权的FCN视网膜图像血管分割
本专利技术涉及一种结合深度可分离卷积与通道加权的FCN视网膜图像血管分割方法，在灵敏度、特异性以及准确性方面比现有技术较优，具有很好的分割性能，属于医学图像处理、深度学习领域。
技术介绍
研究表明，糖尿病视网膜病变、动脉硬化、白血病等疾病都会对眼底血管产生影响，导致其长度、宽度、角度的变化以及血管增生。临床上经常通过眼底视网膜图像对疾病进行筛查、分析和诊断。因此，为了对疾病进行定量分析，眼底血管分割成为视网膜相关工作中的关键步骤，对人类疾病的诊断有着指导意义，是科学造福人类的体现。眼底图像血管分割问题已被广泛关注，目前存在一些难点：(1)对于存在组织损伤的病理图片，其中的病变区域对血管的分割起到很大的干扰作用；(2)在有些眼底图片中，血管的中心线呈现高亮状态，类似拍照反光现象，这种现象对血管分割也造成了一定的难度；(3)眼底图像中微细血管与背景的低对比度给毛细血管的识别带来了困难。传统的眼底图像血管分割方法有很多种，但是存在很多弊端。人工手动的分割方法依赖操作者的技术经验，受主观因素较大，重复性低，效率也较低；无监督的分割方法不需要先验标记信息，但是对于存在组织损伤的病理图片分割效果较差；有监督的方法主要基于提取的特征训练分类器以达到识别血管与非血管的目的，但是对于特征训练分类器的要求很高，并且需要大量的预先分割好的视网膜血管图像作为训练样本来保证模型的精确度，对医学图像要求比较高。近年来，深度学习算法取得了重大突破，通过组合浅层特征形成抽象的深层特征，并据此发现数据的分布式特征。FCN这种结构的提出使得图像级别的分类进一步延伸到像素级别的分类，且与采用图像块分类方法相比，提高了处理速度。
技术实现思路
本专利技术提出了一种结合深度可分离卷积与通道加权的FCN视网膜图像血管分割方法，以深度可分离卷积代替标准的卷积方式，同时考虑到特征通道之间的相互依赖关系，引入通道加权模块，将其嵌入FCN网络结构中进行训练，得到具有更好的特征分辨性的网络模型。本专利技术的技术方案，包括下列步骤：步骤1：以DRIVE库眼底视网膜图像为实验对象，对图像的绿色通道采用CLAHE和Gamma校正增强对比度；步骤2：对步骤1中增强后的眼底视网膜图像进行分块实现数据扩充；步骤3：在U-net网络部分结构的基础上，以深度可分离卷积代替标准的卷积方式，增加网络的宽度。同时，在每个跳跃式连接处引入一个通道加权模块，以学习的方式自动获取每个特征通道的重要程度，并依照重要程度自适应地调整各通道的特征响应，完成通道特征的重新标定。步骤4：以训练好的分割模型对测试集图像进行测试，实现图像中血管与背景二分。与现有技术相比，本专利技术的有益效果是：本专利技术在少量数据的基础上进行有监督的学习，避免了复杂的图像处理过程。在灵敏度、特异性以及准确性上相比现有技术较优，而且AUC达到了0.98，说明本专利技术有很好的分割性能。另外，对于一些病理图像，也能较好的分割出细小血管；由于背景差异造成的血管不连续，也能分割出一部分血管。相对于专家标记结果，特异性和准确性都比较高，因此本专利技术对于病理图也有较好的分割结果。附图说明图1总体框架示意图，即摘要附图；图2原始图像预处理结果图；图2(a)原始图像；图2(b)绿色通道图像；图2(c)CLAHE结果；图2(d)Gamma校正结果；图3增强后图像patches和GroundTruth图像patches，第一行是增强后图像patch，第二行是对应的GroundTruth图像patch；图4Depthwiseseparable卷积示意图；图5SE模块结构图；图6结合深度可分离卷积与通道加权的FCN网络结构图。具体实施方式下面结合具体实施方式对本专利技术作进一步详细地描述。本专利技术的总体框架示意图如图1所示，首先对DRIVE库的部分图像进行预处理以增强对比度；然后对预处理后的图像进行数据扩充以适应网络训练的数据规模；接着，以深度可分离卷积代替标准的卷积方式，同时考虑到特征通道之间的相互依赖程度，引入通道加权模块，将其嵌入FCN网络结构中进行训练，这样就形成了改进的FCN网络，进而进行训练并得到网络模型；最后，以专家手动标识结果作为金标准测试网络模型的分割性能。下面结合附图，对本专利技术技术方案的具体实施过程加以说明。1.实验对象本专利技术的眼底图像数据集包括公开数据库DRIVE库和视网膜结构化分析库(StructuredAnalysisoftheRetina，STARE)。DRIVE库包括40张彩色眼底图像，训练集和测试集各20张图像，图像尺寸为565×584(单位为像素)，每张图像都配有显示有效区域的二值图像mask。训练集中相应地还包括第一专家标注的眼底血管二值图，测试集中包括第一专家和第二专家标注的眼底血管二值图。通常将一组标注图作为金标准，另外一组用于与其他方法进行比较。进行手动标注的专家均是由经验丰富的眼科医生进行指导和训练的。STARE库中有20幅图像含有对应的第一专家(AdamHoover)和第二专家(ValentinaKouznetsova)标注结果，图像尺寸为700×605。2.图像预处理2.1图像增强图像增强算法旨在提升图片质量，使图像在内容上更加清晰。为了加快网络训练速度，本专利技术选取DRIVE库眼底视网膜图像对比度较高的绿色通道进行处理。由于光照不均衡以及拍照过程中眼部的移动，导致图像质量不佳，为了使网络尽快收敛，故对绿色通道图像进行了归一化操作。之后采用CLAHE对归一化的图像进行处理，实现自适应直方图均衡化和对比度限幅，提高视网膜图像血管的对比度和清晰度。最后对CLAHE的结果进行Gamma校正，提高图像的动态范围，实现对比度拉伸，增强图像对比度。原始图像预处理结果如图2所示。2.2数据扩充数据规模对训练网络的性能影响很大，由于视网膜图像比较少，标注工作耗时耗力，而且视网膜图像血管宽度由一个像素到十几个像素变化，因此，本专利技术提出的网络训练是基于图像块即patch的处理。以DRIVE库中训练集20幅图像为样本，对增强后的每幅图像中提取48×48的图像patch，每幅图像提取10000幅图像patch。相应地，GroundTruth图像也进行同样的patch提取操作。图像patch如图3所示。3结合深度可分离卷积与通道加权的FCN3.1深度可分离卷积卷积层的主要作用是特征提取，标准的卷积将三维的卷积核作用在一组特征图上，需要同时学习空间上的相关性和通道间的相关性。深度可分离卷积(Depthwiseseparableconvolution)在执行空间卷积的同时，保持通道之间分离，然后按照深度方向进行卷积。如图4所示，首先执行深度卷积(Depthwiseconvolution)，即输入的每个通道独立执行空间卷积，然后执行1×1卷积(Pointwiseconvolution)，将深度卷积的通道输出映射到新的通道空间。标准卷积同时学习空间信息及通道间的相关性，然后对输出进行非线性激活；深度可分离卷积首先进行深度卷积，增加了网络的宽度，使得特征提取更加丰富，然后直接进行1×1卷积，对1×1卷积结果进行非线性激活。在参数量方面，假设有一个3×3大小的卷积核，其输入通道为4，输出通道为本文档来自技高网...

【技术保护点】
1.一种结合深度可分离卷积与通道加权的FCN视网膜图像血管分割方法，包括下列步骤：步骤1：对DRIVE库的部分眼底视网膜图像的绿色通道进行CLAHE及Gamma校正以增强对比度；步骤2：对步骤1中预处理后的图像进行数据扩充以适应网络训练的数据规模，并构建眼底视网膜图像数据集；步骤3：以深度可分离卷积代替标准的卷积方式，同时考虑到特征通道之间的相互依赖关系，引入通道加权模块，将其嵌入FCN网络结构中形成改进的FCN网络；步骤4：将步骤2中得到的眼底视网膜图像数据集输入改进的FCN网络进行有监督训练，利用训练好的分割模型在测试集进行测试。

【技术特征摘要】
1.一种结合深度可分离卷积与通道加权的FCN视网膜图像血管分割方法，包括下列步骤：步骤1：对DRIVE库的部分眼底视网膜图像的绿色通道进行CLAHE及Gamma校正以增强对比度；步骤2：对步骤1中预处理后的图像进行数据扩充以适应网络训练的数据规模，并构建眼底视网膜图像数据集；步骤3：以深度可分离卷积代替标准的卷积方式，同时考虑到特征通道之间的相互依赖关系，引入通道加权模块，将其嵌入FCN网络结构中形成改进的FCN网络；步骤4：将步骤2中得到的眼底视网膜图像数据集输入改进的FCN网络进行有监督训练，利用训练好的分割模型在测试集进行测试。2.根据权利要求1所述的结合深度可分离卷积与通道加权的FCN视网膜图像血管分割方法，其特征在于，步骤1中，选取DRIVE库眼底视网膜图像对比度较高的绿色通道进行处理，并对绿色通道图像进行归一化操作，之后对其进行CLAHE及Gamma校正以增强对比度。3.根据权利要求1所述的结合深度可分...

【专利技术属性】
技术研发人员：耿磊，高增来，肖志涛，张芳，吴骏，邱玲，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津,12