一种基于边界引导深度学习的图像分割算法制造技术

一种基于边界引导深度学习的图像分割算法，通过设计三个不同的卷积模块和两个不同的子网络，对经典的U‑Net网络进行改进，从而构建一个具有边界引导特性的图像分割网络，执行图像中兴趣目标及其边界的同时提取，本发明专利技术可用于图像分割任务中，并且能够获得相对较高的分割精度，可为目标空间定位，病灶探测及其形态量化提供重要理论支撑。

【技术实现步骤摘要】
一种基于边界引导深度学习的图像分割算法
本专利技术涉及图像分割与处理
，具体涉及一种基于边界引导深度学习的图像分割算法。
技术介绍
图像分割是一个从图像中探测并提取兴趣目标的处理技术，其通过分析图像不同区域具有的灰度分布特性、组织对比度、以及组织之间的关联性，实现兴趣目标的有效分割。这种处理技术能够辅助图像的理解与分析、病灶的探测与定位，以及病灶区域的形态测量等任务中，因而具有十分重要的临床诊断价值和学术研究意义。为准确执行图像分割，大量的分割算法被开发出来，并被粗略地分为无监督(unsupervised)和有监督(supervised)的分割算法。(a)无监督分割算法主要根据图像自身的灰度分布特性和组织对比度等信息，通过形态学操作或阈值法等传统的计算机视觉技术，执行兴趣目标的探测与提取。这类算法通常具有较高的计算效率，能够有效分割成像质量好的图像。然而，它们无法有效处理具有较弱组织对比度，严重成像伪影或噪声的图像。特别地，这些算法往往涉及较多的依靠经验赋值的参数，无法大规模处理不同成像条件的图像而具有有限的应用价值。(b)有监督分割算法在图像处理中一般需要人工的干预，通过选择适当的特征信息或者手工标注，执行兴趣区域的分割。这类算法由于特征信息的使用，能够在一定程度上降低伪影或噪声等不利成像条件的影响，从而优于无监督的图像分割算法。然而，特征信息的获取需要大量的背景知识，并且获取的信息可能与兴趣目标具有较弱的关联性，从而影响算法的分割性能。为了自动探测图像中的各种特征信息，基于深度学习的监督分割算法在近几年得到了广泛的关注。这些基于深度学习的算法中，U-Net是较为流行的一个分割网络，被大量应用于各种医学图像的分割任务中，并能够获得较高的分割性能。然而，这种U型分割网络无法有效凸显与兴趣目标密切相关的特征信息，且容易丢失某些关键的图像信息，从而在目标的边界区域具有相对较低的分割精度。为了改善U-Net网络在边界区域的分割性能，就需要设计合适的卷积模块和网络架构，执行目标及其边界的准确分割。作为一个经典的分割网络，U-Net虽然能获得较好的分割性能，但是在某些情况下具有有限的边界探测精度。这主要因为(a)U-Net网络对编码卷积特征无差别地进行解码处理，不仅容易受到不相关的冗余特征的干扰，而且导致关键的目标特征在分割中具有较低的作用权重；(b)分割网络多次使用图像下采样操作，极大降低了图像的分辨率，导致大量结构纹理的丢失，引发目标边界的模糊。这些不足导致U-Net网络无法有效处理目标的边界区域，尤其是输入图像存在较弱的组织对比度，严重的成像伪影或噪声等现象的时候。为了克服U-Net网络存在的不足，便需要设计合适的深度学习网络，通过对相邻两个卷积层之间的特征信息进行必要的处理，突显图像中与兴趣目标密切相关的边界信息，提升分割网络对目标边界的探测敏感性，实现目标及其边界的同时准确分割。
技术实现思路
为了解决现有技术存在的技术缺陷，特别是针对图像存在较低的组织对比度，严重的成像伪影或噪声等现象时的分割处理的问题，本专利技术提供了一种基于边界引导深度学习的图像分割算法。本专利技术采用的技术解决方案是：一种基于边界引导深度学习的图像分割算法，包括以下步骤：(1)根据传统边界探测算法，构建三个不同的卷积模块，即编码卷积模块、解码卷积模块、以及边界意识卷积模块，实现输入图像中目标卷积特征和边界卷积特征的探测；(2)将三种不同的卷积模块整合到经典的U型网络中，构造两个不同的网络分支，分别为目标提取子网络和边界探测子网络，利用它们执行兴趣目标及其边界的准确提取；(3)有效整合上述两个子网络中的卷积特征，实现边界卷积特征引导的图像分割。所述的步骤(1)具体为：基于传统边界探测算法，将编码卷积模块和解码卷积模块整合到经典的U-Net网络中，用于替换该网络在图像编码和特征解码过程中使用的单一卷积模块，从而构建一个目标提取子网络(OES)，该网络和U-Net在网络架构上保持一致，实现目标和边界卷积特征的分别提取，以及兴趣目标的分割，将目标提取子网络中获取的边界卷积特征输入到边界意识卷积模块中，同样以U型网络架构的形式构建一个新的边界探测子网络(EDS)，执行兴趣目标对应边界的提取。所述的将目标提取子网络中获取的边界卷积特征输入到边界意识卷积模块中，同样以U型网络架构的形式构建一个新的边界探测子网络的步骤为：根据U-Net网络中解码卷积模块的结构，需要对不同的编码卷积特征进行串联处理，然后利用多个卷积层对串联结果进行卷积和作差操作，从而得到一个用于提取目标区域的解码卷积模块和一个用于探测目标边界的边界意识卷积模块。所述的步骤(2)具体为：将上述编码卷积模块和解码卷积模块整合到U型网络结构中，可以构建一个目标提取子网络，用于提取指定的目标区域。将编码卷积模块和边界意识卷积模块整合到U型网络结构中，可构建一个边界探测子网络，用于探测目标区域对应的边界，两个子网络分别用于目标和边界卷积特征的解码处理，实现输入图像到兴趣目标及其对应边界的分割。所述的步骤(3)具体为：将编码卷积模块的探测的目标和边界卷积特征、边界意识卷积模块输出的解码卷积特征、以及上采样操作的输出结果四种特征信息输入到解码卷积模块中，通过基于图像通道的串联操作实现各种不同种类的特征信息的整合，然后使用三个相同卷积层,即Conv3×3→BN→ReLU，一个基于元素的减法运算和一个基于图像通道的串联操作，执行特征信息的解码处理。逐层级地执行两个子网络输出结果之间的整合与解码，便可以构建一个基于边界引导的图像分割网络。本专利技术的有益效果是：本专利技术提供了一种基于边界引导深度学习的图像分割算法，通过设计三个不同的卷积模块和两个不同的子网络，对经典的U-Net网络进行改进，从而构建一个具有边界引导特性的图像分割网络，执行图像中兴趣目标及其边界的同时提取，本专利技术可用于图像分割任务中，并且能够获得相对较高的分割精度，可为目标空间定位，病灶探测及其形态量化提供重要理论支撑。附图说明图1是本专利技术的流程图。图2是本专利技术中拟设计的一种边界引导的图像分割网络。图3是本专利技术中受传统边界探测算法启发而设计的三个不同的卷积模块，从上到下分别为编码卷积模块，解码卷积模块，边界意识卷积模块。图4是本专利技术针对角膜OCT图像进行分割后的结果，第1-2列分别为待分割的原始图像及其对应的手工标注结果，第3-6列分别为U-Net、M-Net、Deeplabv3、以及拟设计网络对应的分割结果。图5是本专利技术中拟设计的分割网络获取的目标边界，其中，第1和3列为手工标注的目标边界，第2和4为分割网络获取的目标边界。具体实施方式设计思路：卷积模块的设计(1)现有基于深度学习的图像分割网络(如U-Net)通常使用较为简单的卷积模块实现输入图像中各种卷积特征的提取。这些卷积模块通常由两个相同的卷积层(convolutionallayer)构成，每个卷积层由深度学习领域中三个基本的操作模块组成，即3×本文档来自技高网...

【技术保护点】
1.一种基于边界引导深度学习的图像分割算法，其特征在于，包括以下步骤：/n(1)根据传统边界探测算法，构建三个不同的卷积模块，即编码卷积模块、解码卷积模块、以及边界意识卷积模块，实现输入图像中目标卷积特征和边界卷积特征的探测；/n(2)将三种不同的卷积模块整合到经典的U-NET网络中，构造两个不同的网络分支，分别为目标提取子网络和边界探测子网络，利用上述两个子网络执行兴趣目标及其边界的准确提取；/n(3)有效整合上述两个子网络中的卷积特征，实现边界卷积特征引导的图像分割。/n

【技术特征摘要】
1.一种基于边界引导深度学习的图像分割算法，其特征在于，包括以下步骤：
(1)根据传统边界探测算法，构建三个不同的卷积模块，即编码卷积模块、解码卷积模块、以及边界意识卷积模块，实现输入图像中目标卷积特征和边界卷积特征的探测；
(2)将三种不同的卷积模块整合到经典的U-NET网络中，构造两个不同的网络分支，分别为目标提取子网络和边界探测子网络，利用上述两个子网络执行兴趣目标及其边界的准确提取；
(3)有效整合上述两个子网络中的卷积特征，实现边界卷积特征引导的图像分割。


2.根据权利要求1所述的一种基于边界引导深度学习的图像分割算法，其特征在于，所述的步骤(1)具体为：基于传统边界探测算法，将编码卷积模块和解码卷积模块整合到经典的U-Net网络中，用于替换该网络在图像编码和特征解码过程中使用的单一卷积模块，从而构建一个目标提取子网络(OES)，该网络和U-Net在网络架构上保持一致，实现目标和边界卷积特征的分别提取，以及兴趣目标的分割，将目标提取子网络中获取的边界卷积特征输入到边界意识卷积模块中，同样以U-NET网络架构的形式构建一个新的边界探测子网络(EDS)，执行兴趣目标对应边界的提取。


3.根据权利要求2所述的一种基于边界引导深度学习的图像分割算法，其特征在于，所述的将目标提取子网络中获取的边界卷积特征输入到边界意识卷积模块中，同样以U-NET网络架构...

【专利技术属性】
技术研发人员：王雷，沈梅晓，常倩，施策，陈浩，
申请(专利权)人：温州医科大学附属眼视光医院，
类型：发明
国别省市：浙江;33