一种多尺度串行的卷积深度学习显微图像分割方法技术

一种多尺度串行的卷积深度学习显微图像分割方法，包括以下步骤：步骤S1、获取环境微生物显微图像，对图像进行灰度化处理；步骤S2、将灰度化处理后的图像输入预先训练的MIaMIA‑Net模型，输出图像分割结果；MIaMIA‑Net模型为基于Inception结构和U‑Net结构的一种以串行卷积操作获取多尺度卷积核共同作用效果的神经网络模型。在提高对于多尺度目标适应性的同时降低了模型的参数量及内存占用，并且对环境微生物显微图像的分割精度高。

A Multi-scale Serial Convolutional Depth Learning Microscopic Image Segmentation Method

【技术实现步骤摘要】
一种多尺度串行的卷积深度学习显微图像分割方法
本专利技术涉及显微图像处理
，尤其涉及一种多尺度串行的卷积深度学习显微图像分割方法。
技术介绍
现有技术中常采用U-Net卷积神经网络深度学习算法对环境微生物显微图像进行图像分割处理。U-Net结构包括收缩路径的U-Net下采样结构和扩展路径的U-Net上采样结构。现有中，U-Net下采样结构包括交替进行的下采样卷积操作和2×2最大池化操作，U-Net下采样结构以环境显微图像作为输入，以最后一次下采样卷积操作后获得的特征图作为输出；下采样卷积操作为两次3×3卷积，卷积操作后特征图的长度由卷积核的个数决定，池化操作后特征图的宽和高会缩小为原来的1/2。比如连续经过5组卷积和4次池化操作后，256×256×1的输入图片变为16×16×1024的特征图。U-Net上采样结构包括连续的上采样单元操作，上采样单元操作包括依次进行的上采样操作、复制拼接操作和上采样卷积操作；U-Net上采样结构以U-Net下采样结构输出的特征图为输入；复制拼接操作为复制下采样卷积操作后特征图，并与对应的上采样操作后特征图拼接，获得拼接特征图，上采样卷积操作为两次3×3卷积，卷积操作后特征图的长度由卷积核的个数决定，上采样操作后特征图的宽和高会扩大为原来的2倍。比如，连续经过4次上采样操作和4组卷积后，16×16×1024的特征图变为256×256×64的特征图，最后通过1×1大小的1个卷积核得到256×256×1的分割结果。由于不同类别微生物形状上的差异和微生物显微图片拍摄条件的不同，微生物图片存在分割目标尺寸不一的问题；U-Net每一层有2个3×3大小的卷积核进行卷积操作，因此，U-Net对于不同尺度的目标的适应性较差。当环境微生物显微图像的背景较复杂时，U-Net模型对于噪声的消除能力有限，分割得到的结果表现较差。U-Net模型在训练过程中十分容易陷入局部极值点，导致loss无法下降，训练失败，训练模型无法使用。并且U-Net模型参数量大，内存占用多。
技术实现思路
(一)要解决的技术问题为了解决现有技术的上述问题，本专利技术提供了一种多尺度串行的卷积深度学习显微图像分割方法。在提高对于多尺度目标适应性的同时降低了模型的参数量及内存占用，并且对环境微生物显微图像的分割精度高。(二)技术方案为了达到上述目的，本专利技术采用的主要技术方案包括：一种多尺度串行的卷积深度学习显微图像分割方法，包括以下步骤：步骤S1、获取环境微生物显微图像，对图像进行灰度化处理。步骤S2、将灰度化处理后的图像输入预先训练的MIaMIA-Net模型，输出图像分割结果；MIaMIA-Net模型为基于Inception结构和U-Net结构的一种以串行卷积操作获取多尺度卷积核共同作用效果的神经网络模型。作为本专利技术方法的一种改进，MIaMIA-Net模型包括MIaMIA-Net下采样结构和MIaMIA-Net上采样结构。MIaMIA-Net下采样结构包括交替进行的下采样卷积操作和2×2最大池化操作，下采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n层下采样3×3卷积操作，下采样第m卷积层中3×3卷积核数量为下采样第一卷积层中3×3卷积核数量的m倍；将1×1卷积操作结果和下采样每一层3×3卷积操作结果进行拼接处理后输出。MIaMIA-Net上采样结构包括连续的上采样单元操作，上采样单元操作包括依次进行的2×2上卷积操作、复制拼接操作和上采样卷积操作；上采样卷积操作具体为：输入特征图进行1×1卷积操作；输入特征图连续进行n层上采样3×3卷积操作，上采样第m卷积层中3×3卷积核数量为上采样第n卷积层中3×3卷积核数量的n-m+1倍；将1×1卷积操作结果和上采样每一层3×3卷积操作结果进行拼接处理后输出。作为本专利技术方法的一种改进，MIaMIA-Net模型包括MIaMIA-Net下采样结构和MIaMIA-Net上采样结构。MIaMIA-Net下采样结构包括交替进行的下采样卷积操作和2×2最大池化操作，下采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n组下采样卷积单元操作，下采样卷积单元操作包括依次进行的3×1卷积操作和1×3卷积操作，第m组下采样卷积单元中3×1卷积核数量为第一组下采样卷积单元中3×1卷积核数量的m倍，第m组下采样卷积单元中1×3卷积核数量为第一组下采样卷积单元中1×3卷积核数量的m倍；将1×1卷积操作结果和每一组下采样卷积单元操作结果进行拼接处理后输出。MIaMIA-Net上采样结构包括连续的上采样单元操作，上采样单元操作包括依次进行的2×2上卷积操作、复制拼接操作和上采样卷积操作；上采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n组上采样卷积单元操作，上采样卷积单元操作包括依次进行的3×1卷积操作和1×3卷积操作，第m组上采样卷积单元中3×1卷积核数量为第n组上采样卷积单元中3×1卷积核数量的n-m+1倍，第m组上采样卷积单元中1×3卷积核数量为第n组上采样卷积单元中1×3卷积核数量的n-m+1倍；将1×1卷积操作结果和每一组上采样卷积单元操作结果进行拼接处理后输出。作为本专利技术方法的一种改进，n和m均为整数，且1<n<5，0<m<n+1。作为本专利技术方法的一种改进，n等于3。作为本专利技术方法的一种改进，MIaMIA-Net下采样结构包括5组下采样卷积操作，MIaMIA-Net上采样结构包括4组上采样卷积操作。5组下采样卷积操作均包括3组下采样卷积单元操作，第一组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为12，第二组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为24，第三组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为48，第四组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为96，第五组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为192。4组上采样卷积操作均包括3组上采样卷积单元操作，第一组上采样卷积操作中第一组上采样卷积单元的3×1卷积核数量和1×3卷积核数量均为288，第二组上采样卷积操作中第一组上采样卷积单元的3×1卷积核数量和1×3卷积核数量均为144，第三组上采样卷积操作中第一组上采样卷积单元的3×1卷积核数量和1×3卷积核数量均为72，第四组上采样卷积操作中第一组上采样卷积单元的3×1卷积核数量和1×3卷积核数量均为36。作为本专利技术方法的一种改进，下采样卷积操作和上采样卷积操作中，每一次卷积操作后都进行正则化操作。(三)有益效果本专利技术的有益效果是：1、本专利技术方法提高了对环境微生物显微图像的分割精度。2、本专利技术总体结构结合了U-Net卷积与反卷积、端对端的思想，减少了浅层信息的丢失。在卷积操作中结合InceptionV3结构中利用3×1卷积核与1×3卷积核叠加获得3×3卷积核的设计理念，利用拼接操作引入串行结构取代了Inception中并行结构获取不同卷积核(3×3、5×5、7×7)共同作用的效果，在提高对于多尺度目标适应本文档来自技高网...

【技术保护点】
1.一种多尺度串行的卷积深度学习显微图像分割方法，其特征在于，包括以下步骤：步骤S1、获取环境微生物显微图像，对所述图像进行灰度化处理；步骤S2、将灰度化处理后的图像输入预先训练的MIaMIA‑Net模型，输出图像分割结果；所述MIaMIA‑Net模型为基于Inception结构和U‑Net结构的一种以串行卷积操作获取多尺度卷积核共同作用效果的神经网络模型。

【技术特征摘要】
1.一种多尺度串行的卷积深度学习显微图像分割方法，其特征在于，包括以下步骤：步骤S1、获取环境微生物显微图像，对所述图像进行灰度化处理；步骤S2、将灰度化处理后的图像输入预先训练的MIaMIA-Net模型，输出图像分割结果；所述MIaMIA-Net模型为基于Inception结构和U-Net结构的一种以串行卷积操作获取多尺度卷积核共同作用效果的神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述MIaMIA-Net模型包括MIaMIA-Net下采样结构和MIaMIA-Net上采样结构；所述MIaMIA-Net下采样结构包括交替进行的下采样卷积操作和2×2最大池化操作，所述下采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n层下采样3×3卷积操作，下采样第m卷积层中3×3卷积核数量为下采样第一卷积层中3×3卷积核数量的m倍；将1×1卷积操作结果和下采样每一层3×3卷积操作结果进行拼接处理后输出；所述MIaMIA-Net上采样结构包括连续的上采样单元操作，上采样单元操作包括依次进行的2×2上卷积操作、复制拼接操作和上采样卷积操作；所述上采样卷积操作具体为：输入特征图进行1×1卷积操作；输入特征图连续进行n层上采样3×3卷积操作，上采样第m卷积层中3×3卷积核数量为上采样第n卷积层中3×3卷积核数量的n-m+1倍；将1×1卷积操作结果和上采样每一层3×3卷积操作结果进行拼接处理后输出。3.根据权利要求1所述的方法，其特征在于，所述MIaMIA-Net模型包括MIaMIA-Net下采样结构和MIaMIA-Net上采样结构；所述MIaMIA-Net下采样结构包括交替进行的下采样卷积操作和2×2最大池化操作，所述下采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n组下采样卷积单元操作，所述下采样卷积单元操作包括依次进行的3×1卷积操作和1×3卷积操作，第m组下采样卷积单元中3×1卷积核数量为第一组下采样卷积单元中3×1卷积核数量的m倍，第m组下采样卷积单元中1×3卷积核数量为第一组下采样卷积单元中1×3卷积核数量的m倍；将1×1卷积操作结果和每一组下采样卷积单元操作结果进行拼接处理后输出；所述MIaMIA...

【专利技术属性】
技术研发人员：李晨，张敬华，李宏，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21