本发明专利技术公开了一种基于图像先验的细胞图像超分辨方法及其装置，属于计算机视觉和深度学习领域。该方法主要包括以下步骤：拍摄显微镜下的细胞图像；手动标记出三个区域，生成掩膜；生成特征图；提取掩膜；利用图像解码网络生成高分辨率图像；以细胞图像和掩膜作为训练集，训练卷积神经网络；固定网络参数，将训练得到的卷积神经网络，对低分辨率细胞图像进行超分辨。其装置包括：显微图像获取模块、图像预处理模块、图像特征编码模块、图像掩膜提取模块、图像解码模块、神经网络训练模块和细胞超分辨模块。本发明专利技术的细胞图像超分辨方法，充分利用了细胞图像先验知识，大大提高了细胞超分辨的性能，对基于显微图像的病理学诊断有至关重要的意义。
【技术实现步骤摘要】
一种基于图像先验的细胞图像超分辨方法及装置
本专利技术属于医学图像领域，尤其涉及一种基于图像先验的细胞图像超分辨方法和装置。
技术介绍
在显微图像方面，高分辨的显微图像能够帮助医生快速准确地判断细胞病变与否，而且还可以提高人类或计算机程序基于显微图像自动识别疾病的准确率。然而，由于高分辨率相机和高倍数显微镜成本过高，以及地方政策问题，在许多发展中国家仅有部分高水平医院可以做到足够高清(诸如400倍放大倍数)的显微图像，而一些地方医院由于经济条件限制，难以获得如此高倍数的显微图像，这无疑大大限制了当地医院的医疗水平，使得部分来自小城市的患者不得不专程转移至其他城市进行病理诊断。基于这个问题，人们开始提出显微图像超分辨的概念，其中比较成功的方法是荧光标记，通过额外照射一个空心圆荧光，让光电的散射范围更小，突破衍射极限。另一种可能的方法便是通过数字图像超分辨技术来获得边缘更清晰的显微图像。现有的许多基于深度学习的图像超分辨方法都能大幅提高低分辨率图像的清晰度，因此将显微图像进行超分辨处理，即便使用一些低配置的显微成像系统也可以获得足够清晰的图像边缘，以帮助医师准确地进行病理诊断。自2012年开始，得益于卷积神经网络的快速性和高效性，深度学习技术快速发展。越来越多的来自世界各个学校、企业的学者提出了许多基于深度学习的图像超分辨的方法。不少研究人员尝试将超分辨方法用于显微图像超分辨，并在组织切片图像超分辨取得了成功。然而还鲜有人专门对细胞图像进行超分辨。目前细胞显微图像超分辨方法还存在如下问题：首先，绝大多数现有的深度学习超分辨网络都是将一副完整的图像裁剪成许多小尺寸的图像(例如41*41，或19*19)，这样忽略了图像的空间结构信息，对于细胞图像而言，整体结构信息对特征的提取也是至关重要的。其次，大多数超分辨模型都是以最小平方误差(MeanSquareError，MSE)为损失函数进行训练。以MSE作为目标容易使网络返回过于平滑和模糊的边界，导致超分辨效果欠佳。另外，当前研究很少考虑到细胞图像先验信息的应用。一般而言，图像先验能够很好地引导网络训练，使网络更快地收敛，使模型更加鲁棒。
技术实现思路
针对上述现有方法中存在的缺陷，本专利技术的目的在于提供一种基于图像先验的细胞超分辨方法，该方法的模型为一个深度卷积神经网络，可以实现对显微镜细胞图像进行背景、细胞质、细胞核三个区域的分割，并重建成一张拥有更高分辨率、且拥有更清晰的细节的超分辨率图像。本专利技术的另外一个目的是提供实现该方法的装置。实现本专利技术目的的技术解决方案为：一种基于图像先验的细胞图像超分辨方法，包括如下步骤：S1，拍摄显微镜下的细胞图像；S2，对拍摄得到的每张细胞图像手动标记出背景、细胞质和细胞核三种区域，并生成掩膜；S3，利用特征编码网络，以单张细胞图像为输入，逐渐提取图像特征，再将低层次和高层次特征结合起来，生成一个特征图；S4，利用语义分割网络，从输入的单张细胞图像中提取出背景、细胞质和细胞核三种区域的掩膜；S5，将S3获得的细胞图像的特征图和S4提取的掩膜在通道维度上叠加，利用图像解码网络解码并生成高分辨率的细胞图像；S6，以S1拍摄的细胞图像和S2标记得到的掩膜作为训练集，用反向传播算法训练卷积神经网络分割细胞和超分辨细胞图像的能力；S7，经过多次迭代后，固定网络参数，利用训练得到的卷积神经网络对单张未标记掩膜的低分辨率细胞图像直接进行超分辨。本专利技术的一种基于图像先验的细胞图像超分辨的装置，包括：显微图像获取模块，获取细胞原始显微图像；图像预处理模块，对获取的细胞图像进行形态学处理，并提取掩膜；图像特征编码模块，从输入的细胞图像中提取低层特征图；图像掩膜提取模块，从输入的细胞图像中提取背景、细胞质和细胞核三种区域的掩膜；图像解码模块，根据提取的低层特征图和掩膜解码生成超分辨率图像；神经网络训练模块，基于反向传播算法训练神经网络的各种参数；细胞超分辨模块，对未标记掩膜的低分辨率细胞图像进行超分辨。本专利技术和其他超分辨方法的不同之处在于，本专利技术并非对单张低分辨率图像直接进行超分辨，而是通过一个语义分割网络，先从低分辨率的细胞图像中提取出背景、细胞质、细胞核三种区域在图像中对应的位置，进而利用特征编码网络将语义分割信息和低分辨率图像的特征联合起来进行解析，得到一个低层与高层结合的特征图。最后，通过图像解码网络将特征图恢复成一张拥有更高分辨率的图像。本专利技术的显著优点在于：本专利技术充分利用了细胞的细胞质、细胞核先验信息，得到分辨率为2倍、4倍，甚至8倍于原始图像尺寸的高分辨率图像，清晰程度要优于其他绝大多数超分辨率图像方法。实验表明，本专利技术使用的网络结构和训练方法，同样适用于组织图像的超分辨，对基于显微图像的病理学诊断有至关重要的意义。附图说明图1是本专利技术基于图像先验的细胞超分辨方法的流程图。图2是本专利技术基于图像先验的细胞超分辨装置的结构示意图。图3是本专利技术实施例1拍摄的白细胞图像及其掩膜示意图。(a)原始图像；(b)通过软件标注的细胞质和细胞核；(c)根据边界点分割得到的掩膜图。图4是本专利技术实施例1中残差网络ResNet的结构示意图。具体实施方式为使本专利技术的目的，技术方案和优点更加清楚，下面将结合附图对本专利技术实施方法作进一步地详细描述。实施例1本实施例提供了一种基于图像先验的细胞超分辨方法，以白细胞为例，参见图1，具体包括：S1：使用显微镜相机拍摄数百张显微镜下的白细胞图像。为了建立白细胞超分辨网络的训练集，需要利用显微镜采集足够多的白细胞图像。首先从医院的血液库中采集若干健康个体和病患的少量血液，制作成血液涂片。接着利用奥林巴斯CX31显微镜和奥林巴斯DP27显微相机拍摄血液涂片，每张图像的分辨率能够达到百万级像素。由于图像中的白细胞间隔距离较红细胞而言较大，因此可以用简单的目标检测软件将每个白细胞裁剪出来，单独变成一张白细胞图像，可见图3左侧图。S2：对拍摄得到的每张白细胞图像手动标记出背景、细胞质、细胞核三种区域，并提取掩膜。该步骤的掩膜提取主要是通过图像标注软件LabelMe实现的。通过在细胞质、细胞核边缘均匀地标注点，将这些点看做多边形顶点生成一个凸多边形，便能完好地划分背景、细胞质、细胞核三种区域。最后，对这三种区域进行编码，使之转换成对应的颜色(本实施例中，背景编码为黑色，RGB值为0,0,0；细胞质编码为红色，RGB值为0,255,0；细胞核编码为蓝色，RGB值为0,0,255)，效果图可见图3。S3：利用卷积神经网络，以单张白细胞图像为输入，逐渐提取图像特征，再将低层次和高层次特征结合起来，生成一个特征图。假设给定的低分辨率图像为ILR，通过算法重建的超分辨率图像为ISR＝f(ILR)，期望的高分辨率图像为ISR。从IHR到ILR的过程可以通过简单的降采样实现，但其逆过程往往是不可逆的，分辨率从低到高有着无数多个解，ISR不可能完全等于IHR。通过合理设计卷积神经网络，可以使得到的超分辨率图像ISR＝f(ILR)尽可能接近IHR。现有的深度学习超分辨方法可以分解为3个步骤：图像编码，非线性映射和图像解码。三个步骤都是通过卷积神经网络和其他技巧作为辅助来实现的。该步骤主要是图像编码的实现。假设图像编码的卷积神经网络为C1(x|θ1)本文档来自技高网...
【技术保护点】
1.一种基于图像先验的细胞图像超分辨方法，其特征在于，包括如下步骤：S1，拍摄显微镜下的细胞图像；S2，对拍摄得到的每张细胞图像手动标记出背景、细胞质和细胞核三种区域，并生成掩膜；S3，利用特征编码网络，以单张细胞图像为输入，逐渐提取图像特征，再将低层次和高层次特征结合起来，生成一个特征图；S4，利用语义分割网络，从输入的单张细胞图像中提取出背景、细胞质和细胞核三种区域的掩膜；S5，将S3获得的细胞图像的特征图和S4提取的掩膜在通道维度上叠加，利用图像解码网络解码并生成高分辨率的细胞图像；S6，以S1拍摄的细胞图像和S2标记得到的掩膜作为训练集，用反向传播算法训练卷积神经网络分割细胞和超分辨细胞图像的能力；S7，经过多次迭代后，固定网络参数，利用训练得到的卷积神经网络对单张未标记掩膜的低分辨率细胞图像直接进行超分辨。
【技术特征摘要】
1.一种基于图像先验的细胞图像超分辨方法，其特征在于，包括如下步骤：S1，拍摄显微镜下的细胞图像；S2，对拍摄得到的每张细胞图像手动标记出背景、细胞质和细胞核三种区域，并生成掩膜；S3，利用特征编码网络，以单张细胞图像为输入，逐渐提取图像特征，再将低层次和高层次特征结合起来，生成一个特征图；S4，利用语义分割网络，从输入的单张细胞图像中提取出背景、细胞质和细胞核三种区域的掩膜；S5，将S3获得的细胞图像的特征图和S4提取的掩膜在通道维度上叠加，利用图像解码网络解码并生成高分辨率的细胞图像；S6，以S1拍摄的细胞图像和S2标记得到的掩膜作为训练集，用反向传播算法训练卷积神经网络分割细胞和超分辨细胞图像的能力；S7，经过多次迭代后，固定网络参数，利用训练得到的卷积神经网络对单张未标记掩膜的低分辨率细胞图像直接进行超分辨。2.根据权利要求1所述的一种基于图像先验的细胞图像超分辨方法，其特征在于，所述步骤S2中，手动标记的具体方法为：利用LabelMe软件，将细胞图像中细胞质和细胞核的区域均匀标注点，再以这些标注点作为顶点，利用opencv视...
【专利技术属性】
技术研发人员：曹汛，蔡悦，闫锋，华夏，夏永泉，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。