一种基于迁移学习的癌组织图像细胞核分割方法技术

本发明专利技术公开了一种基于迁移学习的癌组织图像细胞核分割方法。先对图像作数据预处理，得到数据规模增大且图像色彩归一化、尺寸为256*256的图像，然后将图像送到VCRNet网络中进行若干次训练，在训练的过程中只保存验证集损失最小的权重文件，最后在MoNuSeg测试集上,先对图像做颜色归一化，再将图像输入模型中进行测试，得到细胞核的分割结果，本发明专利技术中，基于Unet搭建了VCRNet模型。VCRNet模型以Vgg16

【技术实现步骤摘要】
一种基于迁移学习的癌组织图像细胞核分割方法


[0001]本专利技术属于癌组织图像处理
，具体为一种基于迁移学习的癌组织图像细胞核分割方法。

技术介绍

[0002]随着近年来全球每年有上千万人死于癌症，且死亡人数逐年攀升，癌症已成为导致人类死亡的极其严重的疾病之一。癌细胞与正常细胞的差异是细胞核的结构不同。癌症传统的病理切片分析方法，是病理医师直接通过观察显微镜下的切片来分析诊断。随着医学影像技术和计算机视觉的发展，数字病理学分析成为了计算机辅助诊断的研究热点。对于癌组织病理图像细胞核，相较于人类的观察分析，使用计算机实现准确的病理图像细胞核自动化分割可使癌症的筛查、诊断、治疗和预后等方面更加快速、准确。但这项任务存在若干项难点。第一，对癌组织病理切片进行常规染色后，图像对比度、色彩均发生变化，这在计算机提取图像特征时造成了较大的干扰；第二，图像中的细胞核间粘连、重叠等问题，易导致细胞核过分割或欠分割；最后，设计一种算法来分割多种不同外观的癌种的细胞核并获得令人满意的精度较为困难。
[0003]但是目前癌组织病理图像细胞核分割方法主要包含传统分割算法和深度学习方法。传统分割技术大多采用分水岭分割、阈值分割法等方法。分水岭算法是一种基于数学形态学的分割方法，易受图像中噪声点或其他干扰因素的影响，导致过分割问题；阈值分割法是一种基于区域的图像分割方法，该方法对于核分布密集的图像效果并不理想。近年来，深度学习技术在计算机视觉中应用广泛，已逐渐成为病理图像分割的主要方法。针对前列腺癌、膀胱癌、结肠癌等多种癌组织病理图像细胞核，提出了可将图像分割为细胞核边界、细胞核区域及非细胞核区域的三分类卷积神经网络，但分割效果欠佳。针对乳腺癌细胞核，提出了级联结合全卷积神经网络FCN与反卷积神经网络DeconvNet的集成神经网络，通过将两个神经网络的预测结果进行选择性集成，可以得出更加准确的细胞核分割结果。针对小细胞肺癌(SCLC)细胞核，提出了一种基于卷积神经网络(CNN)的混合分割网络，该网络结合一个轻量级的三维CNN学习远程三维上下文信息和一个二维CNN学习细粒度的语义信息，又提出了一个混合特征融合模块来有效地融合二维和三维特征，并联合训练这两个CNN。但这些方法方法只针对单一癌种的细胞核分割，缺乏对其他癌种泛化性的验证。

技术实现思路

[0004]本专利技术的目的在于：为了解决上述提出的问题，提供一种基于迁移学习的癌组织图像细胞核分割方法。
[0005]本专利技术采用的技术方案如下：一种基于迁移学习的癌组织图像细胞核分割方法，所述基于迁移学习的癌组织图像细胞核分割方法包括以下步骤：
[0006]S1:先对数据集进行预处理，预处理的过程中，先进行图像切割，MoNuSeg数据集中的图片大小为1000
×
1000，如果直接将其放到模型中训练，那么模型对图片的加载速度将
变得缓慢，且这也对计算机硬件设施的要求较高，因此需要对该尺寸的图片进行合理的裁剪。本实验中MoSuNeg图像均按照从上到下，从左至右的顺序，以256像素为单位进行切割；
[0007]S2:图像切割结束之后，进行颜色归一化处理；
[0008]S3:进行数据增强处理，对训练集的图像及其相应的标签进行翻转、旋转、裁剪，来增大训练数据的规模和多样性；
[0009]S4:使用分割网络进行分割，分割网络VCRNet由编码模块和解码模块两部分构成，编码模块采用Vgg16
‑
1结构，该结构是基于Vgg16网络进行改进，由13个卷积层组成和Max Pooling构成了一系列降采样操作，逐层提取特征图的特征，
[0010]S5:部分解码模块采用mr
‑
block结构，该结构基于残差块结构进行改进，由4个1
×
1卷积核对特征图进行卷积，
[0011]S6:然后和在短路连接上直接对原图进行1
×
1卷积后的结果相加，和双线性插值构成了2个上采样操作，恢复特征图的分辨率；
[0012]S7:然后将编码部分的不同尺度的特征图逐个通过跳跃连接和解码模块中同样尺寸的特征图进行特征融合
[0013]S8:最后利用一个1
×
1卷积核，输出2个特征图，完成实验中细胞核的分类任务。
[0014]在一优选的实施方式中，所述步骤S2中，采用的颜色归一化方案是基于稀疏非负矩阵分解(SNMF)的染色分离的基础上的结构保持颜色归一化(SPCN)方法。SPCN的算法原理是将源图像的颜色基础替换为目标图像的颜色基础，同时仍然保持原始图像的染色浓度和完整的图像结构信息，大量的定性和定量验证证明了所提出的SNMF染色分离和SPCN技术的优越性能。本实验中选择了一张颜色较清浅、亮度较好的图像，作为颜色归一化的目标图像，然后MoSeNug中的所有训练集图像均根据该目标图像进行颜色归一化。经该步骤处理后，训练集图片的色彩基本相近。
[0015]在一优选的实施方式中，所述步骤S4中，Vgg网络与AlexNet结构相似，但Vgg网络更深更宽，采用尺寸为3
×
3及少量的1
×
1卷积核来替换5
×
5和7
×
7卷积核，并将池化核尺寸由3
×
3改为2
×
2卷积核。
[0016]在一优选的实施方式中，所述步骤S4中，将去除Vgg16网络中最后一个池化层和3个全连接层后的结构作为改进后的Vgg16
‑
1结构，以降低参数数量，从而达到减少内存占用并节约计算资源的目的。
[0017]在一优选的实施方式中，所述步骤S5中，改进后的mr
‑
block结构包括5个卷积层；为减少参数量，全部采用1
×
1卷积核大小。
[0018]在一优选的实施方式中，所述步骤S5中，每一个卷积模块均不改变图像的分辨率大小，除最后一个卷积层和短路连接上的卷积层的通道数较输入通道数降低以外，其他卷积层的通道数不变。
[0019]综上所述，由于采用了上述技术方案，本专利技术的有益效果是：
[0020]本专利技术中，基于Unet搭建了VCRNet模型。VCRNet模型以Vgg16
‑
1卷积模块在ImageNet数据集上的预训练模型作为编码模块和分类依据；利用改进后的残差块mr
‑
block作为解码部分和定位依据，最后利用跳跃连接完成特征图间的特征融合。在先对测试集做标准化再输入模型测试后，实验结果表明，与针对病理图像中细胞核的粘连问题，VCRNet有着较好的分割效果。
卷积核大小。
[0038]步骤S5中，每一个卷积模块均不改变图像的分辨率大小，除最后一个卷积层和短路连接上的卷积层的通道数较输入通道数降低以外，其他卷积层的通道数不变。
[0039]本专利技术中，基于Unet搭建了VCRNet模型。VCRNet模型以Vgg16
‑
1卷积模块在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的癌组织图像细胞核分割方法，其特征在于：所述基于迁移学习的癌组织图像细胞核分割方法包括以下步骤：S1:先对数据集进行预处理，预处理的过程中，先进行图像切割，MoNuSeg数据集中的图片大小为1000
×
1000，如果直接将其放到模型中训练，那么模型对图片的加载速度将变得缓慢，且这也对计算机硬件设施的要求较高，因此需要对该尺寸的图片进行合理的裁剪；S2:图像切割结束之后，进行颜色归一化处理；S3:进行数据增强处理，对训练集的图像及其相应的标签进行翻转、旋转、裁剪，来增大训练数据的规模和多样性；S4:使用分割网络进行分割，分割网络VCRNet由编码模块和解码模块两部分构成，编码模块采用Vgg16
‑
1结构，该结构是基于Vgg16网络进行改进，由13个卷积层组成和Max Pooling构成了一系列降采样操作，逐层提取特征图的特征，S5:部分解码模块采用mr
‑
block结构，该结构基于残差块结构进行改进，由4个1
×
1卷积核对特征图进行卷积，S6:然后和在短路连接上直接对原图进行1
×
1卷积后的结果相加，和双线性插值构成了2个上采样操作，恢复特征图的分辨率；S7:然后将编码部分的不同尺度的特征图逐个通过跳跃连接和解码模块中同样尺寸的特征图进行特征融合S8:最后利用一个1
×
1卷积核，输出2个特征图，完成实验中细胞核的分类任务。2.如权利要求1所述的一种基于迁移学习的癌组织图像细胞核分割方法，其特征在于：所述步骤S2中，采用的颜色归一化方案是基于稀疏...

【专利技术属性】
技术研发人员：陈小辉，胡志敏，
申请(专利权)人：三峡大学，
类型：发明
国别省市：