一种基于迁移学习的癌组织图像细胞核分割系统技术方案

本发明专利技术公开了一种基于迁移学习的癌组织图像细胞核分割系统。本发明专利技术中，基于迁移学习的癌组织图像细胞核分割系统包括：数据集预处理模块、输入训练模块、VCRNet网络模块、输入测试模块和图像颜色归一化模块，基于Unet搭建了VCRNet模型。VCRNet模型以Vgg16

【技术实现步骤摘要】
一种基于迁移学习的癌组织图像细胞核分割系统


[0001]本专利技术属于癌组织图像处理
，具体为一种基于迁移学习的癌组织图像细胞核分割系统。

技术介绍

[0002]随着近年来全球每年有上千万人死于癌症，且死亡人数逐年攀升，癌症已成为导致人类死亡的极其严重的疾病之一。癌细胞与正常细胞的差异是细胞核的结构不同。癌症传统的病理切片分析方法，是病理医师直接通过观察显微镜下的切片来分析诊断。随着医学影像技术和计算机视觉的发展，数字病理学分析成为了计算机辅助诊断的研究热点。对于癌组织病理图像细胞核，相较于人类的观察分析，使用计算机实现准确的病理图像细胞核自动化分割可使癌症的筛查、诊断、治疗和预后等方面更加快速、准确。但这项任务存在若干项难点。第一，对癌组织病理切片进行常规染色后，图像对比度、色彩均发生变化，这在计算机提取图像特征时造成了较大的干扰；第二，图像中的细胞核间粘连、重叠等问题，易导致细胞核过分割或欠分割；最后，设计一种算法来分割多种不同外观的癌种的细胞核并获得令人满意的精度较为困难。
[0003]但是目前癌组织病理图像细胞核分割方法主要包含传统分割算法和深度学习方法。传统分割技术大多采用分水岭分割、阈值分割法等方法。分水岭算法是一种基于数学形态学的分割方法，易受图像中噪声点或其他干扰因素的影响，导致过分割问题；阈值分割法是一种基于区域的图像分割方法，该方法对于核分布密集的图像效果并不理想。近年来，深度学习技术在计算机视觉中应用广泛，已逐渐成为病理图像分割的主要方法。针对前列腺癌、膀胱癌、结肠癌等多种癌组织病理图像细胞核，提出了可将图像分割为细胞核边界、细胞核区域及非细胞核区域的三分类卷积神经网络，但分割效果欠佳。针对乳腺癌细胞核，提出了级联结合全卷积神经网络FCN与反卷积神经网络DeconvNet的集成神经网络，通过将两个神经网络的预测结果进行选择性集成，可以得出更加准确的细胞核分割结果。针对小细胞肺癌(SCLC)细胞核，提出了一种基于卷积神经网络(CNN)的混合分割网络，该网络结合一个轻量级的三维CNN学习远程三维上下文信息和一个二维CNN学习细粒度的语义信息，又提出了一个混合特征融合模块来有效地融合二维和三维特征，并联合训练这两个CNN。但这些方法方法只针对单一癌种的细胞核分割，缺乏对其他癌种泛化性的验证。

技术实现思路

[0004]本专利技术的目的在于：为了解决上述提出的问题，提供一种基于迁移学习的癌组织图像细胞核分割系统。
[0005]本专利技术采用的技术方案如下：一种基于迁移学习的癌组织图像细胞核分割系统，所述基于迁移学习的癌组织图像细胞核分割系统包括：数据集预处理模块、输入训练模块、VCRNet网络模块、输入测试模块和图像颜色归一化模块；
[0006]所述VCRNet网络模块由模块编码模块和解码模块两部分构成，其模型架构如图2
所示。编码模块采用Vgg16
‑
1结构，该结构是基于Vgg16网络进行改进，由13个卷积层组成和Max Pooling构成了一系列降采样操作，逐层提取特征图的特征，解码模块采用mr
‑
block结构，该结构基于残差块结构进行改进，由4个1
×
1卷积核对特征图进行卷积，然后和在短路连接上直接对原图进行1
×
1卷积后的结果相加，和双线性插值构成了2个上采样操作，恢复特征图的分辨率，然后将编码部分的不同尺度的特征图逐个通过跳跃连接和解码模块中同样尺寸的特征图进行特征融合，最后利用一个1
×
1卷积核，输出2个特征图，完成系统中细胞核的分类任务。
[0007]在一优选的实施方式中，所述编码模块采用Vgg16
‑
1结构，Vgg16
‑
1结构包含了13个卷积层和3个全连接层。虽然Vgg16结构简洁，但因为有3个全连接层，故拥有较多的参数量。研究发现，这3个全连接层如若被去除，对于性能也没有影响，故将去除Vgg16网络中最后一个池化层和3个全连接层后的结构作为改进后的Vgg16
‑
1结构，以降低参数数量，从而达到减少内存占用并节约计算资源的目的。
[0008]在一优选的实施方式中，所述mr
‑
block结构包括5个卷积层；为减少参数量，全部采用1
×
1卷积核大小，每一个卷积模块均不改变图像的分辨率大小，除最后一个卷积层和短路连接上的卷积层的通道数较输入通道数降低以外，其他卷积层的通道数不变。
[0009]在一优选的实施方式中，所述数据集预处理模块包括：图像切割模块、颜色归一化模块和数据增强模块。
[0010]在一优选的实施方式中，所述图像切割模块使用MoSuNeg图像均按照从上到下，从左至右的顺序，以256像素为单位进行切割。
[0011]在一优选的实施方式中，所述颜色归一化模块使用基于稀疏非负矩阵分解(SNMF)的染色分离的基础上的结构保持颜色归一化(SPCN)方法。SPCN的算法原理是将源图像的颜色基础替换为目标图像的颜色基础，同时仍然保持原始图像的染色浓度和完整的图像结构信息，大量的定性和定量验证证明了所提出的SNMF染色分离和SPCN技术的优越性能。本系统中选择了一张颜色较清浅、亮度较好的图像，作为颜色归一化的目标图像，然后MoSeNug中的所有训练集图像均根据该目标图像进行颜色归一化。经该步骤处理后，训练集图片的色彩基本相近。
[0012]在一优选的实施方式中，所述数据增强模块对训练集的图像及其相应的标签进行翻转、旋转、裁剪，来增大训练数据的规模和多样性。
[0013]在一优选的实施方式中，所述数据集预处理模块的内部设置有迁移学习模块；迁移学习模块将在大规模数据集上训练好的模型参数迁移到新模型来辅助新模型训练。本系统试验表明通过使用在大规模数据集上训练好的模型权重，即使新模型的数据量少，也可能获得很好的效果。本系统中把在ImageNet数据集上训练好的Vgg16网络的卷积层参数迁移到Vgg16
‑
1结构中，然后将网络的其他层随机初始化，再通过逐步微调训练网络。
[0014]综上所述，由于采用了上述技术方案，本专利技术的有益效果是：
[0015]本专利技术中，基于Unet搭建了VCRNet模型。VCRNet模型以Vgg16
‑
1卷积模块在ImageNet数据集上的预训练模型作为编码模块和分类依据；利用残差块改进后的结构mr
‑
block作为解码部分和定位依据，最后利用跳跃连接完成特征图间的特征融合。在先对测试集做标准化再输入模型测试后，系统结果表明，与针对病理图像中细胞核的粘连问题，VCRNet有着较好的分割效果。
附图说明
[0016]图1为本专利技术的系统框图；
[0017]图2为本专利技术中VCRNet网络模型图；
[0018]图3为本专利技术中Vgg16
‑
1结构图；
[0019]图4为本专利技术中mr
‑
block结构图。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的癌组织图像细胞核分割系统，其特征在于：所述基于迁移学习的癌组织图像细胞核分割系统包括：数据集预处理模块、输入训练模块、VCRNet网络模块、输入测试模块和图像颜色归一化模块；所述VCRNet网络模块由模块编码模块和解码模块两部分构成，编码模块采用Vgg16
‑
1结构，该结构是基于Vgg16网络进行改进，由13个卷积层组成和Max Pooling构成了一系列降采样操作，逐层提取特征图的特征，解码模块采用mr
‑
block结构，该结构基于残差块结构进行改进，由4个1
×
1卷积核对特征图进行卷积，然后和在短路连接上直接对原图进行1
×
1卷积后的结果相加，和双线性插值构成了2个上采样操作，恢复特征图的分辨率，然后将编码部分的不同尺度的特征图逐个通过跳跃连接和解码模块中同样尺寸的特征图进行特征融合，最后利用一个1
×
1卷积核，输出2个特征图，完成系统中细胞核的分类任务。2.如权利要求1所述的一种基于迁移学习的癌组织图像细胞核分割系统，其特征在于：所述编码模块采用Vgg16
‑
1结构，Vgg16
‑
1结构包含了13个卷积层和3个全连接层。3.如权利要求1所述的一种基于迁移学习的癌组织图像细胞核分割系统，其特征在于：所述mr
‑
block结构包括5个卷积层；全部采用1
×
1卷积核大小，每一个卷积模块均不改变图像的分辨率大小，除最后一个卷积层和短路连接上的卷积层的...

【专利技术属性】
技术研发人员：陈小辉，胡志敏，
申请(专利权)人：三峡大学，
类型：发明
国别省市：