本发明专利技术公开了一种基于卷积神经网络的多尺寸细胞核识别装置及方法，该装置包括四个卷积神经网络模型，用于对不同尺寸的细胞图像进行特征提取，然后在每个卷积神经网络模型提取完特征之后进行平均池化，得到包含若干个神经元的全连接层，然后将四个卷积神经网络模型提取出的全连接层拼接成一个全连接层，再连接若干全连接层进行融合学习和分类，从而让模型可以同时对细胞核和细胞核周边信息进行学习。
【技术实现步骤摘要】
一种基于卷积神经网络的多尺寸细胞核识别装置及方法
本专利技术涉及深度学习
，特别是涉及一种基于卷积神经网络的多尺寸细胞核识别装置及方法。
技术介绍
在传统方法上细胞核分类，大多数是使用人工设计的方法对细胞核图像进行特征提取，然后用传统的机器学习算法对提取到的特征进行训练分类。Dalle等人和Cosatto等人使用细胞核的形状，纹理和大小对乳腺癌图像中的核多态性进行分级。Malon等人使用颜色，纹理和形状信息来训练卷积神经网络分类模型，对有丝分裂和非有丝分裂细胞进行分类。Yuan等人根据H&E染色的乳腺癌图像的形态特征将对细胞核分类，分为癌细胞、淋巴细胞、基质细胞三类。Sharma等人提出了使用密度、形态和纹理特征来训练AdaBoost分类器，对细胞核进行分割和分类。对比传统方法，深度学习方法在对病理图像的识别上取得了更加好的效果。Gao等人已经使用深层卷积神经网络将人类epithelial-2细胞图像分为六类。同时，他们实验还证明，在较大的数据集上进行预训练，然后在较小的相关数据集上进行微调的卷积神经网络，与在较小数据集上从头训练的卷积神经网络相比，可以提供更高的准确性。这个策略对于这种数据量比较少的医学数据，有着比较好的提升效果。Shao等人设计了一个新的神经网络-对约束正则化深度卷积神经网络，他们先是标注一部分数据，训练出这个网络，接着用这个网络在没有标注的数据挑选出一部分数据出来给医生继续标注，然后将继续标注得到的数据和之前的数据继续进行混合在一起来更新这个网络的参数，再让这个网络来挑选没有标注的数据，以此循环，这样节省了医生40％的时间，而且得到的结果要比其他方法要好。而Hou等人提出一个稀疏卷积自动编码器来进行核检测和特征提取，仅是用标注全部数据的5％的成本，却实现了和其他方法基本一样的效果。近年来，细胞核图像分类已经取得了很大的突破，但是目前对比不同输入尺寸的细胞核图像对卷积神经网络模型的影响还缺乏系统的研究。细胞核图像的尺寸大小对卷积神经网络分类模型影响的研究还有待开展。之前为了防止周边不同类别的细胞核会对卷积神经网络分类模型的识别判断造成影响，所以研究人员都是截取相对尺寸较小的细胞核图像。但是经过试验发现，细胞核图像输入尺寸变大不仅没有降低模型的识别判断，相反识别效果还可以有较大的提升。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种基于卷积神经网络的多尺寸细胞核识别装置及方法，以提高多尺寸细胞核识别的识别效果。为达上述及其它目的，本专利技术提出一种基于卷积神经网络的多尺寸细胞核识别装置，包括四个卷积神经网络模型，用于对不同尺寸的细胞图像进行特征提取，然后在每个卷积神经网络模型提取完特征之后进行平均池化，得到包含若干个神经元的全连接层，然后将四个卷积神经网络模型提取出的全连接层拼接成一个全连接层，再连接若干全连接层进行融合学习和分类，从而让模型可以同时对细胞核和细胞核周边信息进行学习。优选地，所述卷积神经网络模型采用InceptionV3卷积神经网络模型。优选地，在每个卷积神经网络模型提取完特征进行平均池化后，得到包含2048个神经元的全连接层。优选地，在利用四个IncepionV3模型对不同尺寸的细胞图像进行特征提取后，通过一个全连接层将四个IncepionV3模型提取的特征拼接起来，再通过两个全连接层进行融合学习。优选地，最后再通过一个四个神经元的softmax层融合学习，并进行分类。优选地，所述特征融合的公式如下：其中，xl-3表示第l-3层的输出，l指神经元的层数，分别表示上面四个卷积层对四个输入数据提取到的特征，wl-3表示第l-3层的权重，gl-3表示激活函数。为达到上述目的，本专利技术还提供一种基于卷积神经网络的多尺寸细胞核识别方法，包括如下步骤：步骤S1，利用四个卷积神经网络模型对不同尺寸的细胞图像进行特征提取；步骤S2，对每个卷积神经网络模型提取完特征之后进行平均池化，得到若干个神经元的全连接层；步骤S3，将四个卷积神经网络模型提取出的全连接层拼接成一个全连接层，再连接若干全连接层进行融合学习和分类，从而让模型可以同时对细胞核和细胞核周边信息进行学习。优选地，于步骤S2中，在每个卷积神经网络模型提取完特征进行平均池化后，得到包含2048个神经元的全连接层。优选地，于步骤S3中，在利用四个IncepionV3模型对不同尺寸的细胞图像进行特征提取后，通过一个全连接层将四个IncepionV3模型提取的特征拼接起来，再通过两个全连接层进行融合学习。优选地，于步骤S3中，最后再通过一个四个神经元的softmax层融合学习，并进行分类。与现有技术相比，本专利技术一种基于卷积神经网络的多尺寸细胞核识别装置及方法通过把不同尺寸的细胞核图像用卷积神经网络进行特征提取，再把特征进行融合，再接上全连接层网络对特征进行分类，经过试验证明不同尺寸的细胞核图像特征融合模型相对于单尺寸的分类模型有着不小的准确率的提升。附图说明图1为不同细胞核图像尺寸对比示意图；图2为本专利技术中单尺寸细胞核图像深度学习模型架构图；图3为不同细胞核图像尺寸的类激活图可视化示意图；图4为一种基于卷积神经网络的多尺寸细胞核识别装置的结构示意图；图5为本专利技术一种基于卷积神经网络的多尺寸细胞核识别方法的步骤流程图。具体实施方式以下通过特定的具体实例并结合附图说明本专利技术的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本专利技术的精神下进行各种修饰与变更。为了防止周边不同类别的细胞核会对模型识别判断有影响，之前的研究人员都是截取相对尺寸较小的细胞核图像。但是经过试验发现，细胞核图像输入尺寸变大不仅没有降低模型的识别判断，还可以有较大的提升。联系到实际，人类医生，他们对病理图的细胞核识别，肯定也会受到周边环境的影响。但目前来说对于分类细胞的尺寸的截取问题，也缺少了一个系统性的研究，于是本专利技术采用不同尺寸的细胞核图像训练深度卷积神经网络得到的效果进行了对比，以验证不同的细胞核图像尺寸对模型训练预测的影响。本专利技术对细胞尺寸的大小进行了各种调整和实验，最后选用了27×27，36×36，45×45，54×54这四个细胞核图像尺寸作为本专利技术的实验结果展示，其中细胞图像尺寸为27×27的模型的效果作为参照项。本专利技术将该四个尺寸的图片都放在图1中，可以很明显地看出细胞图像尺寸越大，里面包含的细胞核越多。有的54×54尺寸的细胞核图像已经包含了7个细胞核，这样就会出现在一个细胞核图像里却有着不同种类的细胞核的情况。本专利技术以截取的细胞核图像中心对应的细胞核类别作为这个图片的标签。本专利技术对不同图像尺寸的单尺寸细胞核图像进行试验，具体地，本专利技术采用InceptionV3模型作为深度学习分本文档来自技高网...
【技术保护点】
1.一种基于卷积神经网络的多尺寸细胞核识别装置，包括四个卷积神经网络模型，用于对不同尺寸的细胞图像进行特征提取，然后在每个卷积神经网络模型提取完特征之后进行平均池化，得到包含若干个神经元的全连接层，然后将四个卷积神经网络模型提取出的全连接层拼接成一个全连接层，再连接若干全连接层进行融合学习和分类，从而让模型可以同时对细胞核和细胞核周边信息进行学习。/n
【技术特征摘要】
1.一种基于卷积神经网络的多尺寸细胞核识别装置，包括四个卷积神经网络模型，用于对不同尺寸的细胞图像进行特征提取，然后在每个卷积神经网络模型提取完特征之后进行平均池化，得到包含若干个神经元的全连接层，然后将四个卷积神经网络模型提取出的全连接层拼接成一个全连接层，再连接若干全连接层进行融合学习和分类，从而让模型可以同时对细胞核和细胞核周边信息进行学习。
2.如权利要求1所述的一种基于卷积神经网络的多尺寸细胞核识别装置，其特征在于：所述卷积神经网络模型采用InceptionV3卷积神经网络模型。
3.如权利要求2所述的一种基于卷积神经网络的多尺寸细胞核识别装置，其特征在于：在每个卷积神经网络模型提取完特征进行平均池化后，得到包含2048个神经元的全连接层。
4.如权利要求3所述的一种基于卷积神经网络的多尺寸细胞核识别装置，其特征在于：在利用四个IncepionV3模型对不同尺寸的细胞图像进行特征提取后，通过一个全连接层将四个IncepionV3模型提取的特征拼接起来，再通过两个全连接层进行融合学习。
5.如权利要求4所述的一种基于卷积神经网络的多尺寸细胞核识别装置，其特征在于：最后再通过一个四个神经元的softmax层融合学习，并进行分类。
6.如权利要求5所述的一种基于卷积神经网络的多尺寸细胞核识别装置，其特征在于，所述特征融合的公式如下：
【专利技术属性】
技术研发人员：闫艺婷，王华嘉，
申请(专利权)人：广州大学华软软件学院，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。