一种甲状腺肿瘤细胞学涂片图像分类方法及其装置制造方法及图纸

本发明专利技术公开了一种甲状腺肿瘤细胞学涂片图像分类方法及其装置，所述方法包括：获取若干一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像；用获取的图像组成训练集，并对训练集进行数据扩增；生成初步卷积神经网络；用扩增后的训练集训练初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性，从而形成成熟卷积神经网络；获取待分类的甲状腺肿瘤细胞学涂片图像，用成熟卷积神经网络对该图像中的细胞进行良恶性判断：图像中所有细胞均判断为良性则输出良性结果，图像中有至少一个细胞为恶性则输出恶性结果。所述方法及装置用于辅助医生对甲状腺肿瘤进行诊断，提高诊断的准确率。

A thyroid cancer cytology smear image classification method and its device

The invention discloses an image classification method and a device for thyroid tumor cytological smears. The method comprises: obtaining a number of certain size of benign and malignant thyroid tumor cytological smear images; forming a training set with the acquired images, and expanding the training set; and generating a preliminary convolution neural network. The preliminary convolution neural network is trained with the augmented training set to optimize its parameters so that it can judge the benign and malignant cells in the cytological smear images of thyroid tumors and form a mature convolution neural network. Benign and malignant cells are judged: all cells in the image are judged to be benign and output benign results; at least one cell in the image is malignant and output malignant results. The method and device are used to assist doctors in diagnosing thyroid tumors and improve the accuracy of diagnosis.

【技术实现步骤摘要】
一种甲状腺肿瘤细胞学涂片图像分类方法及其装置
本专利技术涉及图像识别领域，特别涉及一种基于深度学习的甲状腺肿瘤细针穿刺细胞学涂片图像分类方法及其装置。
技术介绍
甲状腺癌是内分泌系统最常见的恶性肿瘤。甲状腺结节是指在甲状腺内的肿瘤，鉴于甲状腺结节的高发病率，而甲状腺恶性肿瘤仅占其中极小部分，如能首先通过非手术方式识别出尽可能多的甲状腺恶性肿瘤，则可大幅度减少不必要的诊断性手术数量，既可减少手术给病人带来的损伤，又可更合理地应用有限的医疗资源。甲状腺肿瘤细针穿刺细胞学涂片是目前评价甲状腺结节的最为准确且性价比高的术前检查方法。然而，由于相关细胞病理专业人员缺乏和诊断经验欠缺，很多医院并不能对甲状腺细胞学涂片做出准确的良恶性分析。因此，利用深度学习技术对甲状腺细胞学涂片进行处理和研究，能为医生提供有用的参考信息，辅助医生及时地对甲状腺结节患者做出准确的诊断。近年来，深度学习，特别是卷积神经网络在图像识别领域产生了巨大的突破。经过用海量的图片进行训练后，卷积神经网络在图片分类任务上的准确率超过了人类。医院拥有大量的甲状腺细胞学涂片图片，拥有大量的专业医师对其良恶性进行准确的标注，对甲状腺细胞学涂片采用深度学习方法进行甲状腺癌诊断可以取得很好的效果。
技术实现思路
本专利技术的目的是提出一种基于深度学习的甲状腺肿瘤细针穿刺细胞学涂片图像分类方法，用于辅助医生对甲状腺肿瘤进行诊断，提高诊断的准确率。为实现上述目的，本专利技术首先提供了一种甲状腺肿瘤细胞学涂片图像分类方法，该方法是利用经训练成熟的卷积神经网络来对甲状腺肿瘤细胞学涂片图像进行良恶性分类的，包括：获取若干一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像；用获取的图像组成训练集，并对训练集进行数据扩增；生成初步卷积神经网络；用扩增后的训练集训练初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性，从而形成成熟卷积神经网络；获取待分类的甲状腺肿瘤细胞学涂片图像，用成熟卷积神经网络对该图像中的细胞进行良恶性判断：图像中所有细胞均判断为良性则输出良性结果，图像中有至少一个细胞为恶性则输出恶性结果。进一步，获取若干一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像中，所述一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像是按下述方法获得的：从甲状腺肿瘤细胞学涂片的显微照片中有辨别力的区域中截取若干一定尺寸的图像，并由人工进行良恶性标注。截取的区域中的细胞对于甲状腺肿瘤良恶性具有很强的辨别力，能使系统对肿瘤的良恶性做出准确地判断。优选地，所述一定尺寸为224×224像素或299×299像素。本专利技术所述“良恶性标注”既可以指将整幅图像标注为良性或恶性，也可以指将图像中勾画出的区域标注为良性或恶性。优选地，所述甲状腺肿瘤细胞学涂片为甲状腺肿瘤穿刺细胞学涂片。优选地，所述用获取的图像组成训练集，并对训练集进行数据扩增中，所述数据扩增的方法为：采用对图像进行水平翻转和/或旋转的方式进行数据扩增；优选为进行自动数据扩增，即将经标注的甲状腺肿瘤细胞学涂片图像输入系统后，由系统进行自动扩增；更优选为进行在线数据扩增，即在训练初步卷积神经网络时，一边扩增一边训练(对一批图像进行一次随机扩增操作后立即进行训练，随后进行另一批/次的扩增和训练)，传统的数据扩增方法数据全部扩增完后进行训练，该方法会占用很大的磁盘空间，极大的影响了处理的速度，而在线数据扩增的方法可大大减少占用的存储空间。进一步优选地，所述旋转的度数选自0度、90度、180度、270度中的任意一种。在本专利技术的一种优选实施方式中，所述数据扩增包括0度、90度、180度、270度旋转以及水平翻转后的0度、90度、180度、270度旋转，即将一幅图像扩增为八幅图像，扩增倍数为8倍。在本专利技术的另一种优选实施方式中，所述数据扩增的方法为在线数据扩增，在训练初步卷积神经网络时分批(batch)处理训练集中的图像，随机对一批中的每一幅图像都进行水平翻转和/或旋转变换，当训练的迭代次数足够多时，八种变换方式中的每一幅图像都会得到训练。进一步，所述生成初步卷积神经网络中，所述初步卷积神经网络在现有的卷积神经网络(如VGG-16或InceptionV3)基础上生成；将最后一个全连接层的输出通道数从1000改为2，分别代表该图像被分类为良性、恶性；当使用VGG-16网络时，优选的图像尺寸为224×224像素，当使用InceptionV3网络时，优选的图像尺寸为299×299像素。进一步，所述生成初步卷积神经网络还包括预训练：使用预训练模型对现有的卷积神经网络的卷积层的参数进行初始化，优选为在ImageNet数据集上进行预训练。VGG-16和InceptionV3的预训练都可在ImageNet数据集上进行训练，过程中使用迁移学习的方法，ImageNet数据集有大量的图片，利用该预训练模型能很好地对卷积层进行初始化。此外，预训练还能大大加快网络的收敛速度。优选地，所述生成初步卷积神经网络中，所述初步卷积神经网络由强化学习方法寻找最适合甲状腺肿瘤细胞学涂片图像分类的现有卷积神经网络作为基础，例如采用循环神经网络作为强化学习网络预测器，搜索并生成各种卷积神经网络，对其进行初步训练并设定一个准确率阈值(如90％)，将准确率高于阈值的卷积神经网络作为初步卷积神经网络。循环神经网络每次迭代都会给卷积神经网络添加一层，包括卷积层、池化层和全连接层，或者结束卷积神经网络的生成过程。对于卷积层，循环神经网络预测其通道数量和内核大小；对于池化层，循环神经网络预测其内核大小；对于全连接层，循环神经网络预测其通道数量。这些预测过程都是通过循环神经网络输出层的分类器实现的。第一个分类器预测添加卷积层、池化层、全连接层或者结束生成过程；另外的分类器分别预测卷积层、池化层和全连接层的通道数量或者内核大小。通道数量优选为128、256、512或1024，内核大小优选为1×1、2×2或3×3。进一步，上述强化学习方法的具体流程为：首先，用循环神经网络生成一个卷积神经网络；接着，用甲状腺肿瘤细胞学涂片图像训练集训练该卷积神经网络；然后，用甲状腺肿瘤细胞学涂片图像验证集验证经训练后的该卷积神经网络的准确率，设定一个准确率阈值，判断其准确率是否高于阈值；其中，所述验证集是指其中每一张图像都不同于训练集中任意一张图像的一个经良恶性分类的甲状腺肿瘤细胞学涂片图像集。前述“良恶性分类”是指将整幅图像分类为良性或恶性，本领域技术人员可知“经良恶性标注”的图像也属于“经良恶性分类”的图像。如果准确率低于阈值，利用该准确率信息，使用策略梯度算法更新循环神经网络的参数，重新生成一个卷积神经网络，再训练并验证，该新生成的卷积神经网络的准确率应该高于先前生成的卷积神经网络，如此循环，直至生成的最新卷积神经网络的准确率高于阈值，结束卷积神经网的络寻找过程，将该准确率最高的卷积神经网络作为所述的初步卷积神经网络。在用循环神经网络进行强化学习方法的过程中应用到验证集，所述验证集可以是在所述用获取的图像组成训练集，并对训练集进行数据扩增中与训练集同步产生，具体为：将获取的经良恶性标注的甲状腺肿瘤细胞学涂片图像分为训练集和验证集，并对训练集进行数据扩增。优选地，来自同一个细胞学涂片的图像数本文档来自技高网...

【技术保护点】
1.一种甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，包括：获取若干一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像；用获取的图像组成训练集，并对训练集进行数据扩增；生成初步卷积神经网络；用扩增后的训练集训练初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性，从而形成成熟卷积神经网络；获取待分类的甲状腺肿瘤细胞学涂片图像，用成熟卷积神经网络对该图像中的细胞进行良恶性判断：图像中所有细胞均判断为良性则输出良性结果，图像中有至少一个细胞为恶性则输出恶性结果。

【技术特征摘要】
1.一种甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，包括：获取若干一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像；用获取的图像组成训练集，并对训练集进行数据扩增；生成初步卷积神经网络；用扩增后的训练集训练初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性，从而形成成熟卷积神经网络；获取待分类的甲状腺肿瘤细胞学涂片图像，用成熟卷积神经网络对该图像中的细胞进行良恶性判断：图像中所有细胞均判断为良性则输出良性结果，图像中有至少一个细胞为恶性则输出恶性结果。2.如权利要求1所述的甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，所述获取若干一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像中，所述一定尺寸的经良恶性标注的甲状腺肿瘤细胞学涂片图像是按下述方法获得的：从甲状腺肿瘤细胞学涂片的显微照片中有辨别力的区域中截取若干一定尺寸的图像，并由人工进行良恶性标注。3.如权利要求1所述的甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，所述甲状腺肿瘤细胞学涂片为甲状腺肿瘤穿刺细胞学涂片。4.如权利要求1所述的甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，所述用获取的图像组成训练集，并对训练集进行数据扩增中，所述数据扩增的方法为：采用用对图像进行水平翻转和/或旋转的方式进行数据扩增。5.如权利要求1所述的甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，所述生成初步卷积神经网络中，所述初步卷积神经网络在VGG-16或InceptionV3基础上生成。6.如权利要求1所述的甲状腺肿瘤细胞学涂片图像分类方法，其特征在于，所述用扩增后的训练集训练初步卷积神经网络，优化其参数，使其可判断甲状腺肿瘤细胞学涂片图像中细胞的良恶性，从而形成成熟卷积神经网络中，采用带mini-batch的随机梯度下降法对初步卷积神经网络进行训练。7.如权利要求1所述的...

【专利技术属性】
技术研发人员：向俊，卢宏涛，官青，王蕴珺，平波，万晓春，李端树，杜佳俊，秦宇，
申请(专利权)人：复旦大学附属肿瘤医院，上海交通大学，
类型：发明
国别省市：上海,31