一种基于多示例学习的小样本乳腺癌细胞图像判别方法技术

本发明专利技术公开了一种基于多示例学习的小样本乳腺癌细胞图像判别方法。基于元学习框架，首先将图像分割为大小相同的图像块，利用卷积神经网络提取各图像块特征，然后利用多示例表征将图像分类问题转化成一个多示例学习问题。最后引入示例级的注意力机制，以单层全连接神经网络作为分类器，自动学习乳腺癌病变部位，完成分类与定位任务。本发明专利技术能够在少量乳腺癌细胞样本的情况下对正常细胞与癌细胞图像进行建模，采用多示例学习下的注意力机制增强了模型的可解释性，可在图像中定位出癌细胞的位置以辅助医生进行诊断。置以辅助医生进行诊断。置以辅助医生进行诊断。

【技术实现步骤摘要】
一种基于多示例学习的小样本乳腺癌细胞图像判别方法


[0001]本专利技术属于计算机图像与医疗辅助
，更为具体地讲，涉及一种基于多示例学习的小样本乳腺癌细胞图像判别方法。

技术介绍

[0002]随着机器学习与人工智能技术的飞速发展，机器学习开始和各种传统科学领域进行交叉结合，推动了各行各业的发展。特别是在医疗领域，有效的机器学习技术的应用使医疗专业人员能够做出更好的决策、识别趋势和带来创新，更好提高研究和临床实验的效率。
[0003]据2018年国际癌症研究机构(IARC)调查的最新数据显示，乳腺癌在全球女性癌症中的发病率为24.2％，位居女性癌症的首位，其中52.9％发生在发展中国家，严重威胁女性健康。为加强乳腺癌诊断准确性，提早治疗乳腺癌以使得对身体的损害最小化，目前出现了一些使用机器学习手段辅助乳腺癌诊断的方法，包括采用支持向量机、深度神经网络模型等方法直接对处理好的乳腺癌细胞和正常细胞进行分类。为开发一个强大而准确的深度学习模型，科研者从研究项目、患者统计、医疗健康记录和其他来源收集大量数据，十分耗费人力物力。另一方面，支持向量机一类的传统方法不需要太多数据，但考虑的变量较为宽泛，比如年龄、体重、身高和性别等。而对于乳腺癌本身的形态数据等直接信息利用不足，这会影响最终结果的准确性。
[0004]小样本学习是一种旨在解决传统机器学习中需求样本量大，耗时长的问题而提出的一种利用不同学习任务当中学习到的先验知识来辅助目标任务，仅需要少量样本快速学习的深度机器学习技术。小样本学习已经在计算机视觉、强化学习、自然语言处理等多个人工智能领域有了广泛的应用。在乳腺癌细胞检测中，应用卷积神经网络、注意力机制并结合小样本学习，既能使模型聚焦乳腺癌细胞本身形态特征，同时也不需要大量训练数据，提高了模型的广泛适应性，节约了成本。

技术实现思路

[0005]本专利技术的目的在于克服现有机器学习技术辅助医疗诊断时，样本量不足，预测结果精度不足及可解释性问题，提出了一种基于多示例学习的小样本乳腺癌细胞图像判别方法。通过将原始分类问题转化为多示例学习问题，并结合卷积神经网络及注意力机制，可以显著提高对乳腺癌细胞图像分类与目标检测的效果。
[0006]为实现上述专利技术目的，本专利技术基于多示例学习的小样本乳腺癌细胞图像判别方法，其特征在于，包括以下步骤：
[0007](1)从医院采集包括乳腺癌细胞在内的如肝癌细胞、肺癌细胞、胃癌细胞等至少4种不同类型癌细胞图像，每种类细胞至少10张图片。图片为采用了苏木精和伊红染色的全幻灯片癌细胞与正常细胞彩色三通道图像。
[0008](2)由医学专家为图像赋予标签，如果图像中没有癌细胞，则认为是正常图像，赋值为0，反之则标记为癌细胞图像，赋值为1。图像数据按癌细胞类别分别存放。
[0009](3)将原始图像分割为3*28*28大小的图像块K个，同时如果图像块包含75％或以上的空白则将该块丢弃，之后将一副原始图像认为是一个多示例包，每个图像中分割出来的图像块认为是一个示例。每个示例包继承了原始图像的标签，而每个图像块没有具体的标签。从而将传统的图像分类问题转化为了多示例分类问题。然后使用卷积神经网络(如ResNet)对所有图像块提取图像特征。
[0010](4)将上一步得到的样本构建成不同的学习任务，任务为一个二分类任务，即对于当前类别的细胞，学习该示例包是否包含该类的癌细胞。学习任务包括元训练任务和元测试任务两种，元训练任务采用除乳腺癌细胞之外的如肝癌细胞、肺癌细胞等细胞进行模型分类，乳腺癌细胞图像任务构成元测试任务。一个学习任务包括支持集和查询集两个数据集合，对应于传统机器学习的训练集与测试集的功能。在当前学习任务中，模型将在支持集中进行训练，在查询集上进行测试以验证模型性能。
[0011](5)在元训练阶段，将当前类型细胞支持集数据输入结合注意力机制的卷积神经网络中进行训练，得到对应是否是癌细胞图片的标签，然后在查询集上测试模型，即保持模型参数固定，不进行梯度反传，直接由输入得到输出结果，将预测标签与真实标签之间的差异作为统计的最终结果。模型学习完成当前任务后，不清空模型参数，继续在下一个任务上持续学习，同时在每个任务中记录一个最终结果与对应模型参数，保留最好结果的参数。
[0012](6)在元测试阶段，即模型整体评估预测的阶段，将元训练阶段最佳结果的模型参数输入模型，模型参数不需要进行学习调整，整体固定，然后输入乳腺癌细胞任务数据，直接得到结果。
[0013](7)依据元测试模型中图像块级别的注意力机制，将注意力权重较大的图像块标注出来，可认为该部分图像块有更大可能包含了乳腺癌细胞。
[0014]本专利技术的目的时这样实现的。
[0015]本专利技术基于多示例学习的小样本乳腺癌细胞图像判别方法，首先从医院采集包括乳腺癌细胞在内的如肝癌细胞、肺癌细胞、胃癌细胞等至少4种不同类型癌细胞图像，每种类细胞至少10张图片。并将原始图像分割为3*28*28大小的图像块，之后将一副原始图像认为是一个多示例包，每个图像中分割出来的图像块认为是一个示例。每个示例包继承了原始图像的标签，而每个图像块没有具体的标签。从而将传统的图像分类问题转化为了多示例分类问题。然后使用卷积神经网络对所有图像块提取图像特征。以小样本学习中的元学习框架建立以除乳腺癌细胞之外的各类癌细胞图像为基础的多个元训练集与以乳腺癌细胞图像为基础的元测试集。最后以融合了不同图像块之间特征的单头自注意力机制的卷积神经网络在多个元训练集中训练模型，将训练效果最佳的模型参数输入模型，对乳腺癌细胞图像构成的元测试集进行测试。本专利技术从多示例学习的角度出发对癌细胞图像进行处理，能够充分考虑图像不同部位对结果的影响，并加入了图像块级的注意力机制，使得各个图像部位的影响力得到直观体现。
附图说明
[0016]图1是本专利技术一种基于多示例学习的小样本乳腺癌细胞图像判别方法流程图；
[0017]图2是将传统的图像分类任务转化为多示例学习的示意图；
[0018]图3是本专利技术一种基于多示例学习的小样本乳腺癌细胞图像判别方法的小样本元
学习框架示意图；
[0019]图4是本专利技术一种基于多示例学习的小样本乳腺癌细胞图像判别方法的结合注意力机制的卷积神经网络模型示意图。
具体实施方式
[0020]下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本专利技术的主要内容时，这些描述在这里将被忽略。
[0021]图1是本专利技术基于多示例学习的小样本乳腺癌细胞图像判别方法流程图。
[0022]在本实施例中，如图1所示，本专利技术基于多示例学习的小样本乳腺癌细胞图像判别方法包括以下步骤：
[0023]S1：原始图像收集与整理
[0024]从医院采集包括乳腺癌细胞在内的如肝癌细胞、肺癌细胞、胃癌细胞等至少4种不同类型癌细胞图像，每种类细胞至少10本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多示例学习的乳腺癌细胞图像判别方法，其特征在于，包括以下步骤：癌细胞图像收集与整理；图像多示例表征与特征提取；元训练集与元测试集构建；癌细胞与正常细胞分类模型的构建训练；乳腺癌细胞图像判别与粗粒度定位。2.如权利要求1所述的原始图像收集与整理，其特征在于，从医院采集包括乳腺癌细胞在内的如肝癌细胞、肺癌细胞、胃癌细胞等至少4种不同类型癌细胞图像，每种类细胞至少10张图片。细胞图像为苏木精和伊红染色的全幻灯片癌细胞与正常细胞彩色三通道图像，并由医学专家为图像赋予标签，如果图像中没有癌细胞，则认为是正常图像，赋值为0，反之则标记为癌细胞图像，赋值为1。图像数据按癌细胞类别分别存放。3.如权利要求1所述的原始图像转化为多示例学习的数据集的分块与特征提取，其特征在于，将原始图像(用H表示)分割为3*28*28大小的图像块K个，同时如果图像块包含75％或以上的空白则将该块丢弃，之后将一副原始图像表示为一个多示例包，每个图像中分割出来的图像块认为是一个示例。每个示例包继承了原始图像的标签，而每个图像块没有具体的标签。从而将传统的图像分类问题转化为了多示例分类问题。然后使用卷积神经网络(如ResNet)对所有图像块提取图像特征，即H＝{h1,
…
,h
K
}，h
i
表示第i个图像块的特征。4.如权利要求1所述的元训练集与元测试集构建，其特征在于，将收集的不同类别细胞图像构建成不同的学习任务，任务为一个二分类任务，即对于当前类别的细胞，学习图像是否为该类的癌细胞。一个学习任务包括支持集和查询集两个数据集合，对应于传统机器学习的训练集与测试集的功能。乳腺癌细胞图像任务构成元测试任务。5.如权利要求1所述的癌细胞与正常细胞分类模型的构建训练，其特征在...

【专利技术属性】
技术研发人员：邵俊明，秦之理，杨勤丽，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：