一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法技术

本发明专利技术涉及一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法，首先对初始图像进行预处理，使用旧类别样本训练faster‑rcnn模型获得显微镜细胞图像检测模型作为初始模型。使用训练好的显微镜图像细胞检测模型预测新的细胞，对新类别细胞样本进行手工标注。其次使用初始模型对新类别样本预测生成软目标和中间层特征，生成的软目标置信度为0.2以上的粗标签。修改显微镜细胞图像检测模型最后一层大小，作为显微镜细胞图像增量检测模型。分别计算增量模型和初始模型的中间层特征图距离，计算显微镜细胞图像检测的分类和回归损失，计算置信度损失。最后通过最小化上述损失总和来训练更新模型。获得能够预测新类别细胞的显微镜细胞图像增量检测模型。

An Incremental Learning Method for Classification of Microscopic Cell Image Detection Model

【技术实现步骤摘要】
一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法
本专利技术涉及图像处理
，特别是一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法。
技术介绍
目标检测任务面临样本类别及样本自身的动态变化性带来的挑战。例如，无人驾驶中在新场景下对新物体的检测，显微镜图像细胞检测模型学习类别细胞等等，这就需要基于CNN的目标检测模型具有一定程度的增量学习能力。传统的学习新类别有两种方式，第一，使用所有数据重新训练模型，但是由于目标检测任务的复杂性，这种方法会浪费大量的训练时间。第二，训练新的模型来预测新类，但是随着类别的增加，模型的数量也不断增加，每次预测都需要使用多个模型进行预测，预测所需要的时间呈线性增长。因此，目标检测的增量学习研究已成为新的研究热点。显微镜细胞图像检测目标分类是显微镜图像细胞检测目标检测的基础性问题。为了应对新类别目标检测，首先需要解决新类别细胞的增量学习分类问题。目前常用的方法是使用新类别样本微调初始模型，初始模型定义为使用旧类别样本训练过后的模型，而微调后的模型称为增量模型。修改最后一层输出层大小以适应于增类任务，该层的权值是随机初始化。但是，仅使用微调会引起灾难性遗忘问题，增量模型能够准确的识别新类别目标，但是基本不能识别旧类别目标。这是因为微调过程中改变了模型权重和特征图去适应新的数据。
技术实现思路
有鉴于此，本专利技术的目的是提出一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法，不仅能够预测旧类别细胞，并且也能够准确识别新类别细胞。本专利技术采用以下方案实现：一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法，利用增量学习方法使得显微镜细胞图像增量检测模型能够学习并检测出新的细胞类别，并且能够检测出旧类别细胞。进一步地，具体包括以下步骤：步骤S1：构建基于faster-rcnn的显微镜细胞图像检测模型作为初始模型；步骤S2：利用新增类别样本对初始模型进行微调；步骤S3：通过最小化总损失来训练初始模型，获得能够预测新类别细胞的显微镜细胞图像增量检测模型。进一步地，步骤S1具体包括以下步骤：步骤S11：对初始图像进行预处理，调整图像大小；步骤S12：使用旧类别样本训练faster-rcnn模型获得显微镜细胞图像检测模型作为初始模型。进一步地，步骤S2具体包括以下步骤：步骤S21：采用初始模型预测新的细胞，对新类别细胞样本进行手工标注；步骤S22：使用初始模型对新类别样本预测生成软目标和中间层特征，生成的软目标为置信度为0.2以上的粗标签＜PO,BO,SO＞，其中PO代表类别标签，PO表示检测窗口，SO表示置信度；粗标签包含了大量初始模型从旧类别样本中学习到的旧类别信息；步骤S23：修改显微镜细胞图像检测模型最后一层，使之成为显微镜细胞图像增量检测模型，训练过程中，计算增量模型和初始模型的中间层特征图距离，称为hint损失；hint损失LHint定义为：式中，FO表示初始特征图,FI表示增量特征图；由于增量模型和初始模型中间层大小一致，不需要修改增量模型中间层大小去适应初始模型；通过使用hint损失，梯度下降时增量模型能够生成尽可能与初始模型相似的特征图，以保留初始模型中的旧类别信息；在本专利技术中，选择L2距离作为hint损失是因为损失能够使得增量模型稳定的梯度下降，L2距离为欧式距离，hint损失也选用L1距离作为损失公式，L1距离为曼哈顿距离。步骤S24：计算显微镜下细胞图像目标检测的分类损失Lcls和回归损失Lreg：Lcls＝Lhard-cls(PI,yP)+Lsoft-cls(PI,PO)；Lreg＝Lhard-reg(BI,yB)+Lsoft-reg(BI,BO)；式中，Lhard-cls是增量模型预测值PI和只有新类别标签真值标签yP的交叉熵损失，Lsoft-cls代表增量模型预测值PI和软目标的蒸馏损失PO；Lhard-reg为增量模型预测坐标BI与真值坐标yB的smoothL1损失；Lsoft-reg为增量模型预测坐标BI与软目标BO的smoothL1损失；其中，预测值与真值标签的损失称之为硬损失，预测值与软目标的蒸馏损失称之为软损失；其中，本专利技术在硬损失中只计算了前景损失，前景损失定义为真值标签中的新类别检测窗口标签与相应位置预测检测窗口标签的损失。而软损失计算背景损失，背景损失为旧类别检测窗口标签与背景检测窗口与相应位置预测检测窗口标签的损失，防止互相抑制。步骤S25：计算置信度损失，公式如下：Lconfidence＝||SO-SI||1+||yS-SI||1；式中，SO代表初始模型生成的软目标检测窗口置信度，SI代表增量模型预测的检测窗口置信度，yS为真值检测窗口置信度。由于背景类和真值检测窗口没有置信度，因此，将背景类和真值检测窗口置信度设置为1。计算软目标检测窗口置信度与预测检测窗口置信度的前景L1损失，和真值检测窗口置信度与预测检测窗口置信度的背景L1损失。由于提取软目标时，使用的是0.2置信度的粗标签，因此在连续增量学习时，会产生大量检测窗口。置信度损失不仅可以帮助增量模型保留初始类别信息，也有助于解决连续的进行增量学习时遇到的检测窗口逐渐变多的问题，可以抑制过多的检测窗口。进一步地，本专利技术的总损失是一个多任务损失，既对检测窗口计算其回归损失，又对类别计算分类损失。步骤S3具体为：通过优化总损失来训练增量模型，其中，总损失Ltotal的公式如下：Ltotal＝LRPN+LRoI+γLHint；式中，γ为hint损失函数影响程度的超参数，本专利技术中区1。其中，LRPN损失和LRoI损失被定义如下：式中，Lcls代表分类损失和，由交叉熵损失和分类蒸馏损失组成；Lreg代表回归损失和，它由smoothL1损失和回归蒸馏损失组成，Lconfidence为增量模型预测置信度与软标签置信度的L1损失。与现有技术相比，本专利技术有以下有益效果：本专利技术提出利用知识蒸馏方法解决灾难性遗忘问题，面向目标分类和目标定位两大任务提出了一种新的知识蒸馏方法，不但设计了多损失任务中的分类蒸馏损失和回归蒸馏损失，同时使用hint学习保留初始模型的特征信息，进一步引入置信度损失以最大程度保留旧类别信息，以缓解灾难性遗忘，最终实现了应该端到端的显微镜图像细胞检测增量学习模型，不仅能够预测旧类别细胞，并且也能够准确识别新类别细胞。附图说明图1为本专利技术实施例的显微镜图像细胞检测增量学习模型的示意图。图2为本专利技术实施例的执行结果示例图，其中左图为原图，右图为本实施例的预测结果图。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。如图1所示，上方的方框为初始模型，下方方框为增量模型，虚线为反向传播方向。本实施本文档来自技高网...

【技术保护点】
1.一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法，其特征在于：利用增量学习方法使得显微镜细胞图像增量检测模型能够学习并检测出新的细胞类别，并且能够检测出旧类别细胞。

【技术特征摘要】
1.一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法，其特征在于：利用增量学习方法使得显微镜细胞图像增量检测模型能够学习并检测出新的细胞类别，并且能够检测出旧类别细胞。2.根据权利要求1所述的一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法，其特征在于：具体包括以下步骤：步骤S1：构建基于faster-rcnn的显微镜细胞图像检测模型作为初始模型；步骤S2：利用新增类别样本对初始模型进行微调；步骤S3：通过最小化总损失来训练初始模型，获得能够预测新类别细胞的显微镜细胞图像增量检测模型。3.根据权利要求2所述的一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法，其特征在于：步骤S1具体包括以下步骤：步骤S11：对初始图像进行预处理，调整图像大小；步骤S12：使用旧类别样本训练faster-rcnn模型获得显微镜细胞图像检测模型作为初始模型。4.根据权利要求2所述的一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法，其特征在于：步骤S2具体包括以下步骤：步骤S21：采用初始模型预测新的细胞，对新类别细胞样本进行手工标注；步骤S22：使用初始模型对新类别样本预测生成软目标和中间层特征，生成的软目标为置信度为0.2以上的粗标签<PO,BO,SO>，其中PO代表类别标签，PO表示检测窗口，SO表示置信度；步骤S23：修改显微镜细胞图像检测模型最后一层，使之成为显微镜细胞图像增量检测模型，训练过程中，计算增量模型和初始模型的中间层特征图距离，称为hint损失；hint损失LHint定义为：式中，FO表示初始特征图,FI表示增量特征图；通过使用hint损失，梯度下降时...

【专利技术属性】
技术研发人员：余春艳，陈立，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35