基于提示增量的多模态菌落样本细粒度分类方法及系统技术方案

本发明专利技术公开了一种基于提示增量的多模态菌落样本细粒度分类方法及系统，涉及计算机视觉领域技术领域，包括：获取微生物平板图像作为样本，建立样本细粒度分类模型，运行过程如下：对样本进行处理，将处理后样本分块并转化为序列与学习类别表示参数拼接为新特征序列；将其送入第一

【技术实现步骤摘要】
基于提示增量的多模态菌落样本细粒度分类方法及系统


[0001]本专利技术涉及计算机视觉领域
，更具体的说是涉及一种基于提示增量的多模态菌落样本细粒度分类方法及系统
。

技术介绍

[0002]微生物耐药是目前全球公共健康领域面临的重大挑战，也是各国政府和社会广泛关注的世界性问题
。
随着各种新发感染性疾病的出现及病原菌耐药性的持续上升，微生物实验室检测在感染性疾病的诊断和治疗中发挥着越来越重要的作用
。
在临床上及时
、
准确地对微生物种类进行识别，能够为感染性疾病尽早提供诊断依据，帮助针对性用药，减少抗生素滥用
。
在临床微生物实验室中，患者样本中微生物的鉴定长期以来主要基于对分离到的病原体所表现出的形态学特征进行初步的判断
。
[0003]其中根据菌落形态进行微生物分类是预筛选工作中一个重要的环节，它可以将病原体大致分类，使后续鉴定更加具体
。
预筛选的细致度和准确度影响着临床微生物实验室的工作效率
。
在目前临床实验室的工作中，预筛选过程通常是由临床微生物工作人员来完成的，通过人眼往往只能粗略鉴别菌落的大类，而无法鉴别出菌种的具体亚型
。
[0004]但是，近年来，随着人工智能和计算机视觉技术的不断发展，自动分类技术在医学领域得到了广泛的应用，成为辅助临床诊断的重要手段
。
对于菌种分类任务，以往的自动分类技术主要存在以下问题：其一，临床中获取的菌落样本存在不同模态，使用传统的单模态算法鲁棒性差
。
其二，由于不同菌种和不同亚型之间的形态差异非常细微，使用传统的图像分类算法直接对其进行分类十分困难
。
其三，在临床上收集到的菌落样本是不断增加的，遇见的亚型菌种类别也是不断增加的，在每次得到新的数据后，为了解决知识遗忘的问题，传统的深度学习算法往往需要将新数据和旧数据混合在一起对整个模型重新训练，这将导致训练成本成倍增长，降低了模型学习新知识的效率
。
[0005]因此，如何提供一种能够持续学习
、
训练成本低
、
准确率高的多模态菌落样本细粒度分类方法是本领域技术人员亟需解决的问题
。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种基于提示增量的多模态菌落样本细粒度分类方法及系统，能够持续性学习菌落的样本分类，且训练成本低
、
准确率高，同时避免了人力资源的浪费
。
[0007]为了实现上述目的，本专利技术采用如下技术方案：一种基于提示增量的多模态菌落样本细粒度分类方法，包括：获取多模态微生物平板图像，将其作为样本，建立样本细粒度分类模型；所述样本细粒度分类模型运行过程如下：获取多模态微生物平板图像，将其作为样本，建立样本细粒度分类模型；所述样本细粒度分类模型运行过程如下；
步骤1：对所述样本进行缩放和标准化处理，然后将处理后样本进行分块并转化为序列，与学习类别表示参数拼接，并加上位置编码作为新特征序列；步骤2：将所述新特征序列送入第一
ViT
编码器中，获取辨识性融合特征与粗类别表示；步骤3：将所述粗类别表示输入线性分类器获取菌种分类结果；步骤4：根据所述菌种分类结果，在亚型提示空间查询获取对应的提示特征；步骤5：将所述辨识性融合特征与所述提示特征进行拼接，作为新的输入，输入第二
ViT
编码器，对输出的提示特征进行平均池化，然后将其作为细类别表示；步骤6：将所述细类别表示输入所述线性分类器获取亚型分类结果
。
[0008]优选的，还包括：计算所述亚型分类结果与样本真值标签的损失值，并固定所述第二
ViT
编码器的主干模型参数，根据所述损失值更新所述亚型提示空间对应的提示特征和所述线性分类器
。
[0009]优选的，所述第一
ViT
编码器具体包括：预先训练好的
ViT
编码器，所述
ViT
编码器最后一层网络前依据总注意力值进行区域选择
。
[0010]优选的，所述预先训练好的
ViT
编码器每一层网络的计算公式如下：编码器每一层网络的计算公式如下：其中，为多头自注意力机制，为多层感知机，为层归一化，为
ViT
编码器的总模块数，表示每层网络的输入特征，表示经过层的特征，表示经过层的特征
。
[0011]优选的，所述依据总注意力值进行区域选择计算公式如下：优选的，所述依据总注意力值进行区域选择计算公式如下：其中，为每个特征块对应的每一层注意力值的乘积，为特征块个数，，为图像块个数，为样本模态种类，为每个特征块对应的每一层注意力值，为总注意力值，选择排名前的特征块对应的特征作为最后一层网络的融合特征输入
。
[0012]优选的，所述亚型提示空间存储组提示特征，为菌种类别数；每类菌种分配一组提示特征，以提示特征作为训练参数，为长度，维度等于输入融合特征的维度，对所述亚型提示空间进行训练
。
[0013]一种基于提示增量的多模态菌落样本细粒度分类系统，包括：样本获取模块，获取多模态微生物平板图像，将其作为样本；序列生成模块，对所述样本进行缩放和标准化处理，然后将处理后样本进行分块并转化为序列，与学习类别表示参数拼接，并加上位置编码作为新特征序列；特征类别获取模块，将所述新特征序列送入第一
ViT
编码器中，获取辨识性融合特征与粗类别表示；菌种分类获取模块，将所述粗类别表示输入线性分类器获取菌种分类结果；
提示特征获取模块，根据所述菌种分类结果，在亚型提示空间查询获取对应的提示特征；类别获取模块，将所述辨识性融合特征与所述提示特征进行拼接，作为新的输入，输入第二
ViT
编码器，对输出的提示特征进行平均池化，然后将其作为细类别表示；分类获取模块，将所述细类别表示输入所述线性分类器获取亚型分类结果
。
[0014]优选的，还包括：更新模块，在精调训练时，计算所述亚型分类结果与样本真值标签的损失值，并固定所述第二
ViT
编码器的主干模型参数，根据所述损失值更新所述亚型提示空间对应的提示特征和所述线性分类器
。
[0015]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于提示增量的多模态菌落样本细粒度分类方法及系统，能够部署在临床微生物流水线上，实时完成对多模态菌落样本的自动分类与预筛选；鲁棒性强，充分融合了多模态数据，使得模型的综合能力更强；可塑性强，结合了提示增量的方法，使得模型可以随时训练新数据，在吸收新知识的同时整合旧知识；训练成本低，引入了提示机制，对模型精调训练时仅需要更新约
1%
的参数；精确度高，能够准确分类出每类菌种的具体亚型，相比传统方法准确率提升了
10%
以上
。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于提示增量的多模态菌落样本细粒度分类方法，其特征在于，包括：获取多模态微生物平板图像，将其作为样本，建立样本细粒度分类模型；所述样本细粒度分类模型运行过程如下；步骤1：对所述样本进行缩放和标准化处理，然后将处理后样本进行分块并转化为序列，与学习类别表示参数拼接，并加上位置编码作为新特征序列；步骤2：将所述新特征序列送入第一
ViT
编码器中，获取辨识性融合特征与粗类别表示；步骤3：将所述粗类别表示输入线性分类器获取菌种分类结果；步骤4：根据所述菌种分类结果，在亚型提示空间查询获取对应的提示特征；步骤5：将所述辨识性融合特征与所述提示特征进行拼接，作为新的输入，输入第二
ViT
编码器，对输出的提示特征进行平均池化，然后将其作为细类别表示；步骤6：将所述细类别表示输入所述线性分类器获取亚型分类结果
。2.
根据权利要求1所述的一种基于提示增量的多模态菌落样本细粒度分类方法，其特征在于，还包括：计算所述亚型分类结果与样本真值标签的损失值，并固定所述第二
ViT
编码器的主干模型参数，根据所述损失值更新所述亚型提示空间对应的提示特征和所述线性分类器
。3.
根据权利要求1所述的一种基于提示增量的多模态菌落样本细粒度分类方法，其特征在于，所述第一
ViT
编码器具体包括：预先训练好的
ViT
编码器，所述
ViT
编码器最后一层网络前依据总注意力值进行区域选择
。4.
根据权利要求3所述的一种基于提示增量的多模态菌落样本细粒度分类方法，其特征在于，所述预先训练好的
ViT
编码器每一层网络的计算公式如下：编码器每一层网络的计算公式如下：其中，为多头自注意力机制，为多层感知机，为层归一化，为
ViT
编码器的总模块数，表示每层网络的输入特征，表示经过层的特征，表示经过层的特征
。5.
...

【专利技术属性】
技术研发人员：雷印杰，肖玉玲，刘雅，陈晗，唐振杰，谢轶，
申请(专利权)人：四川大学，
类型：发明
国别省市：