【技术实现步骤摘要】
基于提示增量的多模态菌落样本细粒度分类方法及系统
[0001]本专利技术涉及计算机视觉领域
，更具体的说是涉及一种基于提示增量的多模态菌落样本细粒度分类方法及系统
。
技术介绍
[0002]微生物耐药是目前全球公共健康领域面临的重大挑战，也是各国政府和社会广泛关注的世界性问题
。
随着各种新发感染性疾病的出现及病原菌耐药性的持续上升，微生物实验室检测在感染性疾病的诊断和治疗中发挥着越来越重要的作用
。
在临床上及时
、
准确地对微生物种类进行识别，能够为感染性疾病尽早提供诊断依据，帮助针对性用药，减少抗生素滥用
。
在临床微生物实验室中，患者样本中微生物的鉴定长期以来主要基于对分离到的病原体所表现出的形态学特征进行初步的判断
。
[0003]其中根据菌落形态进行微生物分类是预筛选工作中一个重要的环节，它可以将病原体大致分类，使后续鉴定更加具体
。
预筛选的细致度和准确度影响着临床微生物实验室的工作效率
。
【技术保护点】
【技术特征摘要】
1.
一种基于提示增量的多模态菌落样本细粒度分类方法，其特征在于，包括：获取多模态微生物平板图像，将其作为样本，建立样本细粒度分类模型；所述样本细粒度分类模型运行过程如下；步骤1：对所述样本进行缩放和标准化处理，然后将处理后样本进行分块并转化为序列，与学习类别表示参数拼接，并加上位置编码作为新特征序列；步骤2：将所述新特征序列送入第一
ViT
编码器中，获取辨识性融合特征与粗类别表示；步骤3：将所述粗类别表示输入线性分类器获取菌种分类结果；步骤4：根据所述菌种分类结果，在亚型提示空间查询获取对应的提示特征；步骤5：将所述辨识性融合特征与所述提示特征进行拼接，作为新的输入，输入第二
ViT
编码器，对输出的提示特征进行平均池化，然后将其作为细类别表示；步骤6：将所述细类别表示输入所述线性分类器获取亚型分类结果
。2.
根据权利要求1所述的一种基于提示增量的多模态菌落样本细粒度分类方法，其特征在于，还包括：计算所述亚型分类结果与样本真值标签的损失值，并固定所述第二
ViT
编码器的主干模型参数，根据所述损失值更新所述亚型提示空间对应的提示特征和所述线性分类器
。3.
根据权利要求1所述的一种基于提示增量的多模态菌落样本细粒度分类方法，其特征在于，所述第一
ViT
编码器具体包括：预先训练好的
ViT
编码器，所述
ViT
编码器最后一层网络前依据总注意力值进行区域选择
。4.
根据权利要求3所述的一种基于提示增量的多模态菌落样本细粒度分类方法，其特征在于，所述预先训练好的
ViT
编码器每一层网络的计算公式如下：编码器每一层网络的计算公式如下：其中，为多头自注意力机制，为多层感知机，为层归一化，为
ViT
编码器的总模块数，表示每层网络的输入特征，表示经过层的特征，表示经过层的特征
。5.
...
【专利技术属性】
技术研发人员：雷印杰，肖玉玲，刘雅，陈晗，唐振杰，谢轶，
申请(专利权)人：四川大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。