基于扩散模型的多模态菌落样本分类识别方法及系统技术方案

本发明专利技术公开了一种基于扩散模型的多模态菌落样本自主学习分类识别方法及系统，涉及计算机视觉技术领域，通过将多模态的菌落样本输入到多模态菌落样本分类模型中，得到分类结果；首先本发明专利技术通过对多模态样本输入进行特征融合，深入挖掘不同模态之间的关联关系，充分了利用多模态的语义信息

【技术实现步骤摘要】
基于扩散模型的多模态菌落样本分类识别方法及系统


[0001]本专利技术涉及计算机视觉
，更具体的说是涉及一种基于扩散模型的多模态菌落样本自主学习分类识别方法及系统
。

技术介绍

[0002]目前，感染性疾病是影响人类健康的一大类临床疾病，包括呼吸道感染
、
消化道感染
、
腹腔感染
、
血流感染
、
皮肤软组织感染等各种类型，在各个国家都是引起高致病率和病死率的原因
。
随着目前各种新发感染性疾病的出现及病原菌耐药性的持续上升，微生物实验室检测在感染性疾病的诊断和治疗中发挥着越来越重要的作用
。
[0003]传统的微生物鉴定主要包括了培养和分离
、
生化鉴定，它往往是基于传统培养方法和微生物的形态
、
生化
、
生理（表型）来进行鉴定的
。
随着科学的进步与技术的发展，微生物鉴定的方法也越来越多
。
但传统培养方法仍是不可替代的，仍然是药敏表型检测，分子流行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于扩散模型的多模态菌落样本自主学习分类识别方法，其特征在于，包括：获取多模态的菌落样本；将多模态的菌落样本输入到多模态菌落样本分类模型中，得到分类结果；所述多模态菌落样本分类模型的分类过程如下：将所述多模态的菌落样本通过多模态双粒度条件引导产生多模态全局先验和多模态局部先验；对所述多模态全局先验
、
多模态局部先验以及样本标签的独热编码应用扩散过程对应生成三个噪声变量；将多模态的菌落样本通过多模态特征融合编码进行特征融合，获得多模态特征嵌入；将三个噪声变量连接后投影到潜在空间中后，连同多模态特征嵌入一同输入去噪网络中进行整合，并在参数化反向扩散过程的同时学习正向过程中三个噪声变量采样的噪声分布，在反向扩散过程中生成最终的分类结果
。2.
根据权利要求1所述的一种基于扩散模型的多模态菌落样本自主学习分类识别方法，其特征在于，还包括：将训练好的多模态菌落样本分类模型作为初始的教师网络和学生网络；教师网络用于推理生成伪标签，根据难度
、
信息两个主动采样指标，挑选
top
‑
N
个数据并以伪标签作为标注并添加到训练数据集中；冻结教师网络，训练学生网络并通过
EMA
更新教师网络的参数，从而更新伪标签，完成多模态菌落样本分类模型对于新的多模态菌落样本的自主学习
。3.
根据权利要求1所述的一种基于扩散模型的多模态菌落样本自主学习分类识别方法，其特征在于，所述多模态双粒度条件引导分成两条支路，分别为多模态全局支路与多模态局部支路，其中多模态全局支路使用以
ViT
为主干网络的全局编码器，对多模态样本的特征提取与融合，然后将其输出经过 的卷积层生成多模态显著图，通过使用平均响应从显著图中预测得到多模态全局先验；多模态局部支路通过与多模态全局支路生成的显著性图结合后裁剪出响应显著的
RoI
，再通过特征提取网络和门控注意力得到多模态局部先验
。4.
根据权利要求1所述的一种基于扩散模型的多模态菌落样本自主学习分类识别方法，其特征在于，所述多模态特征融合编码采用现成预训练的变分自动编码器，将多模态菌落样本的特征融合并编码到隐空间中，然后把多模态特征拼接后得到多模态联合特征并引入注意力机制，预测不同模态的重要性分布概率，再将分布概率与多模态融合特征做点积，得到对于不同模态特征重要性重新加权后的新的多模态融合特征

【专利技术属性】
技术研发人员：雷印杰，肖玉玲，刘雅，何鸿添，唐振杰，谢轶，
申请(专利权)人：四川大学，
类型：发明
国别省市：