【技术实现步骤摘要】
本申请涉及多模态学习，特别是涉及一种基于矢量量化多模态医学数据表征融合模型的分类方法。
技术介绍
1、随着深度学习不断深入发展，越来越多的ai技术被应用到了医学领域。现阶段，用于医疗领域的深度学习模型主要分为两大类，一类是使用单一图像数据进行辅助诊断的单模态医学图像表征模型，另一类是能利用多种模态数据的多模态医学数据融合表征模型。根据疾病种类的不同，有些慢性病诊断周期长、治疗手段多，因此积累了大量不同模态的数据，若仍用单模态模型进行辅助诊断则不够全面、精确。
2、多模态深度学习模型的设计通常包括特征提取、特征融合和联合训练几个关键步骤。首先，从每种模态的数据中提取特征，文本数据可以使用词嵌入(word embeddings)或序列模型(如lstm、transformer)，图像数据可以使用卷积神经网络(cnn)，音频数据可以使用时频分析方法(如mel频谱图)结合cnn。接着，将从不同模态中提取的特征进行融合，常见的方法包括早期融合(在模型输入阶段将所有模态的数据进行拼接)、中期融合(在模型中间层通过交叉注意力或自注意力机制进...
【技术保护点】
1.一种基于矢量量化多模态医学数据表征融合模型的分类方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于矢量量化多模态医学数据表征融合模型的分类方法，其特征在于，所述多模态医学数据表征融合模型还包括激活函数，将患者MMES分数、FAQ分数和人口统计学数据转化为Tensor格式数据，与所述矢量量化特征向量拼接，输入所述激活函数，得到分类结果。
3.根据权利要求1所述的基于矢量量化多模态医学数据表征融合模型的分类方法，其特征在于，所述双层3D卷积神经网络模型包含三个Block，所述Block分别有两组按对称结构排列。
4.根据...
【技术特征摘要】
1.一种基于矢量量化多模态医学数据表征融合模型的分类方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于矢量量化多模态医学数据表征融合模型的分类方法，其特征在于，所述多模态医学数据表征融合模型还包括激活函数，将患者mmes分数、faq分数和人口统计学数据转化为tensor格式数据，与所述矢量量化特征向量拼接，输入所述激活函数，得到分类结果。
3.根据权利要求1所述的基于矢量量化多模态医学数据表征融合模型的分类方法，其特征在于，所述双层3d卷积神经网络模型包含三个block，所述block分别有两组按对称结构排列。
4.根据权利要求1所述的基于矢量量化多模态医学数据表征融合模型的分类方法，其特征在于，所述退化网络模块包括三层全连接层神经网络，用于对向量进行降级处理。
5.根据权利要求1所述的基于矢量量化多模态医...
【专利技术属性】
技术研发人员：储节磊，程莹，李昱晓，刘启德，李天瑞，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。