【技术实现步骤摘要】
本专利技术涉及知识蒸馏，尤其涉及一种基于知识蒸馏的缺失多模态数据动态融合方法、系统及装置。
技术介绍
1、多模态数据如不同图像数据、文本、向量特征等反应了事物的不同侧面信息，蕴含了互补或者重合的信息，多模态学习可以利用各种数据模态的信息来提高模型的准确性、泛化性和稳定性。在医学领域，影像、临床检查数据、人口学信息、基因检测信息等都属于患者的多模态数据，可以综合反应患者的全面信息。一种医学数据即可视为一种模态数据。医生在做疾病诊断、治疗方案选择及预后预测时，通常会借助不同的信息来做出综合考量。但是，医学数据往往存在较大的缺失率，例如多模态影像数据和基因检测数据容易存在缺失的情况。例如，在非小细胞肺癌的诊断中，ct、临床数据和基因表达可以综合起来达到更高的诊断精度，但是基因检测较为昂贵，一般的患者没有基因表达数据。
2、一种常见的多模态数据处理方法是寻找不同模态之间共享的共同信息进行学习。然而，现有大多数多模态方法需要从完整模态的样本中学习，而大量收集的数据往往存在模态缺失的情况。直接删除不完整模态的样本会造成大量数据的浪费，可...
【技术保护点】
1.一种基于知识蒸馏的缺失多模态数据动态融合方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于知识蒸馏的缺失多模态数据动态融合方法，其特征在于，采用2层的多层感知机来作为门限网络的结构，通过多个特征编码器对每种模态医学数据分别编码后，输入门限网络，门限网络用于决定哪些专家网络被激活。
3.根据权利要求1所述的一种基于知识蒸馏的缺失多模态数据动态融合方法，其特征在于，多模态动态融合网络的输出是对多个专家网络的综合，采用one-hot的向量表示对于每个实例只有一个专家网络被使用。
4.根据权利要求1所述的一种基于知...
【技术特征摘要】
1.一种基于知识蒸馏的缺失多模态数据动态融合方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于知识蒸馏的缺失多模态数据动态融合方法，其特征在于，采用2层的多层感知机来作为门限网络的结构，通过多个特征编码器对每种模态医学数据分别编码后，输入门限网络，门限网络用于决定哪些专家网络被激活。
3.根据权利要求1所述的一种基于知识蒸馏的缺失多模态数据动态融合方法，其特征在于，多模态动态融合网络的输出是对多个专家网络的综合，采用one-hot的向量表示对于每个实例只有一个专家网络被使用。
4.根据权利要求1所述的一种基于知识蒸馏的缺失多模态数据动态融合方法，其特征在于，专家网络的架构选择2层多层感知机，起到模态选择和特征融合的作用，特征融合包括拼接、相加和相乘操作，实现不同模态数据的组合。
5.根据权利要求1所述的一种基于知识蒸馏的缺失多模态数据动态融合方法，其特征在于，将训练得到的教师模型和学生模型组合，构成教师学生多模态动态融合网络，利用教师模型对学生模...
【专利技术属性】
技术研发人员：李劲松，胡佩君，王伟彬，周天舒，田雨，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。