【技术实现步骤摘要】
本专利技术涉及一种支持多模态数据弱监督分类的方法和系统，属于深度学习领域。
技术介绍
1、近年来，随着大数据时代的到来，基于多模态数据的深度学习技术飞速发展。在隐私监测、医疗、车联网、物联网等领域，互联网产生了大量多模态数据，与单模态数据相比，多模态数据中包含的信息更全面，通过融合不同模态的信息可以训练出分类效果更好的模型，因此，跨模态数据分类研究受到越来越多的关注。然而，在语音识别、事件检测、情绪识别等多模态研究中往往依赖大量的标注数据。随着数据量的增长，标注成本也随之增加。因此，如何在标注缺乏的条件下充分利用少量的有标注数据和大量未标记的数据，训练泛化性更强的模型是当前需要解决的问题。
2、当前，网络上的多模态数据成指数增长，通过对不同模态的数据进行融合可以获得更多的信息，训练更好的神经网络模型。然而，实际应用中这些多模态数据大部分都没有标注，无法直接使用，需要对其进行标注才能用来研究。而进行大量数据的标注费时费力、代价高昂。如何在少量标注的样本下对多模态数据进行有效分类是各行业的一个迫切需求。
<
【技术保护点】
1.一种支持多模态数据弱监督分类的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，通过Resnet50模型抽取所述图像特征，通过Bert模型抽取所述文本特征，然后通过多模态特征融合模型M-DeepFM分别对图像特征和文本特征进行特征融合，生成所述融合特征。
3.根据权利要求2所述的方法，其特征在于，所述多模态特征融合模型M-DeepFM包括因子分解机部分、深度神经网络部分和线性神经网络部分，其中前两个部分共享相同的输入，将因子分解机部分、深度神经网络部分的输出output1和output2使用Relu函数激活，再经过...
【技术特征摘要】
1.一种支持多模态数据弱监督分类的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，通过resnet50模型抽取所述图像特征，通过bert模型抽取所述文本特征，然后通过多模态特征融合模型m-deepfm分别对图像特征和文本特征进行特征融合，生成所述融合特征。
3.根据权利要求2所述的方法，其特征在于，所述多模态特征融合模型m-deepfm包括因子分解机部分、深度神经网络部分和线性神经网络部分，其中前两个部分共享相同的输入，将因子分解机部分、深度神经网络部分的输出output1和output2使用relu函数激活，再经过线性神经网络部分对输入特征表示进行三次线性转换，并进行线性相加获得最终的融合特征表示。
4.根据权利要求1所述的方法，其特征在于，所述基于mixmatch的多模态弱监督分类模型对特征表示进行混合匹配处理，获得新的训练特征集，用于进行多模态弱监督分类；所述混合匹配包括：
5.根据权利要求4所述的方法，其特征在于，所述基于mixmatch的多模态弱监督分类模型包含两种针对多模态数据的弱监督分类方式：s-mixmatch和m-mixmatch；s-mixmatch是采用数据标准化对无标签特征进行特征增强，数据标准化是将样本的...
【专利技术属性】
技术研发人员：李斌斌，常慧洋，王海平，丁煜，贾思宇，亓子森，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。