【技术实现步骤摘要】
基于模态组合的信息分类方法、装置、电子设备及介质
[0001]本专利技术涉及人工智能领域，尤其涉及一种基于模态组合的信息分类方法、装置、电子设备及存储介质。
技术介绍
[0002]在金融等领域中，通常会接收到大量不同模态的业务信息，如文本信息或者图片信息等。由于不同的业务都是以业务信息作为数据基础而开展的，因此信息的分类很重要。
[0003]现有的信息分类方法通常通过多模态模型结构实现，但是多模态模型的模型结构只支持对于多种模态信息组合的输出数据，对于单一模态的输入，例如，只有图片信息或者只有文本信息时，这种模型结构就不支持，进而造成信息分类的效率较低。因此，亟待提出一种效率较高的信息分类方法。
技术实现思路
[0004]本专利技术提供一种基于模态组合的信息分类方法、装置、电子设备及存储介质，其主要目的在于提高信息分类的效率。
[0005]为实现上述目的，本专利技术提供的一种基于模态组合的信息分类方法，包括：
[0006]获取训练图片信息集及训练文本信息集，对所述训练图片信息集中的训练...
【技术保护点】
【技术特征摘要】
1.一种基于模态组合的信息分类方法，其特征在于，所述方法包括：获取训练图片信息集及训练文本信息集，对所述训练图片信息集中的训练图片信息进行区域切割处理，得到区域图片集，对所述训练文本信息集中的训练文本信息进行分词处理，得到分词文本集；将所述区域图片集输入至图片特征提取模型中进行图片特征提取，得到初始图片特征，将所述分词文本集输入至文本特征提取模型中进行文本特征提取，得到初始文本特征；根据预设单模态分类模型分别构建所述初始图片特征对应的图片损失值及所述初始文本特征对应的文本损失值，分别利用所述图片损失值和所述文本损失值对所述图片特征提取模型和所述文本特征提取模型进行模型训练处理；当所述模型训练符合预设收敛条件时，分别将所述初始图片特征及所述初始文本特征输入至对应的全连接层中，得到图片特征向量和文本特征向量，对所述图片特征向量和所述文本特征向量进行向量拼接处理，得到融合特征向量；根据预设多模态分类模型构建所述融合特征向量对应的融合损失值，对所述融合损失值、所述图片损失值和所述文本损失值进行求和处理，得到最终损失值；根据所述图片特征提取模型、所述文本特征提取模型、所述单模态分类模型和所述多模态分类模型构建多任务分类模型，利用所述最终损失值对所述多任务分类模型进行模型训练，得到训练后的多任务分类模型，将预获取的待分类信息输入至训练后的多任务分类模型中，得到标准分类结果。2.如权利要求1所述的基于模态组合的信息分类方法，其特征在于，所述将所述区域图片集输入至图片特征提取模型中进行图片特征提取，得到初始图片特征，包括：在所述区域图片集中添加预设类别块，得到待处理图片集；对所述待处理图片集中的待处理图片进行图片展平及向量化处理，得到多个展平向量，将多个所述展平向量进行向量拼接处理，得到拼接向量；对所述拼接向量进行降维处理，得到降维向量，在所述降维向量中添加位置编码，得到位置编码特征；将所述位置编码特征输入至所述图片特征提取模型中的编码层，得到交互特征，从所述交互特征中抽取与所述类别块对应的特征作为初始图片特征。3.如权利要求1所述的基于模态组合的信息分类方法，其特征在于，所述分别利用所述图片损失值和所述文本损失值对所述图片特征提取模型和所述文本特征提取模型进行模型训练处理，包括：对所述图片损失值和所述文本损失值进行梯度反传处理，并利用梯度反传后的损失值训练所述图片特征提取模型和所述文本特征提取模型中的模型参数；当训练后的图片特征提取模型和文本特征提取模型符合预设收敛条件时，确定模型训练结束。4.如权利要求1所述的基于模态组合的信息分类方法，其特征在于，所述根据预设单模态分类模型构建所述初始图片特征对应的图片损失值，包括：将所述初始图片特征输入至所述单模态分类模型中进行分类计算，得到分类预测值；将所述分类预测值和预设分类真实值输入至交叉熵损失函数中，得到图片损失值。5.如权利要求1所述的基于模态组合的信息分类方法，其特征在于，所述将所述分词文
本集输入至文本特征提取模型中进行文本特征提取，得到初始文本特征，包括：对所述分词文本集进行掩码处理，得到掩码数据集；通过所述文本特...
【专利技术属性】
技术研发人员：舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。