多模态联合学习方法、装置、设备、可读存储介质及产品制造方法及图纸

本申请公开了一种多模态联合学习方法、装置、设备、可读存储介质及产品，涉及计算机技术领域，包括：获取训练数据与待训练的多模态学习模型，其中，所述多模态学习模型包括融合网络与任务网络；获取所述训练数据中每一种单模态数据对应的字节序列，将每一所述字节序列输入至所述多模态学习模型中，通过所述融合网络确定所有所述字节序列对应的融合嵌入向量；通过任务网络确定所述融合嵌入向量对应的处理结果，基于所述处理结果调整所述融合网络与所述任务网络的网络参数，返回执行将每一所述字节序列输入至所述多模态学习模型的步骤，直至满足预设的迭代终止条件。本申请降低了实现多模态联合学习所需的计算机系统资源耗费。

【技术实现步骤摘要】

本申请涉及计算机，尤其涉及一种多模态联合学习方法、装置、设备、可读存储介质及产品。

技术介绍

1、近年来，随着互联网技术的高速发展，数据也开始呈现多样化。同一个对象，描述的方式或视角各不相同，可以把这些数据的每一个视角或者方式成为一个模态，而不同模态之间存在一定的关联性。因此，对于跨模态数据的处理就显得格外重要。

2、目前，随着互联网技术的发展，产生了多模态数据的联合学习技术。这些技术主要是通过输入不同模态的数据，利用不同模态数据之间的相关性，通过神经网络进行训练。

3、通常多模态联合学习方式主要集中预先建立存储不同字符与token(标识符)之间对应关系的词汇表，通过查询词汇表在将不同模态的数据分别转化为token，然后用这些token训练多模态深度学习模型，如将单模态数据和多模态数据输入至解耦注意力变换transformer(基于自注意力机制的神经网络模型)网络模型，分别生成语义元素token语义表示特征和跨模态语义表示特征，对解耦注意力transformer网络模型进行训练，由此，使解耦注意力变换transformer网络模型有本文档来自技高网...

【技术保护点】

1.一种多模态联合学习方法，其特征在于，所述多模态联合学习方法包括以下步骤：

2.如权利要求1所述多模态联合学习方法，其特征在于，所述通过所述融合网络确定所有所述字节序列对应的融合嵌入向量的步骤，包括：

3.如权利要求2所述多模态联合学习方法，其特征在于，所述融合每一所述嵌入向量得到融合嵌入向量的步骤，包括：

4.如权利要求3所述的多模态联合学习方法，其特征在于，所述融合网络包括线性层、计算层、归一化层与融合层，所述确定每一种所述单模态数据对应的注意力权重，基于每一种单模态数据对应的所述注意力权重对所有所述嵌入向量进行加权求和，得到融合嵌入向量的步骤，...

【技术特征摘要】

1.一种多模态联合学习方法，其特征在于，所述多模态联合学习方法包括以下步骤：

2.如权利要求1所述多模态联合学习方法，其特征在于，所述通过所述融合网络确定所有所述字节序列对应的融合嵌入向量的步骤，包括：

3.如权利要求2所述多模态联合学习方法，其特征在于，所述融合每一所述嵌入向量得到融合嵌入向量的步骤，包括：

4.如权利要求3所述的多模态联合学习方法，其特征在于，所述融合网络包括线性层、计算层、归一化层与融合层，所述确定每一种所述单模态数据对应的注意力权重，基于每一种单模态数据对应的所述注意力权重对所有所述嵌入向量进行加权求和，得到融合嵌入向量的步骤，包括：

5.如权利要求4所述的多模态联合学习方法，其特征在于，所述通过所述计算层基于每一所述嵌入向量对应的查询向量与键向量，计算每一种所述单模态数据对应的注意力分数的步骤，包括：

6.如权利要求1至5任一项所述的多模态联合学习...

【专利技术属性】
技术研发人员：丁鹏勇，孙敏，刘嘉荣，岳岩岩，刘玮，徐珂，马育良，陈霖捷，李莉，
申请(专利权)人：中移信息技术有限公司，
类型：发明
国别省市：