【技术实现步骤摘要】
本申请涉及自然语言处理，尤其涉及一种多模态数据生成方法、模型训练方法及相关产品。
技术介绍
1、多模态数据指包括两种或两种以上不同模态的数据，其中，数据的模态包括：文本、图像、音频、视频。显然多模态数据相较于单一模态的数据，携带更全面、丰富的信息，因此多模态数据的应用也越来越广。因此如何获得多模态数据中的单一模态的数据是一个亟需解决的问题。
技术实现思路
1、本申请提供一种多模态数据生成方法、模型训练方法及相关产品，以提高获得多模态数据中的单一模态的数据的效率，其中，相关产品包括多模态数据生成装置、训练装置、电子设备、计算机可读存储介质及计算机程序产品。
2、第一方面，提供了一种多模态数据生成方法，所述方法包括：
3、获取目标提示词，所述目标提示词包括生成目标多模态数据的描述，所述目标多模态数据包括第一模态的第一数据和第二模态的第二数据，所述第一模态与所述第二模态不同；
4、将所述目标提示词输入至目标生成模型，获得所述目标生成模型生成的第一中间数据，所述...
【技术保护点】
1.一种多模态数据生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在基于所述嵌入向量，确定所述目标多模态数据中的所述第二数据之后，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，在所述通过利用所述第二数据替换所述第一中间数据中的所述第二数据的嵌入向量，得到所述目标多模态数据之前，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，所述第二数据包括两个或两个以上的第三数据，所述两个或两个以上的第三数据均与所述第一中间数据中的同一内容相关；
5.根据权利要求1至4中任意一项...
【技术特征摘要】
1.一种多模态数据生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在基于所述嵌入向量，确定所述目标多模态数据中的所述第二数据之后，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，在所述通过利用所述第二数据替换所述第一中间数据中的所述第二数据的嵌入向量，得到所述目标多模态数据之前，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，所述第二数据包括两个或两个以上的第三数据，所述两个或两个以上的第三数据均与所述第一中间数据中的同一内容相关；
5.根据权利要求1至4中任意一项所述的方法，其特征在于，在所述基于所述嵌入向量，确定所述目标多模态数据中的所述第二数据之前，所述方法还包括：
6.根据权利要求1至4中任意一项所述的方法，其特征在于，所述获取目标提示词，包括：
7.根据权利要求1至4中任意一项所述的方法，其特征在于，所述第一中间数据还包括用于从所述第一中间数据中确定所述嵌入向量的标识，在所述基于所述嵌入向量，确定所述目标多模态数据中的所述第二数据之前，所述方法还包括：
8.一种多模态数据生成方法，其特征在于，所述方法包括：
9.一种模型训练方法，其特征在于，所述方法包括：
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
11....
【专利技术属性】
技术研发人员：高龑，
申请(专利权)人：书行科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。