【技术实现步骤摘要】
本申请涉及计算机，具体而言，本申请涉及一种多模态表示的对齐模型的训练方法、信息处理方法及装置。
技术介绍
1、在游戏、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)和生成式人工智能(artificial intelligence generated content，aigc)等众多领域中，需要通过多模态的表示对齐，对齐后的特征包含更多模态的信息，例如通过文本-图像之间的特征对齐。
2、然而，现有技术中，仅通过文本-图像之间的特征对齐，对齐后的特征所包含的模态的信息有限。
技术实现思路
1、本申请实施例提供了一种多模态表示的对齐模型的训练方法、信息处理方法及装置，用于解决现有技术中对齐后的特征所包含的模态的信息有限的技术问题，可以达到增强对齐后的特征所包含的模态的信息的技术效果。
2、一方面，本申请实施例提供了一种多模态表示的对齐模型的训练方法，包括：
3、获取至少一组多模态训练样本组，一组多模态训练样本组包括训练样本文本、训练样本图像和训练样本点云，一组多模态训练样本组中的训练样本表示同一对象；
4、基于至少一组多模态训练样本组，对多模态表示的对齐模型执行训练操作，直至满足对齐模型的多模态对齐条件，得到训练结束的对齐模型；
5、其中，执行训练操作，包括：
6、通过对齐模型对多模态训练样本组中的训练样本进行特征提取处理，得到多模态训练样本组对应的多模态训练样
7、对于每一多模态训练样本特征组，确定多模态训练样本特征组中的第一训练样本特征与多模态训练样本特征组中的各第二训练样本特征之间的对齐结果，第一训练样本特征包括多模态训练样本特征组中的其中一个训练样本特征，第二训练样本特征包括多模态训练样本特征组中除第一训练样本特征外的训练样本特征；
8、若基于第一训练样本特征对应的对齐结果确定未满足多模态对齐条件，则更新对齐模型的模型参数。
9、另一方面，本申请实施例还提供了一种信息处理方法，包括：
10、获取待处理信息，待处理信息包括待处理文本、待处理图像或待处理点云中的至少一项；
11、将待处理信息输入信息处理模型，以得到信息处理模型基于待处理信息输出的信息处理结果，信息处理模型包括训练结束的对齐模型，训练结束的对齐模型是本申请任一实施例的方法的步骤得到的。
12、另一方面，本申请实施例还提供了一种多模态表示的对齐模型的训练装置，包括：
13、训练样本获取模块，用于获取至少一组多模态训练样本组，一组多模态训练样本组包括训练样本文本、训练样本图像和训练样本点云，一组多模态训练样本组中的训练样本表示同一对象；
14、训练模块，用于基于至少一组多模态训练样本组，对多模态表示的对齐模型执行训练操作，直至满足对齐模型的多模态对齐条件，得到训练结束的对齐模型；
15、其中，训练模块在执行训练操作时，用于：
16、通过对齐模型对多模态训练样本组中的训练样本进行特征提取处理，得到多模态训练样本组对应的多模态训练样本特征组，多模态训练样本特征组包括训练样本文本特征、训练样本图像特征和训练样本点云特征；
17、对于每一多模态训练样本特征组，确定多模态训练样本特征组中的第一训练样本特征与多模态训练样本特征组中的各第二训练样本特征之间的对齐结果，第一训练样本特征包括多模态训练样本特征组中的其中一个训练样本特征，第二训练样本特征包括多模态训练样本特征组中除第一训练样本特征外的训练样本特征；
18、若基于第一训练样本特征对应的对齐结果确定未满足多模态对齐条件，则更新对齐模型的模型参数。
19、可选的，对齐模型包括用于提取文本特征的第一特征提取模型、用于提取图像特征的第二特征提取模型和用于提取点云特征的第三特征提取模型，训练模块在通过对齐模型对多模态训练样本组中的训练样本进行特征提取处理时，可以用于：
20、通过第一特征提取模型对多模态训练样本组中的训练样本文本进行特征提取处理，得到训练样本文本对应的训练样本文本特征；
21、通过第二特征提取模型对多模态训练样本组中的训练样本图像进行特征提取处理，得到训练样本图像对应的训练样本图像特征；
22、通过第三特征提取模型对多模态训练样本组中的训练样本点云进行特征提取处理，得到训练样本点云对应的训练样本点云特征；
23、训练模块在更新对齐模型的模型参数时，可以用于：
24、更新第一特征提取模型、第二特征提取模型或第三特征提取模型中的至少一项的模型参数。
25、可选的，第一特征提取模型和第二特征提取模型为同一预训练好的文本-图像特征提取模型，文本-图像特征提取模型用于提取对齐的文本特征和图像特征；
26、训练模块在更新第一特征提取模型、第二特征提取模型或第三特征提取模型中的至少一项的模型参数时，可以用于以下的至少一项：
27、基于第一参数更新幅度更新文本-图像特征提取模型的模型参数；
28、基于第二参数更新幅度更新第三特征提取模型的模型参数；
29、其中，第一参数更新幅度小于第二参数更新幅度。
30、可选的，训练模块在确定多模态训练样本特征组中的第一训练样本特征与多模态训练样本特征组中的各第二训练样本特征之间的对齐结果时，可以用于以下的至少一项：
31、确定多模态训练样本特征组中的训练样本文本特征与多模态训练样本特征组中的训练样本图像特征之间的对齐结果，以及确定多模态训练样本特征组中的训练样本文本特征与多模态训练样本特征组中的训练样本点云特征之间的对齐结果；
32、确定多模态训练样本特征组中的训练样本图像特征与多模态训练样本特征组中的训练样本文本特征之间的对齐结果，以及确定多模态训练样本特征组中的训练样本图像特征与多模态训练样本特征组中的训练样本点云特征之间的对齐结果；
33、确定多模态训练样本特征组中的训练样本点云特征与多模态训练样本特征组中的训练样本文本特征之间的对齐结果，以及确定多模态训练样本特征组中的训练样本点云特征与多模态训练样本特征组中的训练样本图像特征之间的对齐结果。
34、可选的，对齐结果包括第一对齐结果、第二对齐结果或第三对齐结果中的至少一项；
35、训练模块在确定多模态训练样本特征组中的第一训练样本特征与多模态训练样本特征组中的各第二训练样本特征之间的对齐结果时，可以用于以下的至少一项：
36、基于第一对齐损失函数确定第一训练样本特征与各第二训练样本特征之间的第一对齐损失值，以得到第一对齐结果，第一对齐结果包括第一对齐损失值；
37、通过生成模型对第一训练样本特征进行处理，得到第三训练样本特征，并基于第二对齐损失本文档来自技高网...
【技术保护点】
1.一种多模态表示的对齐模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对齐模型包括用于提取文本特征的第一特征提取模型、用于提取图像特征的第二特征提取模型和用于提取点云特征的第三特征提取模型，所述通过所述对齐模型对所述多模态训练样本组中的训练样本进行特征提取处理，包括：
3.根据权利要求2所述的方法，其特征在于，所述第一特征提取模型和所述第二特征提取模型为同一预训练好的文本-图像特征提取模型，所述文本-图像特征提取模型用于提取对齐的文本特征和图像特征；
4.根据权利要求1所述的方法，其特征在于，所述确定所述多模态训练样本特征组中的第一训练样本特征与所述多模态训练样本特征组中的各第二训练样本特征之间的对齐结果，包括以下的至少一项：
5.根据权利要求1-4任一项所述的方法，其特征在于，所述对齐结果包括第一对齐结果、第二对齐结果或第三对齐结果中的至少一项；
6.根据权利要求5所述的方法，其特征在于，所述多模态对齐条件包括以下的至少一项：
7.根据权利要求6所述的方法，其特征在于，所
8.根据权利要求5所述的方法，其特征在于，所述第一对齐损失函数、所述第二对齐损失函数或所述第三对齐损失函数中的至少一项包括绝对值损失子函数、余弦相似度损失子函数或互斥损失子函数中的至少两项损失子函数；
9.一种信息处理方法，其特征在于，包括：
10.一种多模态表示的对齐模型的训练装置，其特征在于，包括：
11.一种信息处理装置，其特征在于，包括：
12.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-9任一项所述方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述方法的步骤。
14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述方法的步骤。
...【技术特征摘要】
1.一种多模态表示的对齐模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对齐模型包括用于提取文本特征的第一特征提取模型、用于提取图像特征的第二特征提取模型和用于提取点云特征的第三特征提取模型，所述通过所述对齐模型对所述多模态训练样本组中的训练样本进行特征提取处理，包括：
3.根据权利要求2所述的方法，其特征在于，所述第一特征提取模型和所述第二特征提取模型为同一预训练好的文本-图像特征提取模型，所述文本-图像特征提取模型用于提取对齐的文本特征和图像特征；
4.根据权利要求1所述的方法，其特征在于，所述确定所述多模态训练样本特征组中的第一训练样本特征与所述多模态训练样本特征组中的各第二训练样本特征之间的对齐结果，包括以下的至少一项：
5.根据权利要求1-4任一项所述的方法，其特征在于，所述对齐结果包括第一对齐结果、第二对齐结果或第三对齐结果中的至少一项；
6.根据权利要求5所述的方法，其特征在于，所述多模态对齐条件包括以下的至少一项：
7.根...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。