本发明专利技术公开了一种跨模态训练方法、装置、设备及存储介质，属于数据处理技术领域，所述方法包括：分别通过至少一个预设模型提取至少一个模态的信息对应的特征；通过融合模型对所述至少一个模态的信息对应的特征进行融合，得到融合特征；根据所述融合特征得到所述至少一个预设模型的交叉注意力模块；基于所述至少一个预设模型的交叉注意力模块完成跨模态训练。从而可以通过预设模型进行特征提取，然后根据融合模型和提取的特征得到预设模型的交叉注意力模块，并根据得到的交叉注意力模块进行跨模态训练，提高了跨模态训练效果。
【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种跨模态训练方法、装置、设备及存储介质。
技术介绍
1、传统的跨模态训练时难以较好地对齐不同模态的语义信息，且提取的特征在做零样本推理时精度低，因此，跨模态训练效果较差。
技术实现思路
1、本专利技术的主要目的在于提出一种跨模态训练方法、装置、设备及存储介质，旨在解决如何提高跨模态训练效果的技术问题。
2、为实现上述目的，本专利技术实施例提供一种跨模态训练方法，所述跨模态训练方法包括：
3、分别通过至少一个预设模型提取至少一个模态的信息对应的特征；
4、通过融合模型对所述至少一个模态的信息对应的特征进行融合，得到融合特征；
5、根据所述融合特征得到所述至少一个预设模型的交叉注意力模块；
6、基于所述至少一个预设模型的交叉注意力模块完成跨模态训练。
7、可选地，所述通过融合模型对所述至少一个模态的信息对应的特征进行融合，得到融合特征之前，还包括：
8、将所述至少一个模态的信息对应的特征传输至对应的至少一个融合模型，所述融合模型用于对预设模态的信息对应的特征进行融合。
9、可选地，所述预设模型包括：第一预设模型、第二预设模型以及第三预设模型，所述特征包括：第一特征、第二特征以及第三特征；
10、所述分别通过至少一个预设模型提取至少一个模态的信息对应的特征，包括：
11、通过所述第一预设模型提取第一模态的信息对应的所述第一特征；
12、通过所述第二预设模型提取第二模态的信息对应的所述第二特征；
13、通过所述第三预设模型提取第三模态的信息对应的所述第三特征。
14、可选地，所述融合模型包括：第一融合模型和第二融合模型，所述融合特征包括：第一融合特征和第二融合特征；
15、所述通过融合模型对所述至少一个模态的信息对应的特征进行融合，得到融合特征，包括：
16、通过所述第一融合模型对第一模态的信息对应的第一特征以及第二模态的信息对应的第二特征进行融合，得到所述第一融合特征；
17、通过所述第二融合模型对第二模态的信息对应的第二特征以及第三模态的信息对应的第三特征进行融合，得到所述第二融合特征。
18、可选地，所述根据所述融合特征得到所述至少一个预设模型的交叉注意力模块，包括：
19、根据所述融合特征得到至少一个融合模型的融合交叉注意力模块；
20、根据所述融合交叉注意力模块得到所述至少一个预设模型的交叉注意力模块。
21、可选地，所述融合交叉注意力模块包括：第一融合交叉注意力模块和第二融合交叉注意力模块；
22、所述根据所述融合特征得到至少一个融合模型的融合交叉注意力模块，包括：
23、根据第一融合特征得到第一融合模型的所述第一融合交叉注意力模块；
24、根据第二融合特征得到第二融合模型的所述第二融合交叉注意力模块。
25、可选地，所述交叉注意力模块包括：第一交叉注意力模块、第二交叉注意力模块以及第三交叉注意力模块；
26、所述根据所述融合交叉注意力模块得到所述至少一个预设模型的交叉注意力模块，包括：
27、根据所述第一融合交叉注意力模块得到第一预设模型的所述第一交叉注意力模块；
28、根据所述第一融合交叉注意力模块和所述第二融合交叉注意力模块得到第二预设模型的所述第二交叉注意力模块；
29、根据所述第二融合交叉注意力模块得到第三预设模型的所述第三交叉注意力模块。
30、可选地，所述根据第一融合特征得到第一融合模型的所述第一融合交叉注意力模块，包括：
31、根据第一融合特征得到第一特征向量和第二特征向量；
32、根据所述第一特征向量和所述第二特征向量得到第一融合模型的所述第一融合交叉注意力模块。
33、可选地，所述根据第一融合特征得到第一特征向量和第二特征向量，包括：
34、根据第一融合特征中的第一特征得到第一特征向量，并根据所述第一融合特征中的第二特征得到第二特征向量。
35、可选地，所述根据第二融合特征得到第二融合模型的所述第二融合交叉注意力模块，包括：
36、根据第二融合特征得到第三特征向量和第四特征向量；
37、根据所述第三特征向量和所述第四特征向量得到第二融合模型的所述第二融合交叉注意力模块。
38、可选地，所述根据第二融合特征得到第三特征向量和第四特征向量，包括：
39、根据第二融合特征中的第二特征得到第三特征向量，并根据所述第二融合特征中的第三特征得到第四特征向量。
40、此外，为实现上述目的，本专利技术实施例还提出一种跨模态训练装置，所述跨模态训练装置包括：
41、特征提取模块，用于分别通过至少一个预设模型提取至少一个模态的信息对应的特征；
42、特征融合模型，用于通过融合模型对所述至少一个模态的信息对应的特征进行融合，得到融合特征；
43、交叉注意力模块，用于根据所述融合特征得到所述至少一个预设模型的交叉注意力模块；
44、跨模态训练模块，用于基于所述至少一个预设模型的交叉注意力模块完成跨模态训练。
45、可选地，所述跨模态训练装置还包括：
46、特征传输模块，用于将所述至少一个模态的信息对应的特征传输至对应的至少一个融合模型，所述融合模型用于对预设模态的信息对应的特征进行融合。
47、可选地，所述预设模型包括：第一预设模型、第二预设模型以及第三预设模型，所述特征包括：第一特征、第二特征以及第三特征；
48、所述特征提取模块，还用于通过所述第一预设模型提取第一模态的信息对应的所述第一特征；通过所述第二预设模型提取第二模态的信息对应的所述第二特征；通过所述第三预设模型提取第三模态的信息对应的所述第三特征。
49、可选地，所述融合模型包括：第一融合模型和第二融合模型，所述融合特征包括：第一融合特征和第二融合特征；
50、所述特征融合模型，还用于通过所述第一融合模型对第一模态的信息对应的第一特征以及第二模态的信息对应的第二特征进行融合，得到所述第一融合特征；通过所述第二融合模型对第二模态的信息对应的第二特征以及第三模态的信息对应的第三特征进行融合，得到所述第二融合特征。
51、可选地，所述交叉注意力模块，还用于根据所述融合特征得到至少一个融合模型的融合交叉注意力模块；根据所述融合交叉注意力模块得到所述至少一个预设模型的交叉注意力模块。
52、可选地，所述融合交叉注意力模块包括：第一融合交叉注意力模块和第二融合交叉注意力模块；
53、所述交叉注意力模块，还用于根据第一融合特征得到第一融合模型的所述第一融合交叉注意力模块；根据第二融合特征得到第二融合模型的所述第二融合交叉注意力模块本文档来自技高网
...
【技术保护点】
1.一种跨模态训练方法，其特征在于，所述跨模态训练方法包括：
2.如权利要求1所述的跨模态训练方法，其特征在于，所述通过融合模型对所述至少一个模态的信息对应的特征进行融合，得到融合特征之前，还包括：
3.如权利要求1所述的跨模态训练方法，其特征在于，所述预设模型包括：第一预设模型、第二预设模型以及第三预设模型，所述特征包括：第一特征、第二特征以及第三特征；
4.如权利要求1至3中任一项所述的跨模态训练方法，其特征在于，所述融合模型包括：第一融合模型和第二融合模型，所述融合特征包括：第一融合特征和第二融合特征；
5.如权利要求1至3中任一项所述的跨模态训练方法，其特征在于，所述根据所述融合特征得到所述至少一个预设模型的交叉注意力模块，包括：
6.如权利要求5所述的跨模态训练方法，其特征在于，所述融合交叉注意力模块包括：第一融合交叉注意力模块和第二融合交叉注意力模块；
7.如权利要求6所述的跨模态训练方法，其特征在于，所述交叉注意力模块包括：第一交叉注意力模块、第二交叉注意力模块以及第三交叉注意力模块；
<
p>8.一种跨模态训练装置，其特征在于，所述跨模态训练装置包括：9.一种跨模态训练设备，其特征在于，所述跨模态训练设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的跨模态训练程序，所述跨模态训练程序被处理器执行时实现如权利要求1至7中任一项所述的跨模态训练方法。
10.一种存储介质，其特征在于，所述存储介质上存储有跨模态训练程序，所述跨模态训练程序被处理器执行时实现如权利要求1至7中任一项所述的跨模态训练方法。
...
【技术特征摘要】
1.一种跨模态训练方法，其特征在于，所述跨模态训练方法包括：
2.如权利要求1所述的跨模态训练方法，其特征在于，所述通过融合模型对所述至少一个模态的信息对应的特征进行融合，得到融合特征之前，还包括：
3.如权利要求1所述的跨模态训练方法，其特征在于，所述预设模型包括：第一预设模型、第二预设模型以及第三预设模型，所述特征包括：第一特征、第二特征以及第三特征；
4.如权利要求1至3中任一项所述的跨模态训练方法，其特征在于，所述融合模型包括：第一融合模型和第二融合模型，所述融合特征包括：第一融合特征和第二融合特征；
5.如权利要求1至3中任一项所述的跨模态训练方法，其特征在于，所述根据所述融合特征得到所述至少一个预设模型的交叉注意力模块，包括：
6.如权利要求5所...
【专利技术属性】
技术研发人员：李金城，
申请(专利权)人：三六零科技集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。