【技术实现步骤摘要】
跨模态模型的训练方法及装置、电子设备、存储介质
[0001]本申请涉及计算机视觉
，特别涉及一种跨模态模型的训练方法及装置、电子设备、计算机可读存储介质。
技术介绍
[0002]图形界面(Graphical User Interface，GUI)是指采用图形方式显示的计算机操作用户界面。由于图形界面直接面向用户，极大影响了用户体验，人们越来越重视图形界面的设计风格。优秀的风格设计被广泛借鉴、甚至抄袭。因此，在图形界面设计风格侵权保护、资源搜索等场景中，判别两个图形界面之间相似度非常重要。此外，在图形界面上检索图标也存在广泛的应用需求。为满足上述需求，可以借助机器学习模型来实现，而选择合适的模型才可获得良好的应用效果。
技术实现思路
[0003]本申请实施例的目的在于提供一种跨模态模型的训练方法及装置、电子设备、存储介质，用于训练跨模态模型，从而为图形界面处理的相关应用实现良好的应用效果。
[0004]一方面，本申请提供了一种跨模态模型的训练方法，包括：
[0005]基于样本数据集中的样本...
【技术保护点】
【技术特征摘要】
1.一种跨模态模型的训练方法，其特征在于，包括：基于样本数据集中的样本图形界面图像，生成多模态元素的多个元素特征向量；基于每一元素特征向量对应元素在样本图形界面图像中的位置信息，为每一元素特征向量添加位置向量，生成指定元素特征向量；将多个指定元素特征向量输入基于Transformer的跨模态模型，得到每一元素对应的融合后元素特征向量；通过预设分类器对融合后元素特征向量进行处理，得到预测类别；根据所述预测类别与所述样本图形界面图像的预设标签之间的差异，调整所述分类器和基于Transformer的跨模态模型的模型参数，得到已训练的基于Transformer的跨模态模型。2.根据权利要求1所述的方法，其特征在于，所述多模态元素包括文本元素和图形元素，所述预设标签包括样本图形界面图像中各元素对应的具体类别信息；所述通过预设分类器对融合后元素特征向量进行处理，得到预测类别，包括：通过分类器对文本元素和图形元素对应的融合后元素特征向量进行处理，得到预测类别；所述根据所述预测类别与所述样本图形界面图像的预设标签之间的差异，调整所述分类器和基于Transformer的跨模态模型的模型参数，得到已训练的基于Transformer的跨模态模型，包括：根据多个元素的预测类别与具体类别信息之间的差异，调整所述分类器和基于Transformer的跨模态模型的模型参数，得到已训练的基于Transformer的跨模态模型。3.根据权利要求1所述的方法，其特征在于，所述多模态元素包括文本元素、图形元素和界面分块元素，所述预设标签包括样本图形界面图像对应的风格类别信息；所述通过预设分类器对融合后元素特征向量进行处理，得到预测类别，包括：通过分类器对界面分块元素对应的融合后元素特征向量进行处理，得到预测类别；所述根据所述预测类别与所述样本图形界面图像的预设标签之间的差异，调整所述分类器和基于Transformer的跨模态模型的模型参数，得到已训练的基于Transformer的跨模态模型，包括：根据多个界面分块元素的预测类别与所述风格类别信息之间的差异，调整所述分类器和基于Transformer的跨模态模型的模型参数，得到已训练的基于Transformer的跨模态模型。4.根据权利要求1所述的方法，其特征在于，所述基于每一元素特征向量对应元素在样本图形界面图像中的位置信息，为每一元素特征向量添加位置向量，生成指定元素特征向量，包括：针对每一元素特征向量，以所述元素特征向量对应元素在所述样本图形界面图像中的位置信息，编码处理得到所述元素特征向量对应的位置向量；将编码得到的位置向量，添加到所述元素特征向量上，生成指定元素特征向量。5.根...
【专利技术属性】
技术研发人员：黄博，张泉，高磊，赵素馨，
申请(专利权)人：上海弘玑信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。