【技术实现步骤摘要】
本说明书一个或多个实施例涉及图形处理器和深度学习领域，尤其涉及一种通过多图形处理器计算对比损失的方法和装置。
技术介绍
1、现代社会运行中产生的数据越来越多，其中包括文本、图像、音频、视频等多种模态的数据。这些多模态数据之间存在着复杂的关联和交互，所以希望高效地将这些数据结合起来例如用于多模态大模型训练，以提高多模态模型对于多模态数据的分析和处理能力。多模态大模型的训练中常常使用对比损失进行自监督或半监督训练，由于数据量巨大，常常通过在训练中使用大量图形处理器（graphics processing unit，gpu），以加速模型的训练产出。现有的通过多图形处理器计算对比损失的方案，当图形处理器数量和训练批次样本的数量较多时，通常每个图形处理器均需要消耗大量的显存，这使得各个训练批次的样本数量难以提高，阻碍了多图形处理器带来的模型训练效率的提高。
技术实现思路
1、本说明书中的实施例旨在提供一种通过多图形处理器计算对比损失的方法和装置，可以在多图形处理器训练模型的过程中，将多图形处理器分组...
【技术保护点】
1.一种通过多图形处理器计算对比损失的方法，包括：
2.根据权利要求1所述的方法，其中，各个处理器组分别确定所述处理器组包含的图形处理器处理的特征之间的相似度矩阵，并将所述相似度矩阵保存到所述处理器组包括的图形处理器的对应显存中，包括：各个处理器组中的各个图形处理器分别确定所述处理器组处理的特征之间的第一相似度矩阵，并将所述第一相似度矩阵保存到所述图形处理器的对应显存中；
3.根据权利要求1所述的方法，其中，各个处理器组分别确定所述处理器组包含的图形处理器处理的特征之间的相似度矩阵，并将所述相似度矩阵保存到所述处理器组包括的图形处理器的对应显存...
【技术特征摘要】
1.一种通过多图形处理器计算对比损失的方法，包括：
2.根据权利要求1所述的方法，其中，各个处理器组分别确定所述处理器组包含的图形处理器处理的特征之间的相似度矩阵，并将所述相似度矩阵保存到所述处理器组包括的图形处理器的对应显存中，包括：各个处理器组中的各个图形处理器分别确定所述处理器组处理的特征之间的第一相似度矩阵，并将所述第一相似度矩阵保存到所述图形处理器的对应显存中；
3.根据权利要求1所述的方法，其中，各个处理器组分别确定所述处理器组包含的图形处理器处理的特征之间的相似度矩阵，并将所述相似度矩阵保存到所述处理器组包括的图形处理器的对应显存中，包括：各个处理器组中的各个图形处理器分别确定所述图形处理器处理的特征、与所述处理器组处理的特征之间的第二相似度矩阵，并将所述第二相似度矩阵保存到所述图形处理器的对应显存中；
4.根据权利要求1所述的方法，其中，根据各个处理器组对应的分组对比损失，确定整体对比损失，包括：
5.根据权利要求1所述的方法，其中，各个处理器组...
【专利技术属性】
技术研发人员：徐富荣，张涵笑，郭清沛，杨铭，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。