【技术实现步骤摘要】
本专利技术涉及模型运算，尤其涉及一种模型运算方法、装置、电子设备和存储介质。
技术介绍
1、在大规模的模型推理运算中通常需要采用多卡并行式运算方法，即将模型参数分散存放在多张计算卡之上，并在多张计算卡上进行并行运算。其中，为了在模型推理运算中保持卡间数据的一致，通常需要在每一迭代中至少两个位置进行卡间激活数据的全约简(allreduce)操作，如分别在投影(projection)运算和前馈神经网络(feed-forwardnetwork，ffn)运算结束之后进行allreduce操作，并在allreduce操作后进行全部激活数据的归一化(normalization)运算。
2、由于allreduce操作使得每张计算卡都获得了完整的全部激活数据，以用于进行下一步权重在计算卡中分开保存的矩阵乘运算。然而，在allreduce操作和矩阵乘运算之间还需要先进行全部激活的normalization运算，为了不再增加卡间的传输代价，通常会在各计算卡上重复进行完全一样的全部激活数据的normalization运算，并在normalization运算之后再同步进行下一步矩阵乘运算，造成模型推理速度较慢。
技术实现思路
1、本专利技术提供一种模型运算方法、装置、电子设备和存储介质，用以解决现有技术中模型推理速度较慢的缺陷。
2、本专利技术提供一种模型运算方法，包括：
3、对待运算模型上各计算卡的初始激活数据进行局部规约操作，得到所述各计算卡的激活数据，并基于所述各
4、将任一计算卡作为第一目标计算卡，并将第一其余计算卡的所述局部统计数据传送至所述第一目标计算卡，并在所述第一目标计算卡上，基于所述各计算卡的所述局部统计数据，计算全局统计数据；所述第一其余计算卡包括所述待运算模型上除所述第一目标计算卡之外的其他任一计算卡；
5、将所述全局统计数据传送至所述第一其余计算卡，并在所述各计算卡上，基于所述全局统计数据，计算所述各计算卡的归一化数据。
6、根据本专利技术提供的一种模型运算方法，在所述待运算模型的归一化运算类型为均方根归一化的情况下，各计算卡的所述局部统计数据基于所述各计算卡的所述激活数据的平方和确定。
7、根据本专利技术提供的一种模型运算方法，所述在所述第一目标计算卡上，基于所述各计算卡的所述局部统计数据，计算全局统计数据，包括：
8、在所述第一目标计算卡上，对所述各计算卡的所述局部统计数据进行累加，得到平方和；
9、基于所述平方和，计算所述全局统计数据。
10、根据本专利技术提供的一种模型运算方法，在所述待运算模型的归一化运算类型为层归一化的情况下，所述各计算卡的所述局部统计数据基于所述各计算卡的所述激活数据的均值确定。
11、根据本专利技术提供的一种模型运算方法，所述全局统计数据包括全局均值和全局方差；
12、所述在所述第一目标计算卡上，基于所述各计算卡的所述局部统计数据，计算全局统计数据，包括：
13、在所述第一目标计算卡上，基于所述各计算卡的所述局部统计数据以及计算卡总数，确定所述全局均值；
14、将所述全局均值传送至所述第一其余计算卡，并在所述各计算卡上，基于所述全局均值确定所述各计算卡的方差；
15、基于所述各计算卡的方差，计算所述全局方差。
16、根据本专利技术提供的一种模型运算方法，所述基于所述各计算卡的方差，计算所述全局方差，包括：
17、将任一计算卡作为第二目标计算卡，并将第二其余计算卡的方差传送至所述第二目标计算卡；所述第二其余计算卡包括所述待运算模型上除所述第二目标计算卡之外的其他任一计算卡；
18、在所述第二目标计算卡上，基于所述各计算卡的方差，确定所述全局方差。
19、根据本专利技术提供的一种模型运算方法，所述计算各计算卡的归一化数据，之后还包括:
20、基于所述各计算卡的归一化数据，得到所述待运算模型的归一化运算结果。
21、本专利技术还提供一种模型运算装置，包括：
22、规约单元，用于对待运算模型上各计算卡的初始激活数据进行局部规约操作，得到所述各计算卡的激活数据，并基于所述各计算卡的所述激活数据，确定所述各计算卡的局部统计数据；
23、计算单元，用于将任一计算卡作为第一目标计算卡，并将第一其余计算卡的局部统计数据传送至所述第一目标计算卡，并在所述第一目标计算卡上，基于所述各计算卡的所述局部统计数据，计算全局统计数据；所述第一其余计算卡包括所述待运算模型上除所述第一目标计算卡之外的其他任一计算卡；
24、传送单元，用于将所述全局统计数据传送至所述第一其余计算卡，并在所述各计算卡上，基于所述全局统计数据，计算所述各计算卡的归一化数据。
25、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述模型运算方法。
26、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述模型运算方法。
27、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述模型运算方法。
28、本专利技术提供的模型运算方法、装置、电子设备和存储介质，将任一计算卡作为第一目标计算卡，并将第一其余计算卡的局部统计数据传送至第一目标计算卡，从而能够在第一目标计算卡上汇总所有局部统计数据，并基于所有局部统计数据得到全局统计数据，再将全局统计数据传送至第一其余计算卡，从而各计算卡能够基于全局统计数据，得到归一化数据，进而可以避免在每张计算卡上重复执行相同运算步骤得到全局统计数据。此外，本专利技术在得到各计算卡的归一化数据后，可以对各计算卡上的数据进行整合，得到最终的归一化运算结果，即待运算模型的归一化结果，而不需要再进行全收集(allgather)操作，减少了卡间数据的allgather，提高了模型的推理速度。
本文档来自技高网...【技术保护点】
1.一种模型运算方法，其特征在于，包括：
2.根据权利要求1所述的模型运算方法，其特征在于，在所述待运算模型的归一化运算类型为均方根归一化的情况下，各计算卡的所述局部统计数据基于所述各计算卡的所述激活数据的平方和确定。
3.根据权利要求2所述的模型运算方法，其特征在于，所述在所述第一目标计算卡上，基于所述各计算卡的所述局部统计数据，计算全局统计数据，包括：
4.根据权利要求1所述的模型运算方法，其特征在于，在所述待运算模型的归一化运算类型为层归一化的情况下，所述各计算卡的所述局部统计数据基于所述各计算卡的所述激活数据的均值确定。
5.根据权利要求4所述的模型运算方法，其特征在于，所述全局统计数据包括全局均值和全局方差；
6.根据权利要求5所述的模型运算方法，其特征在于，所述基于所述各计算卡的方差，计算所述全局方差，包括：
7.根据权利要求1至6任一项所述的模型运算方法，其特征在于，所述计算各计算卡的归一化数据，之后还包括:
8.一种模型运算装置，其特征在于，包括：
9.一种电子设备，包
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述模型运算方法。
...【技术特征摘要】
1.一种模型运算方法，其特征在于，包括：
2.根据权利要求1所述的模型运算方法，其特征在于，在所述待运算模型的归一化运算类型为均方根归一化的情况下，各计算卡的所述局部统计数据基于所述各计算卡的所述激活数据的平方和确定。
3.根据权利要求2所述的模型运算方法，其特征在于，所述在所述第一目标计算卡上，基于所述各计算卡的所述局部统计数据，计算全局统计数据，包括：
4.根据权利要求1所述的模型运算方法，其特征在于，在所述待运算模型的归一化运算类型为层归一化的情况下，所述各计算卡的所述局部统计数据基于所述各计算卡的所述激活数据的均值确定。
5.根据权利要求4所述的模型运算方法，其特征在于，所述全局统计数据包括...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海壁仞科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。