一种数据计算方法以及相关设备技术

技术编号:39984942 阅读:13 留言:0更新日期:2024-01-09 01:49
本申请提供了一种数据计算方法以及相关设备,本申请中,网络设备获取第一矩阵和第二矩阵,其中,第一矩阵是目标模型中剪枝后的权重矩阵,第二矩阵是输入所述目标模型的数据。网络设备接收配置指令,该配置指令用于设置稀疏比例。网络设备根据稀疏比例压缩第二矩阵以得到第三矩阵,进而计算第一矩阵和第三矩阵的乘积。网络设备可以根据配置指令来灵活设置稀疏比例的值,因此,针对不同的模型可以更加充分的发挥硬件的计算性能,适用场景较为广泛,兼容性较强。

【技术实现步骤摘要】

本申请涉及计算机领域,进一步涉及人工智能(artificial intelligence,ai)技术在计算机网络领域中的应用,尤其涉及一种数据计算方法以及相关设备


技术介绍

1、在当前的ai领域中,模型种类较多且模型逐渐趋于复杂。根据彩票假说,稀疏模型和复杂模型比有着相同的甚至更好的学习能力。并且,复杂模型训练时开销较大,耗时较长。稀疏模型训练时开销小,耗时较短。如何将复杂模型稀疏化并且保证稀疏模型可以流畅运行是实现模型加速训练的关键。

2、为了实现对于复杂模型的稀疏化,通常可以对复杂模型中的权重矩阵做剪枝,对剪枝后的权重矩阵和数据做运算。目前,主流的稀疏加速技术为2:4细颗粒度结构化矩阵乘法加速技术。通过对ai模型中的权重矩阵进行2:4结构化剪枝,即权重矩阵中的每4个元素中保留2个元素,完成对权重矩阵的稀疏化,从而通过该技术实现ai模型计算加速,节约模型训练所需要的时间。

3、然而,传统模型加速技术中,仅能采用固定的2:4稀疏结构对权重矩阵进行稀疏化,无法改变权重矩阵的稀疏比例,适用场景较为单一,兼容性较差。


<本文档来自技高网...

【技术保护点】

1.一种数据计算方法,其特征在于,包括:

2.根据权利要求1所述的数据计算方法,其特征在于,所述网络设备根据所述稀疏比例压缩所述第二矩阵以得到第三矩阵,包括:

3.根据权利要求2所述的数据计算方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的数据计算方法,其特征在于,所述网络设备根据所述第一搬移数引压缩所述第一列向量得到第二列向量,包括:

5.根据权利要求3所述的数据计算方法,其特征在于,所述方法还包括:

6.根据权利要求1至5中任意一项所述的数据计算方法,其特征在于,所述稀疏比例由所述网络设备中处理部件的算力和剪枝前...

【技术特征摘要】

1.一种数据计算方法,其特征在于,包括:

2.根据权利要求1所述的数据计算方法,其特征在于,所述网络设备根据所述稀疏比例压缩所述第二矩阵以得到第三矩阵,包括:

3.根据权利要求2所述的数据计算方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的数据计算方法,其特征在于,所述网络设备根据所述第一搬移数引压缩所述第一列向量得到第二列向量,包括:

5.根据权利要求3所述的数据计算方法,其特征在于,所述方法还包括:

6.根据权利要求1至5中任意一项所述的数据计算方法,其特征在于,所述稀疏比例由所述网络设备中处理部件的算力和剪枝前的权重矩阵决定。

7.一种网络设备,其特征在于,包括:

8.根据权利要求7所述...

【专利技术属性】
技术研发人员:傅光宁谢星华
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1