【技术实现步骤摘要】
本申请涉及计算机领域,进一步涉及人工智能(artificial intelligence,ai)技术在计算机网络领域中的应用,尤其涉及一种数据计算方法以及相关设备。
技术介绍
1、在当前的ai领域中,模型种类较多且模型逐渐趋于复杂。根据彩票假说,稀疏模型和复杂模型比有着相同的甚至更好的学习能力。并且,复杂模型训练时开销较大,耗时较长。稀疏模型训练时开销小,耗时较短。如何将复杂模型稀疏化并且保证稀疏模型可以流畅运行是实现模型加速训练的关键。
2、为了实现对于复杂模型的稀疏化,通常可以对复杂模型中的权重矩阵做剪枝,对剪枝后的权重矩阵和数据做运算。目前,主流的稀疏加速技术为2:4细颗粒度结构化矩阵乘法加速技术。通过对ai模型中的权重矩阵进行2:4结构化剪枝,即权重矩阵中的每4个元素中保留2个元素,完成对权重矩阵的稀疏化,从而通过该技术实现ai模型计算加速,节约模型训练所需要的时间。
3、然而,传统模型加速技术中,仅能采用固定的2:4稀疏结构对权重矩阵进行稀疏化,无法改变权重矩阵的稀疏比例,适用场景较为单一,兼容性较差。
【技术保护点】
1.一种数据计算方法,其特征在于,包括:
2.根据权利要求1所述的数据计算方法,其特征在于,所述网络设备根据所述稀疏比例压缩所述第二矩阵以得到第三矩阵,包括:
3.根据权利要求2所述的数据计算方法,其特征在于,所述方法还包括:
4.根据权利要求3所述的数据计算方法,其特征在于,所述网络设备根据所述第一搬移数引压缩所述第一列向量得到第二列向量,包括:
5.根据权利要求3所述的数据计算方法,其特征在于,所述方法还包括:
6.根据权利要求1至5中任意一项所述的数据计算方法,其特征在于,所述稀疏比例由所述网络设备中处
...【技术特征摘要】
1.一种数据计算方法,其特征在于,包括:
2.根据权利要求1所述的数据计算方法,其特征在于,所述网络设备根据所述稀疏比例压缩所述第二矩阵以得到第三矩阵,包括:
3.根据权利要求2所述的数据计算方法,其特征在于,所述方法还包括:
4.根据权利要求3所述的数据计算方法,其特征在于,所述网络设备根据所述第一搬移数引压缩所述第一列向量得到第二列向量,包括:
5.根据权利要求3所述的数据计算方法,其特征在于,所述方法还包括:
6.根据权利要求1至5中任意一项所述的数据计算方法,其特征在于,所述稀疏比例由所述网络设备中处理部件的算力和剪枝前的权重矩阵决定。
7.一种网络设备,其特征在于,包括:
8.根据权利要求7所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。