算力应用场景与智算芯片的适配评估方法、设备及产品技术

技术编号:43094790 阅读:61 留言:0更新日期:2024-10-26 09:40
本申请提出一种算力应用场景与智算芯片的适配评估方法、设备及产品,该方法基于算力应用场景中智算模型包括的各算子的计算量,预测智算模型应用于设定行业时所需的模型计算算力;以及,基于各算子的参数量,计算智算模型被训推时所需的模型显存存储量;基于模型计算算力、模型显存存储量和各智算芯片中用于描述智算芯片的性能的芯片参数,计算各智算芯片完成智算模型的训推所需的最少训推时间;基于完成智算模型的训推时各智算芯片的成本和各智算芯片的最少训推时间,确定与智算模型适配的智算芯片选型方案。相对于相关技术,节省了购买智算芯片的成本,同时即使是MLPerf基准中未囊括的智算模型,也能获得与该智算模型适配的最佳的芯片选型方案。

【技术实现步骤摘要】

本申请属于人工智能,具体涉及一种算力应用场景与智算芯片的适配评估方法、设备及产品


技术介绍

1、随着ai(artificial intelligence,人工智能)大模型技术的快速发展,市场对智算芯片(即ai芯片)的需求越来越大,这有利于推动智算芯片的高速发展。智算芯片的下游厂商为了实现智算场景算力需求和智算芯片算力供给的最佳匹配,需要客观评估智算芯片的性能。

2、当前行业多采用mlperf基准评价智算芯片的性能,所以下游厂商需要实际购买多种智算芯片,并采用智算芯片实际运行mlperf基准规定的智算模型,由智算芯片对智算模型进行训推,获得智算模型的训推时间和模型效果等表征智算芯片的性能的参数,并基于这些参数评估智算芯片的计算能力,最终集合智算芯片的计算能力评判智算芯片的算力供给是否与智算场景的算力需求匹配。

3、然而,由于mlperf基准中囊括的智算模型的类型有限,所以mlperf基准中可能不包括下游厂商在智算场景算力需求中使用的智算模型,这种情况下采用mlperf基准对智算芯片进行测试无法获得满足智算场景的算力需求的测试结果。另本文档来自技高网...

【技术保护点】

1.一种算力应用场景与智算芯片的适配评估方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于智算模型包括的各算子的计算量,预测所述智算模型应用于设定行业下的设定领域时所需的模型计算算力,包括:

3.根据权利要求1所述的方法,其特征在于,基于各所述算子的参数量,计算所述智算模型被训推时所需的模型显存存储量,包括:

4.根据权利要求1所述的方法,其特征在于,基于所述模型计算算力、所述模型显存存储量和各智算芯片中用于描述智算芯片的性能的芯片参数,计算各所述智算芯片完成所述智算模型的训推所需的最少训推时间,包括:

5.根据权利要...

【技术特征摘要】

1.一种算力应用场景与智算芯片的适配评估方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于智算模型包括的各算子的计算量,预测所述智算模型应用于设定行业下的设定领域时所需的模型计算算力,包括:

3.根据权利要求1所述的方法,其特征在于,基于各所述算子的参数量,计算所述智算模型被训推时所需的模型显存存储量,包括:

4.根据权利要求1所述的方法,其特征在于,基于所述模型计算算力、所述模型显存存储量和各智算芯片中用于描述智算芯片的性能的芯片参数,计算各所述智算芯片完成所述智算模型的训推所需的最少训推时间,包括:

5.根据权利要求4所述的方法,其特征在于,基于所述智算模型的模型算存比、所述芯片参数包括的峰值算力和芯片显存带宽,计算所述智算芯片的实际峰值算力,包括:

6.根据权利要求1所述的方法,其特征在于,基于完成所述智算模型的...

【专利技术属性】
技术研发人员:高鹏侯晓琳杜雪涛张晨张高山赵蓓
申请(专利权)人:中国移动通信集团设计院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1