数据搬运时带宽等效计算方法、装置、设备、介质及产品制造方法及图纸

技术编号:46066125 阅读:15 留言:0更新日期:2025-08-11 15:53
本发明专利技术公开了一种数据搬运时带宽等效计算方法、装置、设备、介质及产品。该方法包括:密集测量出第一数据类型下多种数据搬运类型和多个张量形状的数据,在芯片的各级缓存间执行数据搬运时第一实测带宽数据,构建第一数据类型的目标带宽模型;稀疏测量出第二数据类型下多种数据搬运类型和多个张量形状的数据,在芯片的各级缓存间执行数据搬运时第二实测带宽数据;根据第一和第二实测带宽数据,构建第一数据类型和第二数据类型间的带宽等效计算模型,获取第二数据类型下目标数据搬运类型和目标张量形状的数据,在芯片的两个目标缓存间执行数据搬运时的预测带宽数据,本发明专利技术实施例的技术方案可以有效减少带宽数据测试过程中所耗费的各项资源。

【技术实现步骤摘要】

本专利技术涉及人工智能(ai,artificial intelligence),尤其涉及一种数据搬运时带宽等效计算方法、装置、设备、介质及产品


技术介绍

1、在ai芯片的高性能计算场景中,芯片性能评估中很重要的一项就是算子性能评估,ai芯片中算子的性能很大程度上决定了芯片性能的上限,但是影响算子性能的因素很多,而其中带宽的性能就是一个很重要的方面,但是由于dma(direct memory access,直接存储器访问)硬件的复杂性,往往需要很复杂的方式才能计算出不同张量形状、不同数据精度的数据在进行传输时dma带宽,导致算子中带宽部分的评估较为困难。

2、相关技术中,可以通过在实际ai芯片上实测出各张量形状、各数据精度的dma带宽数据,对机器学习模型进行模型训练,使用机器学习模型强大的拟合能力去拟合dma硬件相关的特性。

3、但是,专利技术人在实现本专利技术的过程中发现:若要深度学习模型的带宽预测结果准确,需要在ai芯片上实测出不同张量形状、不同数据精度的大量带宽数据。而满足模型精度需求的一种数据类型的带宽数据往往就需要百万量级本文档来自技高网...

【技术保护点】

1.一种数据搬运时带宽等效计算方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据第一实测带宽数据,构建针对第一数据类型的目标带宽模型,包括:

3.根据权利要求2所述的方法,其特征在于,根据第一实测带宽数据和第二实测带宽数据,构建第一数据类型和第二数据类型之间的带宽等效计算模型,包括:

4.根据权利要求3所述的方法,其特征在于,根据关联数据集,构建第一数据类型和第二数据类型之间的带宽等效计算模型,包括:

5.根据权利要求2-4任一项所述的方法,其特征在于,根据目标带宽模型和带宽等效计算模型,获取第二数据类型下目标数据搬运...

【技术特征摘要】

1.一种数据搬运时带宽等效计算方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据第一实测带宽数据,构建针对第一数据类型的目标带宽模型,包括:

3.根据权利要求2所述的方法,其特征在于,根据第一实测带宽数据和第二实测带宽数据,构建第一数据类型和第二数据类型之间的带宽等效计算模型,包括:

4.根据权利要求3所述的方法,其特征在于,根据关联数据集,构建第一数据类型和第二数据类型之间的带宽等效计算模型,包括:

5.根据权利要求2-4任一项所述的方法,其特征在于,根据目标带宽模型和带宽等效计算模型,获取第二数据类型下目标数据搬运类型和目标张量形状的数据,在目标ai芯片的两个目标...

【专利技术属性】
技术研发人员:王军伟孙诚程张洁豪罗培元
申请(专利权)人:上海云燧科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1