【技术实现步骤摘要】
本专利技术涉及人工智能(ai,artificial intelligence),尤其涉及一种数据搬运时带宽等效计算方法、装置、设备、介质及产品。
技术介绍
1、在ai芯片的高性能计算场景中,芯片性能评估中很重要的一项就是算子性能评估,ai芯片中算子的性能很大程度上决定了芯片性能的上限,但是影响算子性能的因素很多,而其中带宽的性能就是一个很重要的方面,但是由于dma(direct memory access,直接存储器访问)硬件的复杂性,往往需要很复杂的方式才能计算出不同张量形状、不同数据精度的数据在进行传输时dma带宽,导致算子中带宽部分的评估较为困难。
2、相关技术中,可以通过在实际ai芯片上实测出各张量形状、各数据精度的dma带宽数据,对机器学习模型进行模型训练,使用机器学习模型强大的拟合能力去拟合dma硬件相关的特性。
3、但是,专利技术人在实现本专利技术的过程中发现:若要深度学习模型的带宽预测结果准确,需要在ai芯片上实测出不同张量形状、不同数据精度的大量带宽数据。而满足模型精度需求的一种数据类型的带宽数
...【技术保护点】
1.一种数据搬运时带宽等效计算方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,根据第一实测带宽数据,构建针对第一数据类型的目标带宽模型,包括:
3.根据权利要求2所述的方法,其特征在于,根据第一实测带宽数据和第二实测带宽数据,构建第一数据类型和第二数据类型之间的带宽等效计算模型,包括:
4.根据权利要求3所述的方法,其特征在于,根据关联数据集,构建第一数据类型和第二数据类型之间的带宽等效计算模型,包括:
5.根据权利要求2-4任一项所述的方法,其特征在于,根据目标带宽模型和带宽等效计算模型,获取第二数
...【技术特征摘要】
1.一种数据搬运时带宽等效计算方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,根据第一实测带宽数据,构建针对第一数据类型的目标带宽模型,包括:
3.根据权利要求2所述的方法,其特征在于,根据第一实测带宽数据和第二实测带宽数据,构建第一数据类型和第二数据类型之间的带宽等效计算模型,包括:
4.根据权利要求3所述的方法,其特征在于,根据关联数据集,构建第一数据类型和第二数据类型之间的带宽等效计算模型,包括:
5.根据权利要求2-4任一项所述的方法,其特征在于,根据目标带宽模型和带宽等效计算模型,获取第二数据类型下目标数据搬运类型和目标张量形状的数据,在目标ai芯片的两个目标...
【专利技术属性】
技术研发人员:王军伟,孙诚程,张洁豪,罗培元,
申请(专利权)人:上海云燧科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。