一种高性能模型算子开发方法、装置、设备及存储介质制造方法及图纸

技术编号:40529312 阅读:22 留言:0更新日期:2024-03-01 13:49
本发明专利技术公开了一种高性能模型算子开发方法、装置、设备及存储介质,包括:获取语言识别模型中目标算子对应的数据集,将数据集加载至目标芯片的高级缓存区中;将高级缓存区中的各训练样本,逐个搬运至目标芯片的低级缓存区,将低级缓存区中的各训练样本逐个搬运至计算单元;通过计算单元,使用各训练样本对算子生成智能体进行迭代训练,得到目标算子开发模型;通过目标算子开发模型,根据语言识别模型中的当前目标算子,生成高性能算子。本发明专利技术实施例的技术方案可以降低语言识别模型中高性能算子的开发难度,提高开发效率。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种高性能模型算子开发方法、装置、设备及存储介质


技术介绍

1、开发高性能人工智能(artificial intelligence,ai)算子,对人工智能加速卡加速训练人工智能模型、提高计算性能和效率具有重要意义。

2、现有技术中,针对语言识别模型而言,需要结合高效数值算法、软硬件架构、并行计算优化等因素,在线设计语言识别模型对应的高性能算子。

3、但是,现有的高性能算子开发方法难度较高,并且开发过程耗时较久,导致算子开发效率较低。


技术实现思路

1、本专利技术提供了一种高性能模型算子开发方法、装置、设备及存储介质,可以降低语言识别模型中高性能算子的开发难度,提高开发效率。

2、根据本专利技术的一方面,提供了一种高性能模型算子开发方法,所述方法包括:

3、获取语言识别模型中目标算子对应的数据集,并将所述数据集加载至目标芯片的高级缓存区中;

4、其中,所述数据集中包括多个训练样本,每个训练样本中包括目标算子描述信息、原始本文档来自技高网...

【技术保护点】

1.一种高性能模型算子开发方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,获取语言识别模型中目标算子对应的数据集,包括:

3.根据权利要求1所述的方法,其特征在于,通过所述计算单元,使用各所述训练样本对算子生成智能体进行迭代训练,得到目标算子开发模型,包括:

4.根据权利要求3所述的方法,其特征在于,通过所述计算单元,根据各训练样本对应的优化算子代码与代码优化结果之间的差异值,对算子生成智能体的模型参数进行调整,得到所述目标算子开发模型,包括:

5.根据权利要求1所述的方法,其特征在于,所述目标算子描述信息包括:...

【技术特征摘要】

1.一种高性能模型算子开发方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,获取语言识别模型中目标算子对应的数据集,包括:

3.根据权利要求1所述的方法,其特征在于,通过所述计算单元,使用各所述训练样本对算子生成智能体进行迭代训练,得到目标算子开发模型,包括:

4.根据权利要求3所述的方法,其特征在于,通过所述计算单元,根据各训练样本对应的优化算子代码与代码优化结果之间的差异值,对算子生成智能体的模型参数进行调整,得到所述目标算子开发模型,包括:

5.根据权利要求1所述的方法,其特征在于,所述目标算子描述信息包括:目标算子类别、目标算子对应的输入数据数量、输入数据类型、输出数据数量以及输出...

【专利技术属性】
技术研发人员:廖金龙姚建国吴长平许士芳
申请(专利权)人:上海燧原科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1