一种硬件适配大模型的方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种硬件适配大模型的方法及装置、电子设备和存储介质，所述方法包括：对大模型提供平台提供的至少两个大模型进行算子抓取，得到目标算子库；接收目标硬件对所述目标算子库的接入请求；响应于所述接入请求，基于所述目标算子库，对所述目标硬件与每个大模型进行适配。本公开实施例可以为硬件方提供完整的大模型场景下的模型‑算子清单，以及可以快速实现目标硬件与每个大模型的适配。

【技术实现步骤摘要】

本公开涉及计算机，尤其涉及一种硬件适配大模型的方法及装置、电子设备和存储介质。

技术介绍

1、硬件在适配大模型训练推理场景时，需要完成包括算子、模型在内的适配工作。国际领先的硬件厂商-英伟达，在其cuda生态的自驱力下，能够快速有效适配成熟垂直训练场景的新需求、新场景的需求。但是，国产硬件还未能够拥有一个广泛、成熟并良性循环的生态系统。而且，国产各硬件的系统之间也存在底层技术的壁垒，硬件应用方需要对每一家厂商的硬件进行独立的适配，这使得国内市场无法广泛的使用国产芯片训练大模型，从而加大国内硬件应用于大模型场景的难度和门槛。因此，亟需一种硬件适配大模型的标准方法。

技术实现思路

1、本公开提出了一种硬件适配大模型的方法及装置、电子设备和存储介质的技术方案。

2、根据本公开的一方面，提供了一种硬件适配大模型的方法，包括：对大模型提供平台提供的至少两个大模型进行算子抓取，得到目标算子库；接收目标硬件对所述目标算子库的接入请求；响应于所述接入请求，基于所述目标算子库，对所述目标硬件与每个大模型进行适配。<本文档来自技高网...

【技术保护点】

1.一种硬件适配大模型的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对大模型提供平台提供的至少两个大模型进行算子抓取，得到目标算子库，包括：

3.根据权利要求2所述的方法，其特征在于，所述确定每个大模型对应的应用指数，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述算子抓取顺序，依次对每个大模型进行算子抓取，得到所述目标算子库，包括：

5.根据权利要求4所述的方法，其特征在于，所述目标算子库中包括每个大模型对应的目标算子列表；

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：<...

【技术特征摘要】

1.一种硬件适配大模型的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对大模型提供平台提供的至少两个大模型进行算子抓取，得到目标算子库，包括：

3.根据权利要求2所述的方法，其特征在于，所述确定每个大模型对应的应用指数，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述算子抓取顺序，依次对每个大模型进行算子抓取，得到所述目标算子库，包括：

5.根据权利要求4所述的方法，其特征在于，所述目标算子库中包括每个大模型对应的目标算子列表；

6.根据...

【专利技术属性】
技术研发人员：余玥，由鸿铭，杨桦桉，张行程，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：