一种模型优化方法以及相关装置制造方法及图纸

本申请属于人工智能领域，尤其涉及一种模型优化方法以及相关装置。该方法能够识别目标模型中符合拆分条件的计算操作；拆分计算操作，得到多个子计算操作；在目标模型载入硬件计算系统的过程中，将多个子计算操作重配置到对应的目标运算单元中；硬件计算系统至少包括多个运算单元，每一运算单元基于汇编指令调用的硬件芯片资源组成；通过目标运算单元执行各自对应的子计算操作，得到多个子计算结果；将多个子计算结果应用到目标模型的数据处理流程中。该方法能够通过识别、拆分、重配置和并行执行神经网络模型中的计算操作，提高计算效率、硬件利用率、灵活性和实时性能，降低计算操作时延，为模型执行硬件加速操作，提升神经网络模型性能。

【技术实现步骤摘要】

本申请属于人工智能领域，尤其涉及一种模型优化方法以及相关装置。

技术介绍

1、在现代人工智能领域，特别是在机器学习和深度学习应用中，算法的效率和性能至关重要。人工神经网络模型，如在大语言模型（llm）中的生成式预训练转换（gpt）模型和泛光（bloom）大模型，都需要大量的计算资源进行数据处理和模型训练。这些过程主要由许多复杂的数学计算构成，因此，如何高效利用硬件资源提高运算效率是至关重要的。

2、传统技术中，模型计算过程通常是串行的。等待上一个计算操作完成得到计算结果之后，再开始执行下一个计算操作。等待过程会让其他硬件出现空闲状态，导致硬件资源出现浪费的情况，大大降低模型运行效率。

3、因此，亟待设计一种全新的技术方案，用以克服上述至少一个技术问题。

技术实现思路

1、本申请提供了一种模型优化方法以及相关装置，用以将神经网络模型的计算操作重分配至多个硬件运算单元，从而提高神经网络模型的计算效率、硬件利用率、灵活性和实时性能，降低计算操作时延，为模型执行硬件加速操作，提升神经网络模型性本文档来自技高网...

【技术保护点】

1.一种模型优化方法，其特征在于，应用于部署有目标模型的硬件计算系统，所述目标模型属于神经网络模型；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述识别所述目标模型中符合拆分条件的计算操作，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述计算类型和/或所述数据交互关系，确定所述目标模型中符合所述拆分条件的计算操作，包括：

4.根据权利要求1所述的方法，其特征在于，所述拆分所述计算操作，得到多个子计算操作，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述计算操作与所述目标模型中其他计算操作之间的数据交...

【技术特征摘要】

1.一种模型优化方法，其特征在于，应用于部署有目标模型的硬件计算系统，所述目标模型属于神经网络模型；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述识别所述目标模型中符合拆分条件的计算操作，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述计算类型和/或所述数据交互关系，确定所述目标模型中符合所述拆分条件的计算操作，包括：

4.根据权利要求1所述的方法，其特征在于，所述拆分所述计算操作，得到多个子计算操作，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述计算操作与所述目标模型中其他计算操作之间的数据交互关系，获取所述候选拆分方式对应的运算效率，包括：

6.根据权利要求4所述的方法，其特征在于，所述基于所述计算操作与所述目标模型中其他计算操作之间的数据交互关系，获取所述候选拆分方式对应的运算效率，包括：

7.根据权利要求4所述的方法，其特征在于，所述采用运算效率最高的候选拆分方式，对所述计算操作进行拆分，得到多个子计算操作，包括：

8.根据权利要求7所述的方法，其特征在于，所述将多个子计算结果应用到所述目标模型的数据处理流程中，包括：

9.根据权利要求4所述的方法，其特征在于，所述采用运算效率最高的候选拆分方式，对所述计算操作进行拆分，得到多个子计算操作，包括：

10.根据权利要求9所述的方法，其特征在于，所述将多个子计算结果应用到所述目标...

【专利技术属性】
技术研发人员：杨龚轶凡，朱国梁，潘维维，孙锦涛，赵文宇，
申请(专利权)人：中昊芯英杭州科技有限公司，
类型：发明
国别省市：