【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种模型推理优化方法、装置、设备、介质和程序产品。
技术介绍
1、随着深度学习模型的广泛应用，模型推理性能成为关键瓶颈之一。相关技术中，由于不同网络层（如卷积层、全连接层等）的特性差异较大，通用的优化方法难以充分适配各网络层需求，导致图形处理器（graphics processing unit，gpu）资源利用率不足、计算速度受限等问题。此外，传统方法通常依赖固定的内核代码或框架提供的通用优化策略，缺乏灵活性和针对性，无法充分发挥硬件潜力。因此，亟需一种能够根据网络层特性动态生成适配内核代码的技术，以提升模型推理效率和硬件资源利用率。
技术实现思路
1、本申请提供了一种模型推理优化方法、装置、设备、介质和程序产品，以至少解决相关技术中固定代码灵活性差以及硬件资源利用率低的问题。
2、本申请提供了一种模型推理优化方法，包括：
3、获取目标模型包括的至少一个网络层的网络特性；
4、根据网络特性生成与至少一个网络层适配的内核代码；其中...
【技术保护点】
1.一种模型推理优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述网络特性包括所述网络层可执行的至少一个操作，所述基于待进行所述目标模型推理的目标设备的硬件资源配置内核参数之后，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述网络特性生成与所述至少一个网络层适配的内核代码，包括：
4.根据权利要求1所述的方法，其特征在于，所述调用所述内核文件进行所述目标模型的推理之后，所述方法还包括：
5.根据权利要求1或4任一所述的方法，其特征在于，所述调用所述内核文件进行所述目标模型...
【技术特征摘要】
1.一种模型推理优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述网络特性包括所述网络层可执行的至少一个操作，所述基于待进行所述目标模型推理的目标设备的硬件资源配置内核参数之后，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述网络特性生成与所述至少一个网络层适配的内核代码，包括：
4.根据权利要求1所述的方法，其特征在于，所述调用所述内核文件进行所述目标模型的推理之后，所述方法还包括：
5.根据权利要求1或4任一所述的方法，其特征在于，所述调用所述内核文件进行所述目标模型的推理之后，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，完成所述目标模型的推理后，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述网络特性包括各网络层的张量大小，所述根据所述网络特性生成与所述至少一个网络层适配的内核代码，包括：
8.根据权利要求1所述的方法，其特征在于，所述至少一个网络...
【专利技术属性】
技术研发人员：陈奎丞，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。