模型引擎的构建、核函数处理方法、设备及存储介质技术

本申请实施例提供一种模型引擎的构建、核函数处理方法、设备及存储介质。在为目标模型构造模型引擎时，可利用核函数复用信息为目标模型中的算子选择适配的核函数。该核函数复用信息用于保存算子与适配的核函数的对应关系。基于核函数复用信息，可避免为相同的算子重复执行核函数的测试选择操作，可有效降低模型引擎的构建开销。擎的构建开销。擎的构建开销。

【技术实现步骤摘要】
模型引擎的构建、核函数处理方法、设备及存储介质


[0001]本申请涉及人工智能领域，尤其涉及一种模型引擎的构建、核函数处理方法、设备及存储介质。

技术介绍

[0002]核函数(Kernel function)，是运行在GPU(graphics processing unit，图形处理器)或者CPU(central processing unit，中央处理器)上用于执行运算过程的函数。通常，为获取较佳的运算性能，可开发多个核函数来完成相同功能的计算过程。在构造神经网络模型的推理(或称预测)引擎(engine)时，可为神经网络模型中的每个算子选取较佳的核函数，以提升神经网络模型的性能。
[0003]现有技术中提供的为神经网络模型中的算子选取核函数的方案，不利于降低神经网络模型的引擎构造开销。因此，有待提出一种新的解决方案。

技术实现思路

[0004]本申请的多个方面提供一种模型引擎的构建、核函数处理方法、设备及存储介质，用以有效地降低神经网络模型的引擎构造开销。
[0005]本申请实施例还提供一种模型引擎构建方法，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型引擎的构建方法，其特征在于，包括：响应模型引擎构造请求，确定待构造模型引擎的目标模型；对所述目标模型进行分析，得到所述目标模型包含的多个算子；利用核函数复用信息，为所述多个算子分别选择适配的核函数；其中，所述核函数复用信息用于记录算子与适配的核函数的对应关系；所述算子与适配的核函数的对应关系，通过在至少一次模型引擎构造过程中，对算子进行核函数的遍历测试得到；根据所述多个算子适配的核函数，构造所述目标模型对应的模型引擎。2.根据权利要求1所述的方法，其特征在于，利用核函数复用信息，为所述多个算子分别选择适配的核函数，包括：确定所述核函数复用信息；针对所述多个算子中的任一待处理算子，根据所述待处理算子的算子信息，对所述核函数复用信息进行查询；若在所述核函数复用信息中，查询到与所述待处理算子的算子信息匹配的目标算子，则从所述核函数复用信息中，确定所述目标算子对应的核函数；将所述目标算子对应的核函数，复用为所述待处理算子的核函数。3.根据权利要求2所述的方法，其特征在于，还包括：若在所述核函数复用信息中，未查询到与所述待处理算子的算子信息匹配的目标算子，则针对所述待处理算子遍历测试多个候选的核函数；根据所述多个候选的核函数的测试结果，从所述多个候选的核函数中，确定与所述待处理算子适配的核函数。4.根据权利要求3所述的方法，其特征在于，确定与所述待处理算子适配的核函数之后，还包括：将所述待处理算子的算子信息以及与所述待处理算子适配的核函数，对应添加至所述核函数复用信息中，以更新所述核函数复用信息。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述核函数复用信息包括：所述目标模型中已选择核函数的算子与适配的核函数的对...

【专利技术属性】
技术研发人员：方民权，吕倪祺，王留锋，游亮，龙欣，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：