核函数部署方法及装置、电子设备与存储介质制造方法及图纸

一种核函数部署方法及装置、电子设备与存储介质。该核函数部署方法包括：获取要处理的计算任务的参数信息；根据参数信息，在一个或多个对象核函数缓存组中查询是否缓存有与计算任务和参数信息对应的目标核函数；响应于一个或多个对象核函数缓存组缓存有目标核函数，将目标核函数提供至设备端以执行计算任务。该核函数部署方法通过在对象核函数缓存组中查找核函数，大大降低了查找核函数产生的延迟，提高了核函数使用效率，提高了设备端程序的运行性能，从而提高了计算设备的计算能力。从而提高了计算设备的计算能力。从而提高了计算设备的计算能力。

【技术实现步骤摘要】
核函数部署方法及装置、电子设备与存储介质


[0001]本公开的实施例涉及一种核函数部署方法及装置、电子设备与存储介质。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)、神经网络(Neural Network,NN)等领域的发展对计算设备的计算性能提出了更高的要求。在当前的计算设备中，诸如中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、通用图形处理器(General
‑
purpose Computing on Graphics Processing Units，GPGPU)等得到了广泛应用。通过将不同的数据在不同的处理器上进行运算，以及在不同的处理器之间执行数据之间的迁移、传输和存储等，提高了计算设备的计算性能。

技术实现思路

[0003]本公开至少一实施例提供一种核函数部署方法，该核函数部署方法包括：获取要处理的计算任务的参数信息；根据所述参数信息，在一个或多个对象核函数缓存组中查询是否缓存有与所述计算任务和所述参数信息对应的目标核函数；响应于所述一个或多个对象核函数缓存组缓存有所述目标核函数，将所述目标核函数提供至设备端以执行所述计算任务；其中，所述一个或多个对象核函数缓存组中的每个对象核函数缓存组包括计算任务相同而参数信息不同的至少一个核函数。
[0004]例如，本公开至少一实施例提供的核函数部署方法还包括：响应于所述一个或多个对象核函数缓存组未缓存有所述目标核函数，在核函数库中查询是否存储有与所述计算任务和所述参数信息对应的所述目标核函数；响应于所述核函数库中存储有所述目标核函数，将所述目标核函数提供至所述设备端以执行所述计算任务。
[0005]例如，本公开至少一实施例提供的核函数部署方法还包括：响应于所述核函数库中未存储有所述目标核函数，生成与所述计算任务和所述参数信息对应的所述目标核函数。
[0006]例如，本公开至少一实施例提供的核函数部署方法还包括：将生成的所述目标核函数保存在所述核函数库中。
[0007]例如，本公开至少一实施例提供的核函数部署方法还包括：在所述核函数库中选择与所述计算任务对应的目标核函数缓存组，或者响应于所述核函数库中尚未存在与所述计算任务对应的目标核函数缓存组，在所述核函数库中创建所述目标核函数缓存组；将所述生成的所述目标核函数保存在所述目标核函数缓存组中。
[0008]例如，本公开至少一实施例提供的核函数部署方法还包括：将所述目标核函数缓存组从所述核函数库中加载到内存中。
[0009]例如，在本公开至少一实施例提供的核函数部署方法中，所述核函数库包括多个核函数缓存组，所述多个核函数缓存组中的每个核函数缓存组包括计算任务相同而参数信息不同的至少一个核函数。
[0010]例如，在本公开至少一实施例提供的核函数部署方法中，所述一个或多个对象核函数缓存组为从所述核函数库读入到内存中的一个或多个核函数缓存组。
[0011]例如，在本公开至少一实施例提供的核函数部署方法中，对应于所述核函数库创建有核函数索引表，所述核函数索引表包括多个第一核函数索引，所述多个第一核函数索引一一对应于所述核函数库中存储的多个核函数，所述在核函数库中查询是否存储有与所述计算任务和所述参数信息对应的所述目标核函数，包括：基于所述计算任务和所述参数信息，计算所述目标核函数对应的目标核函数索引；基于所述目标核函数索引查找所述核函数索引表；响应于所述核函数索引表中存在与所述目标核函数索引对等的第一核函数索引，利用所述对等的第一核函数索引在所述核函数库中获取所述目标核函数。
[0012]例如，在本公开至少一实施例提供的核函数部署方法中，所述核函数库存储在硬盘中。
[0013]例如，在本公开至少一实施例提供的核函数部署方法中，所述在一个或多个对象核函数缓存组中查询是否缓存有与所述计算任务和所述参数信息对应的目标核函数，包括：基于所述计算任务和所述参数信息，计算所述目标核函数对应的目标核函数索引；基于所述目标核函数索引在所述一个或多个对象核函数缓存组中查询是否缓存有所述目标核函数；其中，所述一个或多个对象核函数缓存组存储在内存中。
[0014]例如，在本公开至少一实施例提供的核函数部署方法中，对应于核函数库创建有核函数索引表，所述核函数索引表包括多个第二核函数索引，所述多个第二核函数索引一一对应于所述一个或多个对象核函数缓存组中缓存的多个核函数，所述基于所述目标核函数索引在所述一个或多个对象核函数缓存组中查询是否缓存有所述目标核函数，包括：基于所述目标核函数索引查找所述核函数索引表；响应于所述核函数索引表中存在与所述目标核函数索引对等的第二核函数索引，利用所述对等的第二核函数索引在所述一个或多个对象核函数缓存组中获取所述目标核函数。
[0015]例如，本公开至少一实施例提供的核函数部署方法，在所述在一个或多个对象核函数缓存组中查询是否缓存有与所述计算任务和所述参数信息对应的目标核函数之前，还包括：根据所述计算任务，在所述一个或多个对象核函数缓存组中查询是否缓存有与所述计算任务对应的目标核函数缓存组。
[0016]例如，本公开至少一实施例提供的核函数部署方法，在所述在一个或多个对象核函数缓存组中查询是否缓存有与所述计算任务和所述参数信息对应的目标核函数之前，还包括：响应于所述一个或多个对象核函数缓存组中未缓存有所述目标核函数缓存组，根据所述计算任务，在核函数库中查找是否存储有所述与所述计算任务对应的目标核函数缓存组；响应于所述核函数库中存储有所述目标核函数缓存组，将所述目标核函数缓存组读入到内存中作为所述一个或多个对象核函数缓存组之一。
[0017]例如，在本公开至少一实施例提供的核函数部署方法中，所述在一个或多个对象核函数缓存组中查询是否缓存有与所述计算任务和所述参数信息对应的目标核函数，包括：在所述目标核函数缓存组中查询是否缓存有与所述计算任务和所述参数信息对应的所述目标核函数。
[0018]例如，在本公开至少一实施例提供的核函数部署方法中，内存中包括多个对象核函数缓存组，所述多个对象核函数缓存组中的每个对象核函数缓存组具有对应的第一优先
级数值，所述多个对象核函数缓存组按照所对应的多个第一优先级数值排序，所述响应于所述一个或多个对象核函数缓存组缓存有所述目标核函数，将所述目标核函数提供至设备端以执行所述计算任务，包括：响应于所述多个对象核函数缓存组包括具有所述目标核函数的目标核函数缓存组，修改所述目标核函数缓存组所对应的第一优先级数值以提高所述目标核函数缓存组的第一优先级。
[0019]例如，在本公开至少一实施例提供的核函数部署方法中，内存中包括多个对象核函数缓存组，所述多个对象核函数缓存组中的每个对象核函数缓存组具有对应的第一优先级数值，所述多个对象核函数缓存组按照所对应的多个第一优先级数值排序，所述响应于所述核函数库中存储有所述目标核函数，将所述目标核本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种核函数部署方法，包括：获取要处理的计算任务的参数信息；根据所述参数信息，在一个或多个对象核函数缓存组中查询是否缓存有与所述计算任务和所述参数信息对应的目标核函数；响应于所述一个或多个对象核函数缓存组缓存有所述目标核函数，将所述目标核函数提供至设备端以执行所述计算任务；其中，所述一个或多个对象核函数缓存组中的每个对象核函数缓存组包括计算任务相同而参数信息不同的至少一个核函数。2.根据权利要求1所述的核函数部署方法，还包括：响应于所述一个或多个对象核函数缓存组未缓存有所述目标核函数，在核函数库中查询是否存储有与所述计算任务和所述参数信息对应的所述目标核函数；响应于所述核函数库中存储有所述目标核函数，将所述目标核函数提供至所述设备端以执行所述计算任务。3.根据权利要求2所述的核函数部署方法，还包括：响应于所述核函数库中未存储有所述目标核函数，生成与所述计算任务和所述参数信息对应的所述目标核函数。4.根据权利要求3所述的核函数部署方法，还包括：将生成的所述目标核函数保存在所述核函数库中。5.根据权利要求4所述的核函数部署方法，还包括：在所述核函数库中选择与所述计算任务对应的目标核函数缓存组，或者响应于所述核函数库中尚未存在与所述计算任务对应的目标核函数缓存组，在所述核函数库中创建所述目标核函数缓存组；将所述生成的所述目标核函数保存在所述目标核函数缓存组中。6.根据权利要求5所述的核函数部署方法，还包括：将所述目标核函数缓存组从所述核函数库中加载到内存中。7.根据权利要求2所述的核函数部署方法，其中，所述核函数库包括多个核函数缓存组，所述多个核函数缓存组中的每个核函数缓存组包括计算任务相同而参数信息不同的至少一个核函数。8.根据权利要求7所述的核函数部署方法，其中，所述一个或多个对象核函数缓存组为从所述核函数库读入到内存中的一个或多个核函数缓存组。9.根据权利要求2所述的核函数部署方法，其中，对应于所述核函数库创建有核函数索引表，所述核函数索引表包括多个第一核函数索引，所述多个第一核函数索引一一对应于所述核函数库中存储的多个核函数，所述在核函数库中查询是否存储有与所述计算任务和所述参数信息对应的所述目标核函数，包括：基于所述计算任务和所述参数信息，计算所述目标核函数对应的目标核函数索引；基于所述目标核函数索引查找所述核函数索引表；响应于所述核函数索引表中存在与所述目标核函数索引对等的第一核函数索引，利用所述对等的第一核函数索引在所述核函数库中获取所述目标核函数。
10.根据权利要求9所述的核函数部署方法，其中，所述核函数库存储在硬盘中。11.根据权利要求1所述的核函数部署方法，其中，所述在一个或多个对象核函数缓存组中查询是否缓存有与所述计算任务和所述参数信息对应的目标核函数，包括：基于所述计算任务和所述参数信息，计算所述目标核函数对应的目标核函数索引；基于所述目标核函数索引在所述一个或多个对象核函数缓存组中查询是否缓存有所述目标核函数；其中，所述一个或多个对象核函数缓存组存储在内存中。12.根据权利要求11所述的核函数部署方法，其中，对应于核函数库创建有核函数索引表，所述核函数索引表包括多个第二核函数索引，所述多个第二核函数索引一一对应于所述一个或多个对象核函数缓存组中缓存的多个核函数，所述基于所述目标核函数索引在所述一个或多个对象核函数缓存组中查询是否缓存有所述目标核函数，包括：基于所述目标核函数索引查找所述核函数索引表；响应于所述核函数索引表中存在与所述目标核函数索引对等的第二核函数索引，利用所述对等的第二核函数索引在所述一个或多个对象核函数缓存组中获取所述目标核函数。13.根据权利要求1所述的核函数部署方法，在所述在一个或多个对象核函数缓存组中查询是否缓存有与所述计算任务和所述参数信息对应的目标核函数之前，还包括：根据所述计算任务，在所述一个或多个对象核函数缓存组中查询是否缓存有与所述计算任务对应的目标核函数缓存组。14.根据权利要求13所述的核函数部署方法，在所述在一个或多个对象核函数缓存组中查询是否缓存有与所述计算任务和所述参数信息对应的目标核函数之前，还包括：响应于所述一个或多个对象核函数缓存组中未缓存有所述目标核函数缓存组，根据所述计算任务，在核函数库中查找是否存储有所述与所述计算任务对应的目标核函数缓存组；响应于所述核...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：上海壁仞智能科技有限公司，
类型：发明
国别省市：