推理库的部署方法、装置和电子设备制造方法及图纸

本公开公开了推理库的部署方法、装置和电子设备，涉及人工智能技术领域，尤其涉及深度学习领域。具体实现方案为：获取推理引擎所在硬件环境的配置信息，并基于所述配置信息，生成推理库请求命令；执行所述请求命令生成推理库请求并发送给服务器；接收所述服务器反馈的与所述硬件环境匹配的目标推理库的数据包；根据所述数据包在所述硬件环境上部署所述目标推理库。该方法中，可获取与推理引擎所在硬件环境的配置信息匹配的目标推理库的数据包，并根据数据包在硬件环境上部署目标推理库，可保证目标推理库与推理引擎所在硬件环境的兼容性，提高了目标推理库部署的可靠性，而且目标推理库的获取不需要进行源码编译，耗时较短。

【技术实现步骤摘要】
推理库的部署方法、装置和电子设备
本公开涉及计算机
，尤其涉及一种推理库的部署方法、装置、电子设备、存储介质和计算机程序产品。
技术介绍
目前，推理引擎用于将模型部署到硬件环境上，利用硬件环境的计算能力，通过推理库对模型进行前向计算以获取模型的推理结果。然而，相关技术中，需要进行源码编译以获取推理库，源码编译对硬件要求较高，且耗时较长，另外，获取的推理库还可能存在与硬件环境不兼容的问题。
技术实现思路
提供了一种推理库的部署方法、装置、电子设备、存储介质和计算机程序产品。根据第一方面，提供了一种推理库的部署方法，包括：获取推理引擎所在硬件环境的配置信息，并基于所述配置信息，生成推理库请求命令；执行所述请求命令生成推理库请求并发送给服务器；接收所述服务器反馈的与所述硬件环境匹配的目标推理库的数据包；根据所述数据包在所述硬件环境上部署所述目标推理库。根据第二方面，提供了一种推理库的部署装置，包括：获取模块，用于获取推理引擎所在硬件环境的配置信息，并基于所述配置信息，生成推理库请求命令；请求模块，用于执行所述请求命令生成推理库请求并发送给服务器；接收模块，用于接收所述服务器反馈的与所述硬件环境匹配的目标推理库的数据包；部署模块，用于根据所述数据包在所述硬件环境上部署所述目标推理库。根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的推理库的部署方法。根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开第一方面所述的推理库的部署方法。根据第五方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现本公开第一方面所述的推理库的部署方法。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是根据本公开第一实施例的推理库的部署方法的流程示意图；图2是根据本公开第二实施例的推理库的部署方法中对深度学习模型的格式进行转换的流程示意图；图3是根据本公开第三实施例的推理库的部署方法中对深度学习模型的格式进行转换的流程示意图；图4是根据本公开第四实施例的推理库的部署方法中对深度学习模型的格式进行转换的流程示意图；图5是根据本公开第一实施例的推理库的部署装置的框图；图6是根据本公开第二实施例的推理库的部署装置的框图；图7是用来实现本公开实施例的推理库的部署方法的电子设备的框图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。AI(ArtificialIntelligence，人工智能)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。目前，AI技术具有自动化程度高、精确度高、成本低的优点，得到了广泛的应用。DL(DeepLearning，深度学习)是ML(MachineLearning，机器学习)领域中一个新的研究方向，是学习样本数据的内在规律和表示层次，使得机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据的一门科学，广泛应用于语音和图像识别。图1是根据本公开第一实施例的推理库的部署方法的流程示意图。如图1所示，本公开第一实施例的推理库的部署方法包括：S101，获取推理引擎所在硬件环境的配置信息，并基于配置信息，生成推理库请求命令。需要说明的是，本公开实施例的推理库的部署方法的执行主体可为推理引擎。可选的，推理引擎可为APP(Application，应用程序)的形式。本公开的实施例中，推理引擎可预先部署在硬件环境上。可选的，推理引擎的安装包可为pip软件包，例如，若推理引擎的名称为infer_engine，用户可使用命令pipinstallinfer_engine安装该推理引擎。进一步地，可获取推理引擎所在硬件环境的配置信息，并基于配置信息，生成推理库请求命令。可以理解的是，不同的推理引擎所在硬件环境的配置信息可能不同，例如，推理引擎A所在硬件环境的操作系统的位数为32位，内存为2G，推理引擎B所在硬件环境的操作系统的位数为64位，内存为8G。可以理解的是，不同的硬件环境的配置信息，所需的推理库可能不同。本公开的实施例中，可基于配置信息，生成推理库请求命令，从而不同的配置信息可对应不同的推理库请求命令，灵活性较高。可选的，基于配置信息，生成推理库请求命令，可包括预先建立配置信息和推理库请求命令之间的映射关系或者映射表，在获取到配置信息之后，查询映射关系或者映射表，能够获取到对应的推理库请求命令。应说明的是，上述映射关系或者映射表均可根据实际情况进行设置，这里不做过多限定。S102，执行请求命令生成推理库请求并发送给服务器。本公开的实施例中，推理引擎可执行推理库请求命令生成推理库请求，并将推理库请求发送给服务器。可以理解的是，推理库请求中携带推理引擎所在硬件环境的配置信息。本公开的实施例中，推理引擎可和服务器建立网络连接，以和服务器进行数据传输，可选的，网络连接可为移动网络，例如3G、4G、5G等。可选的，服务器可为云服务器。S103，接收服务器反馈的与硬件环境匹配的目标推理库的数据包。本公开的实施例中，服务器可预先存储多个推理库的数据包，不同的推理库可对应不同的数据包。服务器接收推理库请求之后，可根据推理库请求中的推理引擎所在硬件环境的配置信息，从存储的多个推理库的数据包中获取与硬件环境匹配的目标推理库的数据包并反馈给推理引擎。相应的，推理引擎可接收服务器反馈的与硬件环境匹配的目标推理库的数据包。S104，根据数据包在硬件环境上部署目标推理库。可以理解的是，推理引擎可根据数据包在硬件环境上部署目标推理库，例如，可将数据包存储到硬件的存储空间中，然后根据硬件的存储空间中的数据包进行目标推理库的安装，以实现目标推理库在硬件环境上的部署。综上，根据本公开实施例的推理库的部署方法，可基于推理引擎所在硬件环境的配置信息生成推理库请求命令，执行请求命令生成推理库请求并发送给服务器，接收服务器反馈的与硬件环境匹配的目标推理库的数据包，根据数据包在硬件环境上部署目标推理库。由此，可获取与推理引擎所在硬件环境的配置信息匹配的目标推理库的数本文档来自技高网...

【技术保护点】
1.一种推理库的部署方法，包括：/n获取推理引擎所在硬件环境的配置信息，并基于所述配置信息，生成推理库请求命令；/n执行所述请求命令生成推理库请求并发送给服务器；/n接收所述服务器反馈的与所述硬件环境匹配的目标推理库的数据包；/n根据所述数据包在所述硬件环境上部署所述目标推理库。/n

【技术特征摘要】
1.一种推理库的部署方法，包括：
获取推理引擎所在硬件环境的配置信息，并基于所述配置信息，生成推理库请求命令；
执行所述请求命令生成推理库请求并发送给服务器；
接收所述服务器反馈的与所述硬件环境匹配的目标推理库的数据包；
根据所述数据包在所述硬件环境上部署所述目标推理库。


2.根据权利要求1所述的推理库的部署方法，其中，所述根据所述数据包在所述硬件环境上部署所述目标推理库之后，还包括：
响应于所述推理引擎的格式与深度学习模型的格式不匹配，对所述深度学习模型的格式进行转换。


3.根据权利要求2所述的推理库的部署方法，其中，所述对所述深度学习模型的格式进行转换，包括：
基于所述推理引擎的第一格式信息和所述深度学习模型的第二格式信息，生成模型转换程序；
执行所述模型转换程序，对所述深度学习模型的格式进行转换。


4.根据权利要求3所述的推理库的部署方法，其中，所述基于所述推理引擎的第一格式信息和所述深度学习模型的第二格式信息，生成模型转换程序，包括：
从配置文件中读取所述第一格式信息和所述第二格式信息；
将所述第一格式信息和所述第二格式信息写入模型转换程序模板内，以生成所述模型转换程序。


5.根据权利要求3所述的推理库的部署方法，其中，所述基于所述推理引擎的第一格式信息和所述深度学习模型的第二格式信息，生成模型转换程序，包括：
从配置文件中读取所述第一格式信息和所述第二格式信息的存储位置；
将所述存储位置写入模型转换程序模板内，以生成所述模型转换程序。


6.根据权利要求2所述的推理库的部署方法，其中，还包括：
基于所述深度学习模型的模型参数和所述目标推理库的配置信息，构建验证数据；
基于所述验证数据，生成可执行文件并执行；
其中，所述可执行文件用于验证所述深度学习模型在所述目标推理库下的推理速度。


7.根据权利要求2所述的推理库的部署方法，其中，还包括：
基于所述深度学习模型的模型参数和所述目标推理库的配置信息，获取匹配的接口程序模板；
将所述深度学习模型的标识信息和所述目标推理库的标识信息，写入所述匹配的接口程序模板，以生成匹配的调用接口程序。


8.一种推理库的部署装置，包括：
获取模块，用于获取推理引擎所在硬件环境的配置信息，并基于所述配置信息，生成推理库请求命令；
请求模块，用于执行所述请求命令生成推理库请求并发送给服务器；
接收模块，用于接收所述服务器反馈的与所述硬件环境匹配...

【专利技术属性】
技术研发人员：张飞飞，胡志强，王运凯，赵乔，成瑜娟，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11