网络请求处理方法、装置、设备和存储介质制造方法及图纸

本申请实施例公开了一种网络请求处理方法、装置、设备和存储介质，涉及人工智能技术领域。具体实现方案为：响应于接收的网络请求，确定待调用的目标模型，以及所述目标模型关联的目标模型引擎工具；基于所述微服务框架与所述目标模型引擎工具之间的对接关系，通过所述目标模型引擎工具调用所述目标模型对所述网络请求进行处理，得到目标特征数据。本申请实施例通过微服务框架预先实现与候选模型引擎工具之间的对接关系，在使用微服务框架开发新的特征服务过程中，无需重复进行模型引擎对接，减少了模型引擎对接工作量，从而提高特征服务的开发效率。

【技术实现步骤摘要】
网络请求处理方法、装置、设备和存储介质
本申请实施例涉及计算机
，尤其涉及人工智能
，具体涉及一种网络请求处理方法、装置、设备和存储介质。
技术介绍
随着人工智能技术的发展，模型预测(modelinference)已经广泛应用于对资源数据进行处理得到特征数据。业界有多种模型引擎工具，如PaddlePaddle(飞桨平台)、Tensorflow、Caffe、和PyTorch等。由于这些引擎负责模型预测部分的计算，在业务比较复杂时，尤其是特征服务需要使用不同模型引擎工具的不同模型时，不同模型引擎工具之间的融合调试工作量大，导致特征服务的开发效率低。
技术实现思路
本申请实施例提供了一种网络请求处理方法、装置、设备和存储介质，能够提高特征服务的开发效率。第一方面，本申请实施例提供了一种网络请求处理方法，由部署有微服务框架的节点执行，所述方法包括：响应于接收的网络请求，确定待调用的目标模型，以及所述目标模型关联的目标模型引擎工具；基于所述微服务框架与所述目标模型引擎工具之间的对接关系，通过本文档来自技高网...

【技术保护点】
1.一种网络请求处理方法，其特征在于，由部署有微服务框架的节点执行，所述方法包括：/n响应于接收的网络请求，确定待调用的目标模型，以及所述目标模型关联的目标模型引擎工具；/n基于所述微服务框架与所述目标模型引擎工具之间的对接关系，通过所述目标模型引擎工具调用所述目标模型对所述网络请求进行处理，得到目标特征数据。/n

【技术特征摘要】
1.一种网络请求处理方法，其特征在于，由部署有微服务框架的节点执行，所述方法包括：
响应于接收的网络请求，确定待调用的目标模型，以及所述目标模型关联的目标模型引擎工具；
基于所述微服务框架与所述目标模型引擎工具之间的对接关系，通过所述目标模型引擎工具调用所述目标模型对所述网络请求进行处理，得到目标特征数据。


2.根据权利要求1所述的方法，其特征在于，确定待调用的目标模型，以及所述目标模型关联的目标模型引擎工具之前，还包括：
根据候选模型的基础配置信息，将所述候选模型加载到内存中；
根据所述候选模型的引擎配置信息，采用所述候选模型关联的候选模型引擎工具对所述候选模型进行引擎封装，并建立候选模型名称与所述候选模型引擎工具之间索引关系，用于通过所述候选模型引擎工具调用候选模型。


3.根据权利要求2所述的方法，其特征在于，所述基础配置信息包括如下至少一项：模型名称、模型使用设备、模型文件路径和模型加载参数。


4.根据权利要求1所述的方法，其特征在于，通过所述目标模型引擎工具调用所述目标模型对所述网络请求进行处理，包括：
通过数据格式转换接口，对所述目标模型引擎工具的输入数据和输出数据进行数据格式统一，以得到统一格式的输入数据和输出数据。


5.根据权利要求1所述的方法，其特征在于，通过所述目标模型引擎工具调用所述目标模型对所述网络请求进行处理，包括：
确定所述目标模型的模型使用设备为CPU还是GPU；
若所述目标模型的模型使用设备为CPU，则在本地节点的CPU实例中，通过所述目标模型引擎工具调用所述目标模型对所述网络请求进行处理；
若所述目标模型的模型使用设备为GPU，则控制本地节点的GPU实例或其他节点的GPU实例，通过所述目标模型引擎工具调用所述目标模型对所述网络请求进行处理。


6.根据权利要求5所述的方法，其特征在于，所述CPU实例的数量大于所述GPU实例的数量。


7.根据权利要...

【专利技术属性】
技术研发人员：张悦，郑伟，史晨旭，田津津，范晓雷，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11