【技术实现步骤摘要】
本公开涉及人工智能，尤其涉及一种请求处理方法、装置、电子设备及存储介质。
技术介绍
1、本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
2、ai推理指的是基于人工智能进行推理，具体的，使用人工智能对数据或者信息进行分析和推理，以得出结论或者预测未来的趋势。也即，ai推理是将输入的数据，通过训练好的ai模型产生有价值信息的过程。
3、攒批次是ai推理中的加速策略之一，一些ai模型的推理计算需要较长的时间，而且计算资源有限，如果每个请求都单独计算，会导致计算资源的浪费。攒批次可以将多个请求合并为一个批处理请求，然后一起计算，利用计算资源的并行性，提高了计算效率。此外，攒批次还可以减少网络通信次数。
4、然而，相关技术中的攒批次方式需要和推理模块相融合，共同部署为一个推理应用实例，即每个推理应用实例中都存在攒批次功能，但是在分布式场景下，推理请求会被均匀分发到每个推理应用实例中，并且推理请求是单个且离散的，则无法充分发挥攒批次的效果。
...【技术特征摘要】
1.一种请求处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述若干推理请求进行攒批次处理，得到批处理请求，包括：
3.根据权利要求2所述的方法，其特征在于，所述实时吞吐率总和的确定方式，包括：
4.根据权利要求1所述的方法，其特征在于，所述对所述若干推理请求进行攒批次处理，得到批处理请求，包括：
5.根据权利要求1所述的方法，其特征在于，所述从若干推理应用实例中确定目标推理应用实例，包括：
6.根据权利要求1所述的方法，其特征在于，所述从若干推理应用实例中确定目标推理应用实例，包括：
7.根据权利要求2至6任意一项所述的方法，其特征...
【专利技术属性】
技术研发人员：朱晓扬，李想成，赵增，刘柏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。