【技术实现步骤摘要】
算子性能评估方法、装置、电子设备及存储介质
[0001]本公开涉及计算机
，尤其涉及AI开发、云平台等人工智能
，尤其涉及一种算子性能评估方法、装置、电子设备及存储介质。
技术介绍
[0002]目前很多的应用和公有云的一些服务，都是需要基于AI(Artificial Intelligence，人工智能)技术来进行封装和开发的。因此，服务端就需要部署AI算子服务集群来供上层业务封装以对外提供服务。这样，就需要对每个AI算子进行性能评估，产出性能数据后，才能方便的进行集群的容量规划。
[0003]传统的AI算法性能测试，主要方案为依赖测试人员操作压测工具进行发压，并且不断增加请求并发度来测试AI算子服务的极限压力，最终统计相关的资源数据、成功率数据等，形成最终的性能数据。
技术实现思路
[0004]本公开提供了一种算子性能评估方法、装置、电子设备及存储介质。
[0005]根据本公开的一方面，提供了一种算子性能评估方法，包括：
[0006]确定待评估的算子；
[0007]...
【技术保护点】
【技术特征摘要】
1.一种算子性能评估方法，包括：确定待评估的人工智能AI算子；对所述算子进行服务部署，以得到算子服务；获取所述算子的数据集；根据所述数据集和所述算子服务对所述算子进行测试，以生成所述算子的性能评估数据。2.根据权利要求1所述的方法，其中，所述根据所述数据集和所述算子服务对所述算子进行测试，以生成所述算子的性能评估数据，包括：根据所述数据集和所述算子服务对所述算子进行测试，得到测试数据；对所述测试数据进行分析，得到所述算子的性能评估数据。3.根据权利要求1所述的方法，其中，所述对所述算子进行服务部署，以得到算子服务，包括：获取所述算子的图形处理器GPU指定型号；根据所述GPU指定型号，确定部署策略；根据所述部署策略对所述算子进行服务部署，以得到所述算子服务。4.根据权利要求2所述的方法，其中，所述根据所述数据集和所述算子服务对所述算子进行测试，得到测试数据，包括：对所述数据集进行封装处理，以生成所述算子服务的请求指令集；根据性能评估策略从所述请求指令集选取至少一个请求指令作为目标请求指令；根据所述目标请求指令调用所述算子服务，以生成所述算子的测试数据。5.根据权利要求4所述的方法，其中，所述对所述测试数据进行分析，得到所述算子的性能评估数据，包括：判断所述测试数据是否满足熔断条件；若所述测试数据满足熔断条件，则获取所述算子服务在被调用过程中产生的资源数据和响应数据；对所述资源数据和所述响应数据进行分析，以生成所述算子的性能评估数据。6.根据权利要求5所述的方法，其中，所述对所述资源数据和所述响应数据进行分析，以生成所述算子的性能评估数据，包括：分别对所述资源数据和所述响应数据进行拆分，以得到目标资源数据、目标响应数据、参考资源数据和参考响应数据；根据所述目标资源数据、所述目标响应数据、所述参考资源数据和所述参考响应数据，对所述算子进行性能评估，以生成所述性能评估数据。7.根据权利要求5所述的方法，其中，所述根据所述数据集和所述算子服务对所述算子进行测试，以生成所述算子的性能评估数据，还包括：若所述测试数据不满足所述熔断条件，则根据所述性能评估策略重新从所述请求指令集选取至少一个请求指令作为目标请求指令；根据重新选取的目标请求指令调用所述算子服务，以重新生成所述算子的测试数据，直至重新生成的测试数据满足所述熔断条件。8.根据权利要求5所述的方法，其中，所述判断所述测试数据是否满足熔断条件，包括：
对所述测试数据进行解析，以获取所述算子服务的当前处理耗时；获取所述算子服务前一次的历史处理耗时，并计算所述当前处理耗时和所述历史处理耗时之间的差异；若所述差异大于时间阈值，则确定所述测试数据满足所述熔断条件。9.根据权利要求5所述的方法，其中，所述判断所述测试数据是否满足熔断条件，包括：对所述测试数据进行解析，以获取所述算子服务的当前请求成功率；获取所述算子服务前一次的历史请求成功率，并计算所述当前请求成功率和所述历史请求成功率之间的差异；若所述差异大于成功率阈值，则确定所述测试数据满足所述熔断条件。10.一种算子性能评估装置，包括：确定模块，用于确定待评估的人工智能AI算子；服务部署模块，用于对所述算子进行服务部署，以得到算子服务；获取模块，用于获取所述算子的数据集；测试模块，用于根据所述数据集和...
【专利技术属性】
技术研发人员：杨咏臻，曹启云，叶翔，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。