一种基于推理应用的边缘AI服务器功耗测试方法及装置制造方法及图纸

本发明专利技术公开了一种基于推理应用的边缘AI服务器功耗测试方法及装置，包括：第一步，客户端服务器程序来模拟用户终端多用户任务请求，客户端服务器程序将多用户任务请求发送给边缘AI服务器中的推理服务器，客户端服务器程序通过多用户任务请求，对推理服务器进行多级负载加压；第二步，推理服务器依据多用户任务请求进行推理计算，调度多个进程同时运行；第三步，功耗测量装置负责收集推理服务器推理计算过程中的功耗值。通过上述方式，本发明专利技术能够通过设置多种任务情景，能够模拟边缘AI服务器在实际应用中的负载状态，评测服务器的功耗值，评测结果可以为产品设计和应用设计提供科学的参考。

【技术实现步骤摘要】
一种基于推理应用的边缘AI服务器功耗测试方法及装置
本专利技术涉及服务器功耗测试领域，特别是涉及一种基于推理应用的边缘AI服务器功耗测试方法及装置。
技术介绍
现有的服务器功耗测试技术方案是SpecPower，由SPEC组织开发的一种性能/功耗比基准测试，用于评估运行基于Java的应用程序的服务器的功耗情况。SPECpower_ssj2008利用标准Java的JDK计算整体服务器性能，并根据其11个不同工作负载区域段的功耗得出服务器的工作负载/能耗比的测试方式，它应用specjbb作为工作负载，先实时满负荷的运行3次，求得平均值得到系统的最高性能值，然后系统以此为参照，按100％,90％,80％…10％,0％运行工作负载，其系统的利用率也依次下降,性能运行结果会以ssj_ops方式记录。同时连接系统电源的功率仪会实时记录系统的功率状况，最后系统会把性能和功率做一个累加并相除得到性能功耗比。但是SpecPower主要是面向基于CPU的负载而设计，适用于传统的以CPU为计算核心的服务器产品。但是边缘AI服务器的最大特点就是具备专用的计算加速本文档来自技高网...

【技术保护点】
1.一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于，包括以下步骤：S100，客户端服务器程序模拟用户终端多用户任务请求，客户端服务器程序将多用户任务请求发送给边缘AI服务器中的推理服务器，客户端服务器程序通过多用户任务请求对推理服务器进行多级负载加压；S200，推理服务器依据多用户任务请求进行推理计算，调度多个进程同时运行；S300，功耗测量装置收集推理服务器推理计算过程中的功耗值。/n

【技术特征摘要】
1.一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于，包括以下步骤：S100，客户端服务器程序模拟用户终端多用户任务请求，客户端服务器程序将多用户任务请求发送给边缘AI服务器中的推理服务器，客户端服务器程序通过多用户任务请求对推理服务器进行多级负载加压；S200，推理服务器依据多用户任务请求进行推理计算，调度多个进程同时运行；S300，功耗测量装置收集推理服务器推理计算过程中的功耗值。


2.根据权利要求1所述的一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于：所述步骤S100中客户端服务器程序模拟用户终端多用户任务请求时，客户端服务器中有数据集，数据集包含推理数据和多用户任务请求的任务数量和类型；所述客户端服务器程序为计算机设备中软件，计算机设备中软件中技术采用PythonMulti-process技术。


3.根据权利要求2所述的一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于：所述客户端服务器为计算机设备；所述推理数据包括：COCO数据集、SQuAD数据集、wmt数据集。


4.根据权利要求3所述的一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于：所述COCO数据集储存图像数据进行目标检测；所述SQuAD数据集储存声音数据进行阅读理解；所述wmt数据集储存文本数据进行机器翻译。


5.根据权利要求1所述的一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于：所述步骤S100中客户端程序对推理服务器进行多级负载加压时，客户端程序会逐步增加任务数量，至推理服务器负载达到最大，客户端程序根据逐步增加的任务数量，保存为若干个json文件，客户端程序按照若干个json文件，生成若干个负载场景的任务请求，客户端程序按照若干个负载场景的任务请求分别使推理服...

【专利技术属性】
技术研发人员：李磊，王月，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32