终端设备的性能评测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提出一种终端设备的性能评测方法、装置、电子设备及存储介质，所述方法包括：接收用户的指令，以启动AI性能评测流程；控制并执行每一种AI性能单项测试，并确定每一种所述AI性能单项测试的得分；基于所有所述AI性能单项测试的得分，确定终端设备的AI性能综合得分，对所述终端设备的性能评估。该方法通过多种AI性能单项测试对终端设备的AI性能进行评测，能够测试设备在处理这些不同AI应用时的实际性能，更全面的对终端设备的AI性能进行评估。更全面的对终端设备的AI性能进行评估。更全面的对终端设备的AI性能进行评估。

【技术实现步骤摘要】
终端设备的性能评测方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机应用
，尤其涉及一种终端设备的性能评测方法、装置、电子设备及存储介质。

技术介绍

[0002]现有的终端设备AI性能测试方法通常只对设备处理图像分类、目标识别等AI应用的平均延迟和准确率进行测试，并基于测试结果对设备的AI性能进行评估。然而现有方法只能测试终端设备运行一小部分AI应用的性能，AI技术还有很多其他的应用领域，因此，当前终端设备AI性能测试方法无法衡量终端设备在运行其他多种AI应用时的综合性能。除此之外，终端设备的AI模型加载性能也直接影响了用户使用AI应用时的用户体验，但当前的AI性能测试方法无法衡量终端设备的模型加载性能水平。另外，在对终端设备的AI性能进行打分评估时，当前的AI性能测试方法主要使用平均处理延迟和准确率这两种数据进行打分，在打分过程中忽略了AI神经网络模型本身的计算复杂度和AI模型的参数量，这就导致用户无法准确了解终端设备的AI性能。

技术实现思路

[0003]针对现有技术的不足，本专利技术提出一种终端设备的性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种终端设备的性能评测方法，其特征在于，包括：接收用户的指令，以启动AI性能评测流程；控制并执行每一种AI性能单项测试，并确定每一种所述AI性能单项测试的得分；基于所有所述AI性能单项测试的得分，确定终端设备的AI性能综合得分，对所述终端设备的性能评估。2.根据权利要求1所述的方法，其特征在于，每一种所述AI性能单项测试的执行过程包括：加载用于所述AI性能单项测试的测试数据集；将所述AI性能单项测试对应的AI神经网络模型从所述终端设备的存储系统加载到内存中，完成所述模型的初始化过程，并统计模型加载时间；利用已经加载的所述模型来处理测试数据集中的多个测试数据，获得每个测试数据的测试输出结果信息以及所述终端设备的平均处理延迟数据；将每个测试数据的测试输出结果信息与测试数据的真值进行对比，根据所述AI性能单项测试对应的准确率计算公式计算出所述终端设备的准确率测试结果；根据所述AI模型加载时间、所述终端设备的平均处理延迟数据、以及所述终端设备的准确率测试结果，计算所述终端设备在所述AI性能单项测试中所获得的所述AI性能单项测试的得分。3.根据权利要求2所述的方法，其特征在于，所述AI性能单项测试的得分计算公式为：S
i
＝P
i
+T
i
*w
i
其中，S
i
为所述终端设备在第i个所述AI性能单项测试的性能得分，P
i
为所述终端设备的在第i个所述AI性能单项测试中的数据处理性能得分，T
i
为所述终端设备在第i个所述AI性能单项测试中的模型加载性能得分，w
i
第i个所述AI性能单项测试的得分比例权重；所述数据处理性能得分的计算公式为：其中，P
i
为所述终端设备的在第i个所述AI性能单项测试中的数据处理性能得分，MAC
i
为第i个所述AI性能单项测试中的AI神经网络模型中包含的乘积累加运算次数；L
i
是所述终端设备在第i个所述AI性能单项测试中平均处理每单位数据的延迟数据；模型加载性能得分计算公式为：其中，T
i
为所述终端设备在第i个所述AI性能单项测试中的模型加载性能得分，M
i
为第i个所述AI性能单项测试中AI神经网络模型的模型参数量，即AI神经网络模型中模型权重的参数数据量；s
i
为所述终端设备在第i个所述AI性能单项测试中完成AI神经网络模型加载以及模型初始化过程所花费的时间。4.根据权利要求3所述的方法，其特征在于，所述AI性能单项测试包括人脸识别测试、语音关键词识别测试、图像分类测试、物体识别测试、超分辨率测试、人体姿态识别测试以及语义分割测试中的任一种测试。
5.根据权利要求4所述的方法，其特征在于，在所述AI性能单项测试包括人体姿态识别测试的情况下，人体姿态识别AI性能单项测试执行过程包括：运行所述人体姿态识别AI性能单项测试，对人体的关键点作为姿态识别特征点进行识别，通过关键点相似度确定所述关键点的准确程度，评估所述终端设备的AI人体姿态识别能力。6.根据权利要求5所述的方法，其特征在于，所述关键点相似度OKS的计算公式为：其中，p表示在测试数据的真值中某个人，p
i
表示第p个人的第i个关键点；表示第p个人的第i个关键点和输出结果中第i个关键点的欧式距离，其计算公式为：其中，(x'
i
,y'
i
)为测试输出结果信息中第i个关键点的检测结果位置坐标，为真值中第p个人的第i个关键点位置坐标；v
pi
表示第p个人的第i个关键点的可见性；S
p
表示第p个人的尺度因子，其计算公式为w,h分别为第p个人检测框的宽度和高度；σ
i
表示id为i的关键点归一化因子，通过对所有的测试数据集中真值关键点由人工标注与真实值存在的标准差；δ(*)表示如果条件*成立，那么δ(*)＝1，否则δ(*)＝0，用于判断某一关键点是否是真值中已经标注的点。7.根据权利要求4所述的方法，其特征在于，在所述AI性能单项测试包括语音关键词识别测试的情况下，语音关键词识别AI性能单项测试执行过程包括：运行所述语音关键词识别AI性能单项测试，通过语音识别准确率评估所述终端设备识别语音关键词的性能水平，包括：所述语音识别准确率的计算公式为：其中，Acuraccy_0为语音识别准确率，n0为被识别错误的样本数量，t0为所有测试数据的数量；将所述语音识别准确率作为参考，为所述语音关键词识别AI性能单项测试的数据处理性能进行打分，并结合模型加载性能得分计算所述终端设备在所述语音关键词识别AI性能单项测试的得分。8.根据权利要求4所述的方法，其特征在于，
在所述AI性能单项测试包括人脸识别测试的情况下，人脸识别AI性能单项测试执行过程包括：运行所述人脸识别AI性能单项测试，通过人脸识别准确率对所述终端设备处理AI人脸识别任务时的性能进行评估，包括：所述人脸识别准确率的计算公式为：其中，Acuraccy_1为人脸识别准确率，...

【专利技术属性】
技术研发人员：全振宇，韩银和，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：