一种基于计算机视觉训练的云侧深度学习芯片测试指标与方法技术

本发明专利技术的基于计算机视觉训练的云侧深度学习芯片测试指标与方法，包括步骤

【技术实现步骤摘要】
一种基于计算机视觉训练的云侧深度学习芯片测试指标与方法


[0001]本专利技术涉及计算机芯片测试
，尤其涉及一种基于计算机视觉训练的云侧深度学习芯片测试指标与方法
。

技术介绍

[0002]计算机视觉又称机器视觉，是一门研究如何“教”计算机去“看”世界的学科，是深度学习技术的一个重要应用领域，被广泛应用到安防
、
工业质检和自动驾驶等场景，主流的计算机视觉任务，包括图像分类
、
目标检测
、
图像分割
、OCR、
视频分析和图像生成等；
[0003]近些年，人工智能作为新一轮科技革命和产业变革的重要驱动力量，在加速传统产业升级和促进新兴产业发展中发挥着越来越重要的作用，深度学习是这一次人工智能浪潮的核心技术，得益于硬件芯片和软件算法的高速发展，深度学习在产业应用方面取得了突飞猛进的进展；而能够实现上述功能的芯片，则是重中之重；
[0004]现有的，基于计算机视觉训练的云侧深度学习芯片测试指标与方法，一般只是由芯片生产厂商提供相关测试指标与性能，而芯片生产厂商仅仅只对基本的算力
、
内存
、
通信
、
能耗比等基础的信息进行相关指标的发布，测试指标项目少
、
评价维度单一
、
覆盖面小
、
与实际应用脱节，不能全面客观的反应芯片的实际性能，在现实情况不具备较大的参考意义，且不同芯片生产厂商的产品之间，所执行的相关测试信息标准不一致，使得不同芯片生产厂商之间的产品无法做直接的对比；而应用厂商在收到芯片后，因为无法知道芯片全面客观的数据，在布置应用的过程中，还需要耗费大量的时间进行测试调试，大大增加了沟通应用成本，使得相关芯片产品的采购
、
设计效率低下；并且现在行业机制不够健全，无法助力行业正常良性发展；
[0005]现有技术中，对基于计算机视觉训练的云侧深度学习芯片的测试比较片面，测试维度少，测试结果不够详尽，无法为芯片生产厂商
、
应用厂商以及第三方机构提供良好正常的有用信息，可供参考的意义不大
。
[0006]因此，本领域技术人员致力于开发一种基于计算机视觉训练的云侧深度学习芯片测试指标与方法，旨在解决现有技术中存在的缺陷问题
。

技术实现思路

[0007]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是目前现有技术中，对基于计算机视觉训练的云侧深度学习芯片测试，测试维度单一
、
覆盖面小
、
与实际应用脱节，不能全面客观的反应芯片的实际性能，沟通应用成本高，使得相关芯片产品的采购
、
设计效率低下；使得无法助力行业正常良性发展
。
[0008]为实现上述目的，本专利技术提供了一种基于计算机视觉训练的云侧深度学习芯片测试指标与方法，包括以下步骤；
[0009]步骤
1、
获取计算机视觉训练芯片的测试指标，并将其中的测试指标按重要性进行
分类；
[0010]步骤
2、
根据步骤1所得到的测试指标，针对每种测试指标制定相应的测试方法；
[0011]步骤
3、
完成相应的测试准备，并根据步骤2所制定的测试方法，执行相应的测试；
[0012]步骤
4、
根据步骤3所得到的结果，对测试结果进行确认，确认符合要求后，输出测试结果；
[0013]所述步骤1的计算机视觉训练芯片的测试指标包括，基本技术规格
、
功能
、
性能
、
生态与开放性；
[0014]所述基本技术规格包括算力
、
内存
、
通信
、
能效比等；每个子指标的计算方式为该子指标测试值与对应基准值的比值，计算公式为：
[0015][0016]所述计算机视觉训练芯片的测试指标中的功能包括算子支持程度
、
卡间多机高速通信
、
模型支持程度；
[0017]所述训练芯片对算子的支持程度，使用算子支持率进行衡量，算子支持率计算公式如下：
[0018]算子支持率＝
Σα
i
·
[
算子
i
是否支持
][0019]所述模型支持程度，对深度学习应用领域中典型模型的支持程度，模型支持率的计算公式如下：
[0020]模型支持率＝
Σβ
i
·
[
模型
i
是否支持
][0021]所述计算机视觉训练芯片的测试指标中的性能包括算子计算性能
、
通信性能
、
模型训练性能
、
大规模加速效率；
[0022]所述算子性能指某一特定输入配置情况下在芯片上的运算时间，不包含数据在主机内存和芯片存储器之间的传输时间，主要考虑
GEMM、Conv2d
和长尾算子在不同输入参数条件下在单芯片上的计算性能，单项配置下算子的性能公式如下所示：
[0023][0024]所述算子在单节点多芯片
、
多节点多芯片条件下的性能表现，包括通信速率和时延，其中每一个测试配置
(
节点配置和通信负载
)
下的计算公式如下：
[0025]通信单项配置＝
0.5
·
速率
+0.5
·
延迟
[0026]所述速率与延迟的计算如下：
[0027][0028][0029]所述通信性能的总计算公式如下：
[0030][0031]上式中，
N
表示配置项数目，它为节点配置项数量和通信负载项数量的乘积；
[0032]所述主流深度学习模型在不同配置
(
单卡
、
多卡
)
情形下的训练性能，模型训练性能用
SamplesPerSecond
衡量，是指训练过程中每秒钟能处理的样本数，其计算公式如下：
[0033][0034]所述模型性能为所有测试模型的加权平均或几何平均；
[0035]所述算术平均的公式为：
[0036][0037]所述几何平均的公式为：
[0038][0039]所述模型
i
的性能为：
[0040][0041]式中：
M
表示1卡
、4
卡
、8
卡和
16
卡4种测试配置；
[0042]所述生态与开放性包括芯片的基本软件栈
、
开放的芯片指令集或虚拟指令集
、
开放的设备代码编译器等；
[0043]所述生态指芯片的基本软件栈，并考虑芯片在公开市场的部署规模，评测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于计算机视觉训练的云侧深度学习芯片测试指标与方法，其特征在于，包括如下步骤：步骤
1、
获取计算机视觉训练芯片的测试指标，并将其中的测试指标按重要性进行分类；步骤
2、
根据步骤1所得到的测试指标，针对每种测试指标制定相应的测试方法；步骤
3、
完成相应的测试准备，并根据步骤2所制定的测试方法，执行相应的测试；步骤
4、
根据步骤3所得到的结果，对测试结果进行确认，确认符合要求后，输出测试结果；所述步骤1的计算机视觉训练芯片的测试指标包括，基本技术规格
、
功能
、
性能
、
生态
、
开放性；所述计算机视觉训练芯片的测试指标中的功能包括算子支持程度
、
卡间多机高速通信
、
模型支持程度；所述计算机视觉训练芯片的测试指标中的性能包括算子计算性能
、
通信性能
、
模型训练性能
、
大规模加速效率；所述计算机视觉训练芯片的测试指标中的基本技术规格包括算力
、
内存
、
通信
、
能效比；所述生态与开放性包括芯片的基本软件栈
、
开放的芯片指令集
、
虚拟指令集
、
开放的设备代码编译器
。2.
如权利要求1所述视觉训练的云侧深度学习芯片测试指标与方法，其特征在于，所述训练芯片对算子的支持程度，使用算子支持率进行衡量，算子支持率计算公式如下：算子支持率＝
Σα
i
·
[
算子
i
是否支持
]
式中每个算子的权重系数
α
i
使用统计方法获得；所述模型支持程度，对目前常见深度学习应用领域中典型模型的支持程度，模型支持率的计算公式如下：模型支持率＝
∑
β
i
·
[
模型
i
是否支持
]。3.
如权利要求1所述视觉训练的云侧深度学习芯片测试指标与方法，其特征在于，所述算子性能指某一特定输入配置情况下在芯片上的运算时间，不包含数据在主机内存和芯片存储器之间的传输时间，单项配置下算子的性能公式如下所示：所述通信性能的总计算公式如下：其中，
N
表示配置项数目，它为节点配置项数量和通信负载项数量的乘积；主流深度学习模型在不同配置情形下的训练性能，模型训练性能用
SamplesPerSecond
衡量，是指训练过程中每秒钟能处理的样本数，其计算公式如下：
4.
如权利要求1所述视觉训练的云侧深度学习芯片测试指标与方法，其特征在于，所述模型性能为所有测试模型的加权平均和几何平均；所述加权平均的公式为：所述几何平均的公式为：所述模型
i
的性能为：式中：
M
表示1卡
、4
卡
、8
卡和
16
卡4...

【专利技术属性】
技术研发人员：宋博伟，任翔，尹航，吴庚，申友志，李可，张越，于利红，南江，刘畅，逯海涛，张文莉，李晨曦，齐筱，陈颖，
申请(专利权)人：中国电子技术标准化研究院，
类型：发明
国别省市：