【技术实现步骤摘要】
本公开涉及计算机，尤其涉及一种深度学习框架的测试方法、深度学习框架的测试装置、电子设备和存储介质。
技术介绍
1、深度学习的迅速发展，不仅促进了众多开源深度学习框架的诞生，如tensorflow、pytorch、caffe等，也激发了许多机构研发专属的深度学习框架以满足特定需求。然而，由于不同深度学习框架的设计原理和优化方法有所差异，相同的深度学习模型在不同的深度学习框架下的训练结果可能存在差别。评估和验证这些深度学习框架的精度和功能通常是一项复杂且耗时的任务。
技术实现思路
1、本公开提供了一种深度学习框架的测试技术方案。
2、根据本公开的一方面，提供了一种深度学习框架的测试方法，包括：
3、在部署在第一深度学习框架的深度学习模型中，注入数据抓取代码；
4、在所述第一深度学习框架中训练所述深度学习模型，并通过所述数据抓取代码抓取所述深度学习模型的第一中间变量集的信息；
5、根据所述第一中间变量集的信息，确定所述第一深度学习框架的测试结果。
6、在一种可能的实现方式中，所述根据所述第一中间变量集的信息，确定所述第一深度学习框架的测试结果，包括：
7、获得基准值；
8、将所述第一中间变量集的信息与所述基准值对比，确定所述第一深度学习框架的测试结果。
9、在一种可能的实现方式中，
10、所述获得基准值，包括：在部署在第二深度学习框架的所述深度学习模型中，注入所述数据抓取代码；在所
11、所述将所述第一中间变量集的信息与所述基准值对比，确定所述第一深度学习框架的测试结果，包括：将所述第一中间变量集的信息与所述第二中间变量集的信息进行对比，确定所述第一深度学习框架的测试结果。
12、在一种可能的实现方式中，
13、所述第一中间变量集包括：在所述第一深度学习框架中训练的所述深度学习模型中待训练的第一参数集；
14、所述第二中间变量集包括：在所述第二深度学习框架中训练的所述深度学习模型中待训练的第二参数集。
15、在一种可能的实现方式中，
16、所述第一参数集的信息包括：所述第一参数集中的参数的值和/或梯度；
17、所述第二参数集的信息包括：所述第二参数集中的参数的值和/或梯度。
18、在一种可能的实现方式中，
19、所述通过所述数据抓取代码抓取所述深度学习模型的第一中间变量集的信息，包括：通过所述数据抓取代码抓取在所述第一深度学习框架中训练的所述深度学习模型的非最后一个网络层的输出值；
20、所述通过所述数据抓取代码抓取所述深度学习模型的第二中间变量集的信息，包括：通过所述数据抓取代码抓取在所述第二深度学习框架中训练的所述深度学习模型的非最后一个网络层的输出值。
21、在一种可能的实现方式中，
22、所述方法还包括：通过所述数据抓取代码抓取在所述第一深度学习框架中训练的所述深度学习模型的最后一个网络层的第一输出值；通过所述数据抓取代码抓取在所述第二深度学习框架中训练的所述深度学习模型的最后一个网络层的第二输出值；
23、所述将所述第一中间变量集的信息与所述第二中间变量集的信息进行对比，确定所述第一深度学习框架的测试结果，包括：根据所述第一中间变量集的信息、所述第二中间变量集的信息、所述第一输出值和所述第二输出值，确定所述第一深度学习框架的测试结果。
24、在一种可能的实现方式中，所述将所述第一中间变量集的信息与所述第二中间变量集的信息进行对比，确定所述第一深度学习框架的测试结果，包括：
25、对于所述第一中间变量集中的第一中间变量和所述第二中间变量集中的第二中间变量，确定所述第一中间变量与所述第二中间变量之间的差异值；
26、其中，所述第一中间变量和所述第二中间变量为所述深度学习模型中的同一中间变量。
27、在一种可能的实现方式中，所述将所述第一中间变量集的信息与所述第二中间变量集的信息进行对比，确定所述第一深度学习框架的测试结果，包括：
28、对所述第一中间变量中的元素取绝对值后求和，得到所述第一中间变量的元素之和；
29、对所述第二中间变量中的元素取绝对值后求和，得到所述第二中间变量的元素之和。
30、在一种可能的实现方式中，所述将所述第一中间变量集的信息与所述第二中间变量集的信息进行对比，确定所述第一深度学习框架的测试结果，包括：
31、根据所述第一中间变量或者所述第二中间变量，确定所述第一中间变量或者所述第二中间变量中的元素总数。
32、在一种可能的实现方式中，所述将所述第一中间变量集的信息与所述第二中间变量集的信息进行对比，确定所述第一深度学习框架的测试结果，包括：
33、确定所述第一中间变量与所述第二中间变量之间的标准差异值；
34、确定所述标准差异值中，值大于预设阈值的元素的第一数量。
35、在一种可能的实现方式中，所述确定所述第一中间变量与所述第二中间变量之间的标准差异值，包括：
36、确定所述第一中间变量与所述第二中间变量的差值的绝对值；
37、确定预设的公差比率与所述第一中间变量的绝对值的乘积；
38、将所述差值的绝对值减去所述乘积，得到所述第一中间变量与所述第二中间变量之间的标准差异值。
39、在一种可能的实现方式中，在所述确定所述标准差异值中，值大于预设阈值的元素的第一数量之后，所述方法还包括：
40、确定所述第一数量与所述第一中间变量或者所述第二中间变量中的元素总数的比值。
41、在一种可能的实现方式中，所述第一深度学习框架为自研的深度学习框架，所述第二深度学习框架为基准深度学习框架。
42、在一种可能的实现方式中，所述第一深度学习框架和所述第二深度学习框架基于同一类型的计算平台进行训练或运算。
43、在一种可能的实现方式中，所述第一深度学习框架和所述第二深度学习框架为基于不同计算平台的同一类型的深度学习框架。
44、根据本公开的一方面，提供了一种深度学习框架的测试装置，包括：
45、数据抓取模块，用于在部署在第一深度学习框架的深度学习模型中，注入数据抓取代码，在所述第一深度学习框架中训练所述深度学习模型，并通过所述数据抓取代码抓取所述深度学习模型的第一中间变量集的信息；
46、精度对比模块，用于根据所述第一中间变量集的信息，确定所述第一深度学习框架的测试结果。
47、在一种可能的实现方式中，
48、所述数据抓取模块还用于：获得基准值；
49、所述精度对比模块具体用于：将所述第一中间变量集的信息与所述基准值对比，确定所述第本文档来自技高网...
【技术保护点】
1.一种深度学习框架的测试方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一中间变量集的信息，确定所述第一深度学习框架的测试结果，包括：
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求4所述的方法，其特征在于，
6.根据权利要求3至5中任意一项所述的方法，其特征在于，
7.根据权利要求3至6中任意一项所述的方法，其特征在于，
8.根据权利要求3至7中任意一项所述的方法，其特征在于，所述将所述第一中间变量集的信息与所述第二中间变量集的信息进行对比，确定所述第一深度学习框架的测试结果，包括：
9.根据权利要求8所述的方法，其特征在于，所述将所述第一中间变量集的信息与所述第二中间变量集的信息进行对比，确定所述第一深度学习框架的测试结果，包括：
10.根据权利要求8或9所述的方法，其特征在于，所述将所述第一中间变量集的信息与所述第二中间变量集的信息进行对比，确定所述第一深度学习框架的测试结果
11.根据权利要求8至10中任意一项所述的方法，其特征在于，所述将所述第一中间变量集的信息与所述第二中间变量集的信息进行对比，确定所述第一深度学习框架的测试结果，包括：
12.根据权利要求11所述的方法，其特征在于，所述确定所述第一中间变量与所述第二中间变量之间的标准差异值，包括：
13.根据权利要求11或12所述的方法，其特征在于，在所述确定所述标准差异值中，值大于预设阈值的元素的第一数量之后，所述方法还包括：
14.根据权利要求3至13中任意一项所述的方法，其特征在于，所述第一深度学习框架为自研的深度学习框架，所述第二深度学习框架为基准深度学习框架。
15.根据权利要求14所述的方法，其特征在于，所述第一深度学习框架和所述第二深度学习框架基于同一类型的计算平台进行训练或运算。
16.根据权利要求3至15中任意一项所述的方法，其特征在于，所述第一深度学习框架和所述第二深度学习框架为基于不同计算平台的同一类型的深度学习框架。
17.一种深度学习框架的测试装置，其特征在于，包括：
18.一种深度学习框架的测试装置，其特征在于，包括：
19.一种电子设备，其特征在于，包括：
20.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至16中任意一项所述的方法。
...【技术特征摘要】
1.一种深度学习框架的测试方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一中间变量集的信息，确定所述第一深度学习框架的测试结果，包括：
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求4所述的方法，其特征在于，
6.根据权利要求3至5中任意一项所述的方法，其特征在于，
7.根据权利要求3至6中任意一项所述的方法，其特征在于，
8.根据权利要求3至7中任意一项所述的方法，其特征在于，所述将所述第一中间变量集的信息与所述第二中间变量集的信息进行对比，确定所述第一深度学习框架的测试结果，包括：
9.根据权利要求8所述的方法，其特征在于，所述将所述第一中间变量集的信息与所述第二中间变量集的信息进行对比，确定所述第一深度学习框架的测试结果，包括：
10.根据权利要求8或9所述的方法，其特征在于，所述将所述第一中间变量集的信息与所述第二中间变量集的信息进行对比，确定所述第一深度学习框架的测试结果，包括：
11.根据权利要求8至10中任意一项所述的方法，其特征在于，所述将所述第一中间变量集的信息与所述第二中间变量集...
【专利技术属性】
技术研发人员：叶文涛，杨波，沈炼成，王志宏，张行程，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。