基于异构SoC的混合精度DNN性能成本模型构建系统技术方案

本发明专利技术涉及深度学习加速的技术领域，公开了一种基于异构SoC的混合精度DNN性能成本模型构建系统，获取不同数据量从低精度到高精度和从高精度到低精度精度转换的时间和功耗，量化执行所述精度转换的时间，分析精度转换对计算流水线的执行开销和数据搬运开销，通过构建混合精度执行成本模型量化不同映射计划在异构SoC上的执行时间、功耗、层间切换开销和精度转换开销来构建系统，通过该系统进行层配置和统计信息决定每层的计算精度，估计不同环境条件下的功耗和执行时间，模拟在不同温度条件下系统的功耗和性能表，并实施实时监控机制来检测温度变化，实现的系统具有更高的能效，适用于能源敏感的应用场景。

【技术实现步骤摘要】

本专利技术涉及深度学习加速的，公开了基于异构soc的混合精度dnn性能成本模型构建系统。

技术介绍

1、为了构建基于异构soc的混合精度dnn性能成本模型，研究者们首先需要表征精度转换带来的开销。当在dnn的层与层之间发生精度转换时，例如从int8转换到fp16，或者反之亦然，这种转换不仅涉及到数据大小的变化，还会引起流水线的中断以及额外的数据移动。因此，研究者们需要深入了解每个dsa的硬件架构，因为这将直接影响到dsa的读/写行为，以及它们之间交互的方式。

2、在实验中，研究者们选取了alexnet作为代表性的神经网络模型，将其层映射到nvidia的xavier soc上，并采用了三种不同的精度配置方案：纯int8、混合精度以及纯fp16。实验结果表明，尽管int8执行在速度和能源效率方面表现最为出色，但由于进一步的量化损失导致了最低的准确性；而fp16执行虽然在准确性上表现出色，但在速度和能耗方面却不是最理想的选项。因此，混合精度执行成为了折衷的选择，它可以在准确度、性能和能源消耗之间找到平衡点。

3、为了在异构系统上实现最佳的本文档来自技高网...

【技术保护点】

1.基于异构SoC的混合精度DNN性能成本模型构建系统，包括：

2.根据权利要求1所述的基于异构SoC的混合精度DNN性能成本模型构建系统，其特征在于：

3.根据权利要求2所述的基于异构SoC的混合精度DNN性能成本模型构建系统，其特征在于：

4.根据权利要求3所述的基于异构SoC的混合精度DNN性能成本模型构建系统，其特征在于：

5.根据权利要求4所述的基于异构SoC的混合精度DNN性能成本模型构建系统，其特征在于：

6.根据权利要求5所述的基于异构SoC的混合精度DNN性能成本模型构建系统，其特征在于：</p>

7.根据...

【技术特征摘要】

1.基于异构soc的混合精度dnn性能成本模型构建系统，包括：

2.根据权利要求1所述的基于异构soc的混合精度dnn性能成本模型构建系统，其特征在于：

3.根据权利要求2所述的基于异构soc的混合精度dnn性能成本模型构建系统，其特征在于：

4.根据权利要求3所述的基于异构soc的混合精度dnn性能成本模型构建系统，其特征在于：

5.根据权利要求4所述的基于异构soc的混合精度dnn性能成本模型构建系统，其特征在于：

6.根据...

【专利技术属性】
技术研发人员：傅玉祥，陶强，宋雨龙，贾博琪，曾煦森，贲驰，李丽，李伟，何书专，
申请(专利权)人：南京大学，
类型：发明
国别省市：