【技术实现步骤摘要】
本专利技术涉及深度学习模型，尤其涉及面向边缘设备的深度学习模型加速系统及其加速方法。
技术介绍
1、近几年来随着深度学习技术的快速发展，深度学习越来越多的应用到工业界中，如基于深度学习的图像识别、自动驾驶、自动翻译系统等，目前的深度学习模型由于其计算复杂性高、参数冗余，对硬件平台的内存、带宽等条件要求较高，从而导致在一些场景或设备上的推理部署存在限制，特别是面向边缘设备时，现有技术中通常采用对模型优化的方法对模型进行加速，其优化的方法包括模型压缩、软件库优化等技术；
2、目前的模型压缩技术中，压缩后的模型一般需要多次训练，其加速效果仍得不到明显提高；另外压缩处理后的模型在边缘设备中进行推理时，其推理运算数据量仍较大，加速效果仍较低，不能满足使用需求，综合上述情况，因此我们提出了面向边缘设备的深度学习模型加速系统及其加速方法。
技术实现思路
1、基于
技术介绍
存在的技术问题，本专利技术提出了面向边缘设备的深度学习模型加速系统及其加速方法。
2、本专利技术提出的面向边缘设...
【技术保护点】
1.面向边缘设备的深度学习模型加速系统，包括边缘设备和深度学习模型加速系统，其特征在于，所述深度学习模型加速系统包括数据预处理模块、数据优化模块、硬件加速模块、分布式推理模块、模型管理模块、缓冲策略模块和运行优化模块；
2.根据权利要求1所述的面向边缘设备的深度学习模型加速系统，其特征在于，所述数据预处理模块用于对输入数据的格式进行转换、归一化和数据增强等操作，以便将数据转换为适合输入到深度学习模型的格式，其在对数据归一化时使用归一标准化的方法进行归一化，使用到的公式为：其中μ是均值,σ是标准差。
3.根据权利要求1所述的面向边缘设备的深度学习...
【技术特征摘要】
1.面向边缘设备的深度学习模型加速系统，包括边缘设备和深度学习模型加速系统，其特征在于，所述深度学习模型加速系统包括数据预处理模块、数据优化模块、硬件加速模块、分布式推理模块、模型管理模块、缓冲策略模块和运行优化模块；
2.根据权利要求1所述的面向边缘设备的深度学习模型加速系统，其特征在于，所述数据预处理模块用于对输入数据的格式进行转换、归一化和数据增强等操作，以便将数据转换为适合输入到深度学习模型的格式，其在对数据归一化时使用归一标准化的方法进行归一化，使用到的公式为：其中μ是均值,σ是标准差。
3.根据权利要求1所述的面向边缘设备的深度学习模型加速系统，其特征在于，所述数据优化模块使用模型压缩、剪枝、量化等技术，用于减少模型的计算量、存储空间和计算复杂度，以提高模型的推理速度和性能，其中在剪枝过程中，一种常用的数学表达式是通过设定阈值来截断参数，将绝对值小于阈值的参数置为0，对于参数w，可以使用以下公式进行剪枝，$w'＝\begin{cases}0,&\text{if}\|w|<\text{threshold}\w,&\text{otherwise}\end{cases}$，其中，w′表示剪枝后的参数值，threshold是设定的剪枝阈值。
4.根据权利要求1所述的面...
【专利技术属性】
技术研发人员：缪国栋，
申请(专利权)人：厦门狄耐克智能科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。