当前位置: 首页 > 专利查询>厦门大学专利>正文

一种卷积神经网络模型的训练方法、装置及可读介质制造方法及图纸

技术编号:43243520 阅读:22 留言:0更新日期:2024-11-05 17:27
本发明专利技术公开了一种卷积神经网络模型的训练方法、装置及可读介质,包括:获取激活值量化位宽、权重量化位宽、反映卷积神经网络模型中的每一层卷积层的不同重要性程度所对应的不同位宽占比以及激活值量化位宽的平均值和权重量化位宽的平均值并输入到层间变比例设置算法,得到每一层卷积层中对应的真实的位宽占比;获取激活值量化位宽、权重量化位宽和每一层卷积层中对应的真实的位宽占比并输入到层内通道位宽分配算法,得到每一层卷积层中的每个权重通道所使用的量化位宽,根据每一层卷积层中的每个权重通道所使用的量化位宽对卷积神经网络模型进行量化部署,以训练得到经训练的卷积神经网络模型,使模型进行较大的压缩,并将准确率保持在较高水平。

【技术实现步骤摘要】

本专利技术涉及模型训练领域,具体涉及一种卷积神经网络模型的训练方法、装置及可读介质


技术介绍

1、以深度神经网络(deep neural network,dnn)为代表的人工智能技术已逐步成为解决计算机视觉、自然语言处理、语音识别等领域难题的关键技术。然而,深度神经网络模型优异的性能表现通常是以庞大的参数量和计算量为代价来获得的。受资源限制,无法将这类模型直接部署到对运行速度要求很高的人脸识别、智能驾驶等终端应用场景中。因此,怎样在推理过程中减少模型的参数量和运算量,并且保持模型在较高的准确度,成为深度神经网络落地应用的关键。

2、神经网络压缩技术是有效解决上述问题的常用手段,划分为四个主要方向:数据量化、张量分解、紧凑模型和网络稀疏化。数据量化是将神经网络计算过程使用的数据位宽从高比特位宽变成低比特位宽。张量分解是使用数学中的低秩分解等方法将神经网络参数由大的张量拆分为小张量。紧凑模型是通过设计规模较小的网络架构来达到和大型网络相近的精度。网络稀疏化是去除模型中不重要的层、通道或者权重元素。

3、相比于其他压缩方法,神经网络量化本文档来自技高网...

【技术保护点】

1.一种卷积神经网络模型的训练方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的卷积神经网络模型的训练方法,其特征在于,所述层间变比例设置算法具体包括以下步骤:

3.根据权利要求2所述的卷积神经网络模型的训练方法,其特征在于,所述目标函数表示为:

4.根据权利要求2所述的卷积神经网络模型的训练方法,其特征在于,所述层内通道位宽分配算法具体包括以下步骤:

5.根据权利要求4所述的卷积神经网络模型的训练方法,其特征在于,所述通道综合敏感度计算模式具体包括以下步骤:

6.根据权利要求1所述的卷积神经网络模型的训练方法,其特征在...

【技术特征摘要】

1.一种卷积神经网络模型的训练方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的卷积神经网络模型的训练方法,其特征在于,所述层间变比例设置算法具体包括以下步骤:

3.根据权利要求2所述的卷积神经网络模型的训练方法,其特征在于,所述目标函数表示为:

4.根据权利要求2所述的卷积神经网络模型的训练方法,其特征在于,所述层内通道位宽分配算法具体包括以下步骤:

5.根据权利要求4所述的卷积神经网络模型的训练方法,其特征在于,所述通道综合敏感度计算模式具体包括以下步骤:

...

【专利技术属性】
技术研发人员:余文晖王云峰
申请(专利权)人:厦门大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1