【技术实现步骤摘要】
本专利技术涉及模型训练领域,具体涉及一种卷积神经网络模型的训练方法、装置及可读介质。
技术介绍
1、以深度神经网络(deep neural network,dnn)为代表的人工智能技术已逐步成为解决计算机视觉、自然语言处理、语音识别等领域难题的关键技术。然而,深度神经网络模型优异的性能表现通常是以庞大的参数量和计算量为代价来获得的。受资源限制,无法将这类模型直接部署到对运行速度要求很高的人脸识别、智能驾驶等终端应用场景中。因此,怎样在推理过程中减少模型的参数量和运算量,并且保持模型在较高的准确度,成为深度神经网络落地应用的关键。
2、神经网络压缩技术是有效解决上述问题的常用手段,划分为四个主要方向:数据量化、张量分解、紧凑模型和网络稀疏化。数据量化是将神经网络计算过程使用的数据位宽从高比特位宽变成低比特位宽。张量分解是使用数学中的低秩分解等方法将神经网络参数由大的张量拆分为小张量。紧凑模型是通过设计规模较小的网络架构来达到和大型网络相近的精度。网络稀疏化是去除模型中不重要的层、通道或者权重元素。
3、相比于其他压
...【技术保护点】
1.一种卷积神经网络模型的训练方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的卷积神经网络模型的训练方法,其特征在于,所述层间变比例设置算法具体包括以下步骤:
3.根据权利要求2所述的卷积神经网络模型的训练方法,其特征在于,所述目标函数表示为:
4.根据权利要求2所述的卷积神经网络模型的训练方法,其特征在于,所述层内通道位宽分配算法具体包括以下步骤:
5.根据权利要求4所述的卷积神经网络模型的训练方法,其特征在于,所述通道综合敏感度计算模式具体包括以下步骤:
6.根据权利要求1所述的卷积神经网络模型
...【技术特征摘要】
1.一种卷积神经网络模型的训练方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的卷积神经网络模型的训练方法,其特征在于,所述层间变比例设置算法具体包括以下步骤:
3.根据权利要求2所述的卷积神经网络模型的训练方法,其特征在于,所述目标函数表示为:
4.根据权利要求2所述的卷积神经网络模型的训练方法,其特征在于,所述层内通道位宽分配算法具体包括以下步骤:
5.根据权利要求4所述的卷积神经网络模型的训练方法,其特征在于,所述通道综合敏感度计算模式具体包括以下步骤:
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。