【技术实现步骤摘要】
本专利技术涉及的是一种神经网络领域的技术，具体是一种用于深度卷积模型的双阶段模型重优化方法。
技术介绍
1、目前，深度学习算法已经在线上交易、智能安防监控、智慧城市建设等各个领域取得了深入发展，在身份识别、语音交互、智能教育有着广泛的应用。为了提高实际任务中模型的精度，基于深度神经网络的方法所需的参数量及计算资源往往较为庞大。然而，随着人工智能技术的逐步产品化以及智能应用朝着小型化方向的发展，越来越多的深度学习应用被要求部署在边缘计算设备上。在人工智能实验室内，深度学习服务器配备了充裕的存储空间与计算能力，以便于大规模深度模型的高效率训练和推理。相较之下，鉴于对成本和功耗的严格控制，边缘设备系统的存储能力和计算资源往往受到严重限制，导致在其上通常只能部署性能较差的深度模型，难以达到实验室中高性能模型的效果表现。
技术实现思路
1、本专利技术针对现有边缘设备应用场景中深度卷积模型模型精度不足、对原始模型选取的泛用性不足且不能满足在实际部署前提升原始模型性能的要求的问题，提出一种用于深度卷积模...
【技术保护点】
1.一种用于深度卷积模型的双阶段模型重优化方法，其特征在于，通过在第一阶段将原始深度卷积模型改造为包含多支路的重参数化训练模块的中间模型，并对其进行蒸馏训练；在第二阶段将训练后的中间模型的重参数化训练模块进行转化，使中间模型的结构恢复为原始深度卷积模型；在在线阶段使用优化后的深度卷积模型进行实际部署。
2.根据权利要求1所述的用于深度卷积模型的双阶段模型重优化方法，其特征是，具体包括：
3.根据权利要求2所述的用于深度卷积模型的双阶段模型重优化方法，其特征是，所述的重参数化训练模块包括：3×3卷积分支、1×1卷积分支、残差连接分支、混合卷积分支...
【技术特征摘要】
1.一种用于深度卷积模型的双阶段模型重优化方法，其特征在于，通过在第一阶段将原始深度卷积模型改造为包含多支路的重参数化训练模块的中间模型，并对其进行蒸馏训练；在第二阶段将训练后的中间模型的重参数化训练模块进行转化，使中间模型的结构恢复为原始深度卷积模型；在在线阶段使用优化后的深度卷积模型进行实际部署。
2.根据权利要求1所述的用于深度卷积模型的双阶段模型重优化方法，其特征是，具体包括：
3.根据权利要求2所述的用于深度卷积模型的双阶段模型重优化方法，其特征是，所述的重参数化训练模块包括：3×3卷积分支、1×1卷积分支、残差连接分支、混合卷积分支以及函数激活层，其中：混合卷积分支基于倒置瓶颈结构，先采用1×1卷积增加特征图通道数，丰富特征空间，然后采用3×3卷积在通道数扩增的特征图上进行空间特征提取，最后再次通过1×1卷积将通道数缩小，输出特征图通道数与输入特征图通道数相同；残差连接分支用于解决深层网络中的梯度消失问题，使网络更加易于收敛；每个分支的输出特征图的尺寸均与输入特征图的尺寸保持一致，四条支路结果相加融合后通过函数激活层。
4.根据权利要求3所述的用于深度卷积模型的双阶段模型重优化方法，其特征是，所述的重参...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。