基于混合数模的神经网络参数传输方法及相关装置制造方法及图纸

技术编号:43828738 阅读:19 留言:0更新日期:2024-12-31 18:29
本发明专利技术公开基于混合数模的神经网络参数传输方法及相关装置,对目标神经网络参数分块,得到第一参数分块组;计算第一参数分块组的参数分块的重要性指标;从重要性指标最大的参数分块开始,计算数字传输方式下的混合数模传输的性能损失,从而确定数字传输方式的第二参数分块组;计算第三参数分块组的参数分块在模拟传输方式下的功率放大因子;根据第二参数分块组的参数分块的数量和各功率放大因子,以混合数模传输的方式传输第一参数分块组的各参数分块。本发明专利技术通过对神经网络参数进行分块处理,计算性能损失并根据性能损失合理地将参数分块分配到数字传输通道和模拟传输通道,实现传输资源的分配,有效解决了悬崖效应问题和性能上限较低的问题。

【技术实现步骤摘要】

本专利技术涉及人工智能领域,特别涉及一种基于混合数模的神经网络参数传输方法及相关装置


技术介绍

1、随着人工智能技术的飞速发展,深度神经网络在计算机视觉、自然语言处理等领域取得了显著突破。硬件计算能力的不断提升使得越来越多边缘设备开始部署神经网络模型,以执行计算机视觉、机器推理和自然语言处理等任务。为了实现最佳性能,这些边缘设备需要根据输入图像或视频的特征、环境条件以及精度需求来选择合适的神经网络参数。尽管某些神经网络模型具有泛化能力,能够适应不同的应用场景,但根据不同的输入场景,调整神经网络参数,仍有助于提升任务完成后的性能和用户使用体验。然而,存储所有适用场景的神经网络参数将占用边缘设备大量的存储资源,也不利于模型的后续升级。因此,考虑将神经网络参数从服务器传输至边缘设备端。

2、传统传输方案包括数字传输和模拟传输。数字传输对传输数据编码压缩,并通过信道编码和调制将传输数据转变为实际的发射符号。这种传输方式在高信噪比(signal-to-noise ratio,snr)下能够确保传输的准确性,但在低信噪比下,接收端将无法正确解码,接收到的本文档来自技高网...

【技术保护点】

1.一种基于混合数模的神经网络参数传输方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述对目标神经网络参数进行分块,得到第一参数分块组,包括:

3.根据权利要求1所述的方法,其特征在于,所述计算所述第一参数分块组中各参数分块的重要性指标,包括:

4.根据权利要求3所述的方法,其特征在于,所述针对所述第一参数分块组中的任一参数分块,计算所述参数分块所包括的各目标神经网络参数的平均梯度,包括:

5.根据权利要求3所述的方法,其特征在于,所述针对所述第一参数分块组中的任一参数分块,根据所述参数分块的标准差和平均梯度,计算得到...

【技术特征摘要】

1.一种基于混合数模的神经网络参数传输方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述对目标神经网络参数进行分块,得到第一参数分块组,包括:

3.根据权利要求1所述的方法,其特征在于,所述计算所述第一参数分块组中各参数分块的重要性指标,包括:

4.根据权利要求3所述的方法,其特征在于,所述针对所述第一参数分块组中的任一参数分块,计算所述参数分块所包括的各目标神经网络参数的平均梯度,包括:

5.根据权利要求3所述的方法,其特征在于,所述针对所述第一参数分块组中的任一参数分块,根据所述参数分块的标准差和平均梯度,计算得到所述参数分块的重要性指标,包括:

6.根据权利要求1所述的方法,其特征在于,所述从重要性指标最大的参数分块开始,依次迭代计算数字传输方式下的混合数模传输的性能损失,并根据所述性能损失确定采用...

【专利技术属性】
技术研发人员:徐乃杰陈晓辉王卫东陈力张文逸尹华锐
申请(专利权)人:中国科学技术大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1