提供一种面向卷积神经网络加速器的带宽优化方法，在卷积神经网络运行前，将待计算卷积层第一权值参数从第一片下存储器搬运到第一片上存储器，将待计算卷积层的第二权值参数从第二片下存储器搬运到第二片上存储器；在执行待计算卷积层的卷积计算时，将第一权值参数从第一片上存储器搬运到第一计算引擎执行第一卷积运算，将第二权值参数从第二片上存储器搬运到第二计算引擎执行第二卷积运算；当第一卷积运算与第二卷积运算执行完毕，则将第二权值参数从第二片上存储器搬运到第一计算引擎执行第三卷积运算，将第一权值参数从第一片上存储器搬运到第二计算引擎执行第四卷积运算；当第三卷积运算与第四卷积运算执行完毕，进行下一卷积层的卷积计算。下一卷积层的卷积计算。下一卷积层的卷积计算。
【技术实现步骤摘要】
面向卷积神经网络加速器的带宽优化方法及相关设备
[0001]本专利技术涉及农业物联网
，具体涉及一种面向卷积神经网络加速器的带宽优化方法及相关设备。
技术介绍
[0002]随着深度学习的快速发展，卷积神经网络被大量应用于计算机视觉等领域。为提升卷积神经网络的精度，卷积神经网络模型变得越来越大，所需的计算量也越来越大。用CPU实现卷积神经网络算法，速度慢；用GPU实现卷积神经网络算法，功耗高，延迟大。
技术实现思路
[0003]本专利技术实施例提供了一种面向卷积神经网络加速器的带宽优化方法及相关设备，提升了权值参数传输带宽，减少权值参数传输时间，提升卷积神经网络加速器性能。
[0004]第一方面，本专利技术实施例提供一种面向卷积神经网络加速器的带宽优化方法，所述方法包括：
[0005]在卷积神经网络运行前，预先将待计算卷积层第一权值参数从第一片下存储器搬运到第一片上存储器，以及将待计算卷积层的第二权值参数从第二片下存储器搬运到第二片上存储器，所述第一权值参数与所述第二权值参数为所述卷积神经网络中待计算卷积层的两部分权值参数；
[0006]在执行所述待计算卷积层的卷积计算时，将所述第一权值参数从所述第一片上存储器搬运到第一计算引擎执行第一卷积运算，以及将所述第二权值参数从所述第二片上存储器搬运到第二计算引擎执行第二卷积运算；
[0007]当所述第一卷积运算与所述第二卷积运算执行完毕，则将所述第二权值参数从所述第二片上存储器搬运到所述第一计算引擎执行第三卷积运算，以及将所述第一权值参数从所述第一片上存储器搬运到第二计算引擎执行第四卷积运算；
[0008]当所述第三卷积运算与所述第四卷积运算执行完毕，进行下一卷积层的卷积计算。
[0009]进一步的，在所述将第一权值参数从第一片下存储器搬运到第一片上存储器，以及将第二权值参数从第二片下存储器搬运到第二片上存储器之前，所述方法还包括：
[0010]获取所述卷积神经网络中各卷积层的权值参数；
[0011]将所述卷积神经网络中各卷积层的权值参数划分为第一权值参数与第二权值参数；
[0012]将所述第一权值参数存储到第一片下存储器，将所述第二权值参数存储到第二片下存储器。
[0013]进一步的，在所述将待计算卷积层第一权值参数从第一片下存储器搬运到第一片上存储器之后，所述方法还包括：
[0014]判断所述第一片上存储器是否有足够空间存储下一卷积层的第一权值数据；
[0015]若所述第一片上存储器有足够空间存储下一卷积层的第一权值数据，则预先将下一卷积层的第一权值数据从所述第一片下存储器搬运到所述第一片上存储器。
[0016]进一步的，在所述将待计算卷积层第一权值参数从第一片下存储器搬运到第一片上存储器之后，所述方法还包括：
[0017]若所述第一片上存储器没有足够空间存储下一卷积层的第一权值数据，则等待所述第一片上存储器释放足够的存储空间。
[0018]进一步的，在所述将待计算卷积层第二权值参数从第二片下存储器搬运到第二片上存储器之后，所述方法还包括：
[0019]判断所述第二片上存储器是否有足够空间存储下一卷积层的第二权值数据；
[0020]若有，则预先将下一卷积层的第二权值数据从所述第二片下存储器搬运到所述第二片上存储器。
[0021]进一步的，在所述将待计算卷积层第二值参数从第二片下存储器搬运到第二片上存储器之后，所述方法还包括：
[0022]若所述第二片上存储器没有足够空间存储下一卷积层的第二权值数据，则等待所述第二片上存储器释放足够的存储空间。
[0023]第二方面，本专利技术实施例提供一种面向卷积神经网络加速器的带宽优化装置，所述装置包括：
[0024]第一搬运模块，用于在卷积神经网络运行前，预先将待计算卷积层第一权值参数从第一片下存储器搬运到第一片上存储器，以及将待计算卷积层的第二权值参数从第二片下存储器搬运到第二片上存储器，所述第一权值参数与所述第二权值参数为所述卷积神经网络中待计算卷积层的两部分权值参数；
[0025]第二搬运模块，用于在执行所述待计算卷积层的卷积计算时，将所述第一权值参数从所述第一片上存储器搬运到第一计算引擎执行第一卷积运算，以及将所述第二权值参数从所述第二片上存储器搬运到第二计算引擎执行第二卷积运算；
[0026]第三搬运模块，用于当所述第一卷积运算与所述第二卷积运算执行完毕，则将所述第二权值参数从所述第二片上存储器搬运到所述第一计算引擎执行第三卷积运算，以及将所述第一权值参数从所述第一片上存储器搬运到第二计算引擎执行第四卷积运算；
[0027]计算模块，用于当所述第三卷积运算与所述第四卷积运算执行完毕，进行下一卷积层的卷积计算。
[0028]第三方面，本专利技术实施例提供一种AI加速芯片，所述第一片下存储器、第二片下存储器，第一片上存储器、第二片上存储器、片上网络、第一计算引擎以及第二计算引擎，所述片上网络将所述第一片下存储器、第二片下存储器，第一片上存储器、第二片上存储器、第一计算引擎以及第二计算引擎进行连接，所述片上网络用于执行本专利技术实施例任一项所述的面向卷积神经网络加速器的带宽优化方法中的步骤。
[0029]第四方面，本专利技术实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术实施例任一项所述的面向卷积神经网络加速器的带宽优化方法中的步骤。
[0030]第五方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术实施例任一项所述的
面向卷积神经网络加速器的带宽优化方法中的步骤。
[0031]在本专利技术实施例中，在卷积神经网络运行前，预先将待计算卷积层第一权值参数从第一片下存储器搬运到第一片上存储器，以及将待计算卷积层的第二权值参数从第二片下存储器搬运到第二片上存储器，所述第一权值参数与所述第二权值参数为所述卷积神经网络中待计算卷积层的两部分权值参数；在执行所述待计算卷积层的卷积计算时，将所述第一权值参数从所述第一片上存储器搬运到第一计算引擎执行第一卷积运算，以及将所述第二权值参数从所述第二片上存储器搬运到第二计算引擎执行第二卷积运算；当所述第一卷积运算与所述第二卷积运算执行完毕，则将所述第二权值参数从所述第二片上存储器搬运到所述第一计算引擎执行第三卷积运算，以及将所述第一权值参数从所述第一片上存储器搬运到第二计算引擎执行第四卷积运算；当所述第三卷积运算与所述第四卷积运算执行完毕，进行下一卷积层的卷积计算。实施例本专利技术实施例，可以多个计算引擎可同时对一个或多个卷积神经网络进行加速。
附图说明
[0032]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种面向卷积神经网络加速器的带宽优化方法，其特征在于，所述方法包括：在卷积神经网络运行前，预先将待计算卷积层第一权值参数从第一片下存储器搬运到第一片上存储器，以及将待计算卷积层的第二权值参数从第二片下存储器搬运到第二片上存储器，所述第一权值参数与所述第二权值参数为所述卷积神经网络中待计算卷积层的两部分权值参数；在执行所述待计算卷积层的卷积计算时，将所述第一权值参数从所述第一片上存储器搬运到第一计算引擎执行第一卷积运算，以及将所述第二权值参数从所述第二片上存储器搬运到第二计算引擎执行第二卷积运算；当所述第一卷积运算与所述第二卷积运算执行完毕，则将所述第二权值参数从所述第二片上存储器搬运到所述第一计算引擎执行第三卷积运算，以及将所述第一权值参数从所述第一片上存储器搬运到第二计算引擎执行第四卷积运算；当所述第三卷积运算与所述第四卷积运算执行完毕，进行下一卷积层的卷积计算。2.根据权利要求1所述的面向卷积神经网络加速器的带宽优化方法，其特征在于，在所述将第一权值参数从第一片下存储器搬运到第一片上存储器，以及将第二权值参数从第二片下存储器搬运到第二片上存储器之前，所述方法还包括：获取所述卷积神经网络中各卷积层的权值参数；将所述卷积神经网络中各卷积层的权值参数划分为第一权值参数与第二权值参数；将所述第一权值参数存储到第一片下存储器，将所述第二权值参数存储到第二片下存储器。3.根据权利要求1所述的面向卷积神经网络加速器的带宽优化方法，其特征在于，在所述将待计算卷积层第一权值参数从第一片下存储器搬运到第一片上存储器之后，所述方法还包括：判断所述第一片上存储器是否有足够空间存储下一卷积层的第一权值数据；若所述第一片上存储器有足够空间存储下一卷积层的第一权值数据，则预先将下一卷积层的第一权值数据从所述第一片下存储器搬运到所述第一片上存储器。4.根据权利要求3所述的面向卷积神经网络加速器的带宽优化方法，其特征在于，在所述将待计算卷积层第一权值参数从第一片下存储器搬运到第一片上存储器之后，所述方法还包括：若所述第一片上存储器没有足够空间存储下一卷积层的第一权值数据，则等待所述第一片上存储器释放足够的存储空间。5.根据权利要求1所述的面向卷积神经网络加速器的带宽优化方法，其特征在于，在所述将待计算卷积层第二权值参数从第二片下存储器搬运到第二片上存储器之后，所述方法还包括：判断所述第二片上存储器是否有足够空间存...
【专利技术属性】
技术研发人员：曾成龙，蔡权雄，牛昕宇，
申请(专利权)人：山东产研鲲云人工智能研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。