【技术实现步骤摘要】
本专利技术涉及神经网络模型推理领域，尤其涉及一种基于存算架构的神经网络推理方法及相关设备。
技术介绍
1、存算一体化芯片技术，通过向存储器集成乘累加计算单元，使存储器具备计算能力，在减少计算中的数据搬运的同时，利用存储单元的高并行性大幅提升计算性能，适合于神经网络模型的推理等高密度计算场景。
2、然而，常用的模型推理方法，往往需要频繁地更新权重数据，加之于存储一体化芯片的存储容量有限，在进行深度神经网络模型推理时，极大地削弱了存算一体化芯片的优势。
技术实现思路
1、鉴于上述问题，本专利技术提供一种基于存算架构的神经网络推理方法及相关设备，主要目的在于解决目前的模型推理方法需要频繁更新权重数据导致削弱存算一体化芯片优势的问题。
2、为解决上述至少一种技术问题，第一方面，本专利技术提供了一种基于存算架构的神经网络推理方法，该方法包括：
3、确定权重数据和输入向量组；
4、遍历上述输入向量组和上述权重数据直至权值向量更新完毕以确定输出向量，其中，上述权值向量是由至少两个上述权重数据组成的；
5、基于上述输出向量和神经网络计算图重塑数据矩阵以转发至输出设备。
6、可选的，上述方法还包括：
7、遍历存算阵列中的所有存算单元以生成存算阵列路由表，其中，上述存算阵列路由表用于确定存算单元的数目和存算单元的存储空间信息；
8、遍历计算图以将上述计算图中各节点的权值张量展开为权值向量。
9、
10、基于上述存算单元的数目、上述存算单元的存储空间信息、上述权重数据的大小和上述权重数据的数据位宽，将上述权重数据写入缓存区和存算阵列。
11、可选的，上述确定权重数据和输入向量组，包括：
12、对图像数据进行预处理以获取输入特征图，其中，上述图像数据是基于图像文件和/或采集设备获取的；
13、将上述输入特征图展开为输入向量组；
14、基于嵌入式内存将上述输入向量组转发至上述缓存区。
15、可选的，上述遍历上述输入向量组和上述权重数据直至上述权值向量更新完毕以确定输出向量，包括：
16、基于预设步幅和预设单位长度遍历上述输入向量组和上述权重数据直至上述权值向量更新完毕，以确定输出向量。
17、可选的，上述预设步幅是基于卷积的幅度确定的，上述预设单位长度是基于卷积核的大小确定的。
18、可选的，上述方法还包括：
19、在上述重塑后的数据矩阵来自于存算阵列的情况下，对上述重塑后的数据矩阵进行数据类型转换。
20、第二方面，本专利技术实施例还提供了一种基于存算架构的神经网络推理装置，包括：
21、确定单元，用于确定权重数据和输入向量组；
22、遍历单元，用于遍历上述输入向量组和上述权重数据直至上述权值向量更新完毕以确定输出向量，其中，上述权值向量是由至少两个权重数据组成的；
23、重塑单元，用于基于上述输出向量和神经网络计算图重塑数据矩阵以转发至输出设备。
24、为了实现上述目的，根据本专利技术的第三方面，提供了一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，其中，在上述程序被处理器执行时实现上述的基于存算架构的神经网络推理方法的步骤。
25、为了实现上述目的，根据本专利技术的第四方面，提供了一种电子设备，包括至少一个处理器、以及与上述处理器连接的至少一个存储器；其中，上述处理器用于调用上述存储器中的程序指令，执行上述的基于存算架构的神经网络推理方法的步骤。
26、借由上述技术方案，本专利技术提供的基于存算架构的神经网络推理方法及相关设备，对于目前的模型推理方法需要频繁更新权重数据导致削弱存算一体化芯片优势的问题，本专利技术通过确定权重数据和输入向量组；遍历上述输入向量组和上述权重数据直至权值向量更新完毕以确定输出向量，其中，上述权值向量是由至少两个上述权重数据组成的；基于上述输出向量和神经网络计算图重塑数据矩阵以转发至输出设备。在上述方案中，与常用im2col方法相比，可以有效减少传输时的数据量，从而无需频繁更新权重数据，实现了神经网络模型的高效推理的效果。
27、相应地，本专利技术实施例提供的基于存算架构的神经网络推理装置、设备和计算机可读存储介质，也同样具有上述技术效果。
28、上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
本文档来自技高网...【技术保护点】
1.一种基于存算架构的神经网络推理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求2所述的方法，其特征在于，所述确定权重数据和输入向量组，包括：
4.根据权利要求1所述的方法，其特征在于，所述确定权重数据和输入向量组，包括：
5.根据权利要求1所述的方法，其特征在于，所述遍历所述输入向量组和所述权重数据直至所述权值向量更新完毕以确定输出向量，包括：
6.根据权利要求5所述的方法，其特征在于，所述预设步幅是基于卷积的幅度确定的，所述预设单位长度是基于卷积核的大小确定的。
7.根据权利要求1所述的方法，其特征在于，还包括：
8.一种基于存算架构的神经网络推理装置，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序被处理器执行时实现如权利要求1至权利要求8中任一项所述的基于存算架构的神经网络推理方法。
10.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、以及与
...【技术特征摘要】
1.一种基于存算架构的神经网络推理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求2所述的方法，其特征在于，所述确定权重数据和输入向量组，包括：
4.根据权利要求1所述的方法，其特征在于，所述确定权重数据和输入向量组，包括：
5.根据权利要求1所述的方法，其特征在于，所述遍历所述输入向量组和所述权重数据直至所述权值向量更新完毕以确定输出向量，包括：
6.根据权利要求5所述的方法，其特征在于，所述预设步幅是基于卷积的幅度确定的，所述预设单位长度是基于卷积核的大小确定...
【专利技术属性】
技术研发人员：李威君，尚德龙，周玉梅，
申请(专利权)人：中科南京智能技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。