神经网络全连接层硬件电路及其设计方法和使用方法技术

本发明专利技术公开了一种神经网络全连接层硬件电路及其设计方法和使用方法。其中设计方法通过将神经网络的全连接层中的权值进行聚类，以聚类后形成的每一类权值的均值作为该类权值聚类后的权值，以聚类后每一类权值对应的特征值的集合作为聚类后的权值对应的特征值集合，并根据聚类后的权值与特征值集合设计二进制矩阵向量乘法器的电路结构。上述设计方法设计的硬件电路，减少权值数量，在保证现有二进制矩阵向量乘法器的准确性、仅需要较小额外硬件资源开销的同时提升推理吞吐量。资源开销的同时提升推理吞吐量。资源开销的同时提升推理吞吐量。

【技术实现步骤摘要】
神经网络全连接层硬件电路及其设计方法和使用方法


[0001]本专利技术属于计算机技术，特别涉及一种神经网络全连接层硬件电路及其设计方法和使用方法。

技术介绍

[0002]随机计算是一种对于比特反转表现出强大容错能力的新型计算范式，数字可以由非常简单的电路处理的比特流表示，数字本身被解释为正常和故障条件下的概率，所以它能够使用标准逻辑元件实现非常低成本的算术运算。虽然随机计算实现成本低，但是随着随机序列的长度增长，计算时间也增长。因此，如果将神经网络的所有乘法计算全部替换成随机计算方法，会导致计算时间过长的问题。
[0003]Sim,Hyeonuk."Low
‑
Cost Deep Convolutional Neural Network Acceleration with Stochastic Computing and Quantization."(2021).中提出了一种二进制矩阵向量乘法器(binary interfaced matrix
‑
vector multiplier，BISC
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络全连接层硬件电路设计方法，其特征在于，包括如下步骤：S1：根据设定的聚类区间阈值对神经网络的一个全连接层中的所有权值进行聚类；S2：以聚类后每一类权值的均值作为聚类后的权值，以聚类后每一类权值对应的特征值组成的集合作为对应的特征值集合；S3：根据聚类后的权值及对应的特征值集合设计二进制矩阵向量乘法器的电路结构。2.根据权利要求1所述的神经网络全连接层硬件电路设计方法，其特征在于，所述步骤S1包括如下步骤：S1.1：以神经网络一个全连接层的各权值W及其对应的特征值X构建表H＝[(w0，(x0))，(w1，(x1))，...(w
n
‑1，(x
n
‑1))]；S1.2：对表H以权值大小进行升序排序，获得表S1.3：初始化访问下标i＝0，初始化一个用于存放聚类结果的表A，设置聚类区间阈值τ；S1.4：按序从表中取出元素作为聚类起点，记为α并加入到表A中，并初始化访问下标m＝1，初始化临时变量t＝w
i
，根据输入的数值τ定义一个聚类区间为S1.5：若i+m<n，则访问表中的元素若w
i+m
＜w
i
+τ，则进入步骤S2.2，若不满足则跳转步骤S2.3；所述步骤S2包括如下步骤：S2.1：若i+m≥n，则将α中的权值更新为t/m，跳转步骤S2.4；S2.2：更新临时变量将集合(x
i+m
)加入到α的集合中，更新访问下标m＝m+1，跳转步骤S1.5；S...

【专利技术属性】
技术研发人员：谢在鹏，高国超，苑晨宇，
申请(专利权)人：河海大学，
类型：发明
国别省市：