【技术实现步骤摘要】
本专利技术涉及计算，尤其涉及一种执行神经网络模型推理的电路。
技术介绍
1、近年来，人工神经网络技术发展迅速，已广泛用于图像识别、自然语言处理、智能诊断等领域，而其中cnn网络的应用尤为广泛，但是由于cnn网络所具有的数据复用、卷积计算等特殊性，传统的cpu和gpu等处理器对其产生了极大的不适应，造成了很大的面积、功耗以及时延等开销，即现有执行神经网络模型推理的效率较低。
技术实现思路
1、本专利技术提供一种执行神经网络模型推理的电路，用于提高执行神经网络模型推理的效率。
2、本专利技术实施例提供一种执行神经网络模型推理的电路，所述电路包括：控制单元、存储器、x*y个计算单元、y个加法器树、y个累加器；
3、所述控制单元，用于接收神经网络模型推理指令，计算执行神经网络模型推理所需要的特征和权重在所述存储器中分别对应的特征地址和权重地址，并将所述特征地址和权重地址发送给所述存储器；
4、所述存储器，用于根据所述特征地址获取特征ai，并将所述特征ai输入给第x行中的每个计算单元，x∈[0,x-1]，i∈[(d+1)x,(d+1)x+d]；d大于等于1；
5、所述存储器，还用于根据所述权重地址获取权重wj，并将所述权重wj按列顺序输入给第j个计算单元，j∈[(d+1)j,(d+1)j+d]，j∈[0,xy-1]；
6、第x行第y列的计算单元，用于计算得到计算结果；y∈[0,y-1]；
7、第y列的加法器树，用于接收第
8、第y列的累加器，用于接收第y列加法器树输入的相加结果，并将相加结果和寄存器中数据进行相加计算，并输出相加结果。
9、在一个可选实施例中，所述电路还包括：x个子集和生成单元；
10、第x个子集和生成单元，用于根据所述存储器输入的特征ai，生成所述特征ai对应的所有子集的子集和，并将所述子集和均输入到第x行中的每个计算单元。
11、在一个可选实施例中，每个所述计算单元包括：重组分发单元、选择器、移位加法器树；
12、所述重组分发单元，用于存储器输入的权重wj进行按位重组得到m个数据重组集，并将每个数据重组集分别输入到对应的选择器中；第m个数据重组集中的元素为bn,m，n∈[0,n-1]，m∈[0,m-1]，n为权重wj的总个数，m为权重wj的二进制位数；
13、所述选择器，用于根据所述重组分发单元输入的对应数据重组集从所述子集和生成单元输入的子集和中确定目标结果，并将所述目标结果输入到所述移位加法器树；
14、所述移位加法器树，用于对所述选择器输入的目标结果进行相加计算得到累计结果。
15、在一个可选实施例中，所述子集和生成单元包括：p个加法器组和1个集线器，p∈[0,d]；
16、第p个加法器组，用于从所述特征ai中选择每p+1个特征ai进行相加得到特征ai的子集；
17、集线器，用于将所有加法器组生成的子集进行排列，作为所述子集和生成单元输出的子集和。
18、在一个可选实施例中，所述选择器的数量为m个，第m个选择器，用于根据所述重组分发单元输入的第m个数据重组集，从所述子集和中的2n种子集中选1个子集作为目标结果。
19、在一个可选实施例中，每个所述累加器包括加法器和寄存器；
20、第y列的累加器，用于接收第y列加法器输入的相加结果，将所述相加结果输入到所述加法器中；
21、所述寄存器，用于将其存储的数据输入到所述加法器中；
22、所述加法器，用于对所述相加结果和寄存器输入的数据进行相加计算，并输出相加结果。
23、在一个可选实施例中，所述存储器包括：特征数据存储器和权重数据存储器；
24、所述控制单元，具体用于接收神经网络模型推理指令，计算执行神经网络模型推理所需要的特征和权重在所述存储器中分别对应的特征地址和权重地址，并将所述特征地址发送给所述特征数据存储器，将所述权重地址发送给所述权重数据存储器；
25、所述特征数据存储器，用于根据所述特征地址获取特征ai，并所述特征ai输入给第x行中的每个计算单元；
26、所述权重数据存储器，用于根据所述权重地址获取权重wj，并所述权重wj输入给第j个计算单元。
27、在一个可选实施例中，所述特征数据存储器中的特征ai为经过coo-1d的稀疏编码的压缩数据；
28、所述控制单元，具体用于接收神经网络模型推理指令，根据coo-1d的稀疏编码的压缩数据，计算执行神经网络模型推理所需要特征ai对应的特征地址；根据特征ai对应的特征地址，计算特征ai对应权重wj的权重地址。
29、在一个可选实施例中，所述权重数据存储器中的权重wj根据coo-1d的稀疏编码的压缩数据进行存储的。
30、在一个可选实施例中，所述d等于1。
31、本专利技术提供的一种执行神经网络模型推理的电路，该电路包括：控制单元、存储器、x*y个计算单元、y个加法器树、y个累加器；控制单元用于接收神经网络模型推理指令，计算执行神经网络模型推理所需要的特征和权重在所述存储器中分别对应的特征地址和权重地址，并将所述特征地址和权重地址发送给所述存储器；存储器根据所述特征地址获取特征ai，并特征ai输入给第x行中的每个计算单元；存储器还用于根据权重地址获取权重wj，并权重wj按列顺序输入给第j个计算单元；第x行第y列的计算单元，用于计算得到计算结果；第y列的加法器树，用于接收第y列所有计算单元输入的结算结果，并对所有结算结果进行相加；第y列的累加器，用于接收第y列加法器树输入的相加结果，并将相加结果和寄存器中数据进行相加计算，并输出相加结果。由于本申请利用了卷积中重复的求和运算，子集和、选择器、加法器树的结构可以在具有单侧数据复用时复用子集和，从而通过本申请可提高内积运算的效率。提高了执行神经网络模型推理的效率。
本文档来自技高网...【技术保护点】
1.一种执行神经网络模型推理的电路，其特征在于，所述电路包括：控制单元、存储器、X*Y个计算单元、Y个加法器树、Y个累加器；
2.根据权利要求1所述的电路，其特征在于，所述电路还包括：X个子集和生成单元；
3.根据权利要求2所述的电路，其特征在于，每个所述计算单元包括：重组分发单元、选择器、移位加法器树；
4.根据权利要求2所述的执行神经网络模型推理的电路，其特征在于，所述子集和生成单元包括：p个加法器组和1个集线器，p∈[0，d]；
5.根据权利要求3所述的执行神经网络模型推理的电路，其特征在于，所述选择器的数量为M个，第m个选择器，用于根据所述重组分发单元输入的第m个数据重组集，从所述子集和中的2N种子集中选1个子集作为目标结果。
6.根据权利要求1所述的执行神经网络模型推理的电路，其特征在于，每个所述累加器包括加法器和寄存器；
7.根据权利要求1-6任一项所述的执行神经网络模型推理的电路，其特征在于，所述存储器包括：特征数据存储器和权重数据存储器；
8.根据权利要求7所述的执行神经网络模型推
9.根据权利要求8所述的执行神经网络模型推理的电路，其特征在于，所述权重数据存储器中的权重Wj根据COO-1D的稀疏编码的压缩数据进行存储的。
10.根据权利要求1所述的执行神经网络模型推理的电路，其特征在于，所述d等于1。
...【技术特征摘要】
1.一种执行神经网络模型推理的电路，其特征在于，所述电路包括：控制单元、存储器、x*y个计算单元、y个加法器树、y个累加器；
2.根据权利要求1所述的电路，其特征在于，所述电路还包括：x个子集和生成单元；
3.根据权利要求2所述的电路，其特征在于，每个所述计算单元包括：重组分发单元、选择器、移位加法器树；
4.根据权利要求2所述的执行神经网络模型推理的电路，其特征在于，所述子集和生成单元包括：p个加法器组和1个集线器，p∈[0，d]；
5.根据权利要求3所述的执行神经网络模型推理的电路，其特征在于，所述选择器的数量为m个，第m个选择器，用于根据所述重组分发单元输入的第m个数据重组集，从所述子集和中的2n种子集中选...
【专利技术属性】
技术研发人员：赵越，高曰超，雷亚雄，赵志达，李森，
申请(专利权)人：北京思丰可科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。