一种基于模式频率统计编码的神经网络处理器及设计方法技术

本发明专利技术提出一种基于模式频率统计编码的神经网络处理器及设计方法，涉及神经网络模型计算的硬件加速技术领域，该处理器包括至少一存储单元，用于存储操作指令与运算数据；至少一计算单元，用于执行神经网络计算；以及控制单元，与至少一存储单元、所述至少一计算单元相连，用于经由所述至少一存储单元获得所述至少一存储单元存储的操作指令，并且解析所述操作指令以控制所述至少一计算单元；至少一个数据压缩单元，其中每个所述数据压缩单元与所述至少一计算单元相连，用于压缩根据所述运算数据获取的计算结果，并基于模式频率统计重新编码；至少一数据解压单元，其中每个所述数据解压单元与所述至少一个计算单元相连，用于解压被压缩的运算数据。

A neural network processor based on mode frequency statistics coding and its design method

The invention provides a model based on frequency statistics encoding neural network processor and method of design, involving the calculation of neural network model of hardware acceleration technology, the processor includes at least one storage unit for storing instructions and data; at least one calculation unit for the implementation of neural network computing; and a control unit, and at least one a storage unit, wherein at least one calculation unit is used for at least a storage unit for the at least one memory via the operating instructions, and the instructions to control the at least one calculation unit; at least one data compression unit, wherein each of the data compression unit and the at least one calculation unit is used for compression according to the calculation results of the operational data acquisition, and mode frequency statistics based on re encoding At least one data decompression unit, wherein each data decompression unit is connected with the at least one computing unit for decompressing the compressed operation data.

【技术实现步骤摘要】

本专利技术涉及神经网络模型计算的硬件加速
，特别涉及一种基于模式频率统计编码的神经网络处理器及设计方法。
技术介绍
深度学习技术在近几年得到了飞速的发展，深度神经网络，尤其是卷积神经网络，在图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐和智能机器人等领域取得了广泛的应用。深度学习所得的深度网络结构是一种运算模型，其中包含大量数据节点，每个数据节点与其他数据节点相连，各个节点间的连接关系用权重表示。伴随神经网络复杂度不断提高，神经网络技术在实际应用过程中存在占用资源多、运算速度慢、能量消耗大等问题，因此该技术在嵌入式设备或低开销数据中心等领域应用时存在严重能效问题和运算速度瓶颈。采用硬件加速替代传统软件计算的方法成为提高神经网络计算效率的一种行之有效方式。主流的硬件加速方式包括通用图形处理器、专用处理器芯片和现场可编程逻辑阵列(FPGA)等。当前的深度神经网络在实际应用中网络规模越来越大、数据吞吐量越来越高、任务类型越来越复杂，这会导致神经网络处理器电路规模变大、数据传输效率降低、计算速度变差。现有技术实际应用时，在神经网络计算过程中存在大量数值为0的数据元素，这类元素经过乘法和加法等数据运算后对运算结果不产生数值上的影响，但是神经网络处理器在处理这部分数据元素时会占用大量片上存储空间、消耗多余传输资源并增加运行时间，因此难以满足神经网络处理器的性能要求。
技术实现思路
针对现有技术的不足，本专利技术提出一种基于模式频率统计编码的神经网络处理器及设计方法。本专利技术提出一种基于模式频率统计编码的神经网络处理器，包括：至少一存储单元，用于存储操作指令与运算数据；至少一计算单元，用于执行神经网络计算；以及控制单元，与所述至少一存储单元、所述至少一计算单元相连，用于经由所述至少一存储单元获得所述至少一存储单元存储的操作指令，并且解析所述操作指令以控制所述至少一计算单元；至少一个数据压缩单元，其中每个所述数据压缩单元与所述至少一计算单元相连，用于压缩根据所述运算数据获取的计算结果，并重新编码；至少一数据解压单元，其中每个所述数据解压单元与所述至少一个计算单元相连，用于解压被压缩的运算数据。所述运算数据包括原始特征图数据或中间层数据计算结果。所述数据压缩单元，采用模式频率统计压缩编码的方式对压缩并编码后的所述计算结果进行存储。所述编码的编码模式为根据神经网络计算过程中数据模式的出现频率，依据数据的稀疏性，将二进制数据中各位全部为零或者多位连续为零的数据采用短位数二进制数表示。所述数据解压单元将采用模式频率统计压缩编码的数据解压并送至所述计算单元中。本专利技术还提出一种基于模式频率统计编码的神经网络处理器的设计方法，包括：设置至少一存储单元，存储操作指令与运算数据；设置至少一计算单元，执行神经网络计算；设置以及控制单元，与所述至少一存储单元、所述至少一计算单元相连，经由所述至少一存储单元获得所述至少一存储单元存储的操作指令，并且解析所述操作指令以控制所述至少一计算单元；设置至少一个数据压缩单元，压缩根据所述运算数据获取的计算结果，并重新编码，其中每个所述数据压缩单元与所述至少一计算单元相连；设置至少一数据解压单元，解压被压缩的运算数据，其中每个所述数据解压单元与所述至少一个计算单元相连。所述运算数据包括原始特征图数据或中间层数据计算结果。所述数据压缩单元，采用模式频率统计压缩编码的方式对压缩并编码后的所述计算结果进行存储。所述编码的编码模式为根据神经网络计算过程中数据模式的出现频率，依据数据的稀疏性，将二进制数据中各位全部为零或者多位连续为零的数据采用短位数二进制数表示。所述数据解压单元将采用模式频率统计压缩编码的数据解压并送至所述计算单元中。由以上方案可知，本专利技术的优点在于：本专利技术在神经网络处理系统中引入基于模式频率统计编码的数据压缩结构，从而降低片上存储开销、减小运算电路规模并提高运算效率，使得神经网络处理系统整体性能更高。附图说明图1是本专利技术提供的神经网络处理器结构框图；图2是本专利技术提出的模式频率统计压缩编码格式图；图3是本专利技术一种实施例中数据压缩单元结构示意图；图4是本专利技术中数据压缩单元将数据压缩为模式频率统计压缩编码的过程示意图；图5是本专利技术一种实施例数据解压单元结构示意图；图6是本专利技术中数据解压单元解压数据示意图；图7是本专利技术神经网络处理器进行神经网络计算的流程图。具体实施方式针对现有神经网络处理器的缺陷，本专利技术目的为提供一种基于模式频率统计编码的神经网络处理器及设计方法，该处理器在现有神经网络处理器系统中引入数据压缩单元，进而提升了神经网络处理器的运算速度及运行能量效率。为实现上述目的，本专利技术提供的一种基于模式频率统计编码的神经网络处理器，包括：至少一个存储单元，用于存储操作指令和运算数据；至少一个计算单元，用于执行神经网络计算；以及控制单元，与所述至少一个存储单元和所述至少一个计算单元相连，用于经由所述至少一个存储单元获得所述至少一个存储单元存储的指令，并且解析该指令以控制所述至少一个计算单元；至少一个数据压缩单元，其中每个数据压缩单元与所述至少一个计算单元相连，用于压缩运算数据，对运算数据重新压缩编码；至少一个数据解压单元，其中每个数据解压单元与所述至少一个计算单元相连，用于解压被压缩的运算数据；一种基于模式频率统计的压缩编码方式，神经网络处理过程中的中间数据采用所述模式频率统计编码进行存储和传输；根据本专利技术提出的神经网络处理器，所述运算数据包括原始特征图数据或中间层数据计算结果；根据本专利技术的神经网络处理，所述神经网络处理器进行神经网络计算时，数据压缩单元会将特征图数据或中间层计算结果整合映射成为数据压缩格式；所述具有数据压缩格式的数据为神经网络计算过程中间计算结果，需要进行再次存储或被其他系统单元使用。为了使本专利技术的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。本专利技术旨在提供一种基于模式频率统计编码的神经网络处理器，其在神经网络处理中引入基于模式频率统计编码的数据压缩结构，从而降低片上存储开销、减小运算电路规模并提高运算效率，使得神经网络处理系统整体性能更高。本专利技术提供的神经网络处理器基于存储-控制-计算的结构；存储结构用于存储参与计算的数据、神经网络权重及处理器操作指令；控制结构包括译码电路与控制逻辑电路，用于解析操作指令，生成控制信号，该信号用于控制片上数据的调度与存储以及神经网络计算过程；计算结构包括计算单元，用于参与该处理器中的神经网络计算操作，其中应包括数据检索结构，保证被压缩的数据在计算单元中能够正确地与相应权重进行计算。图1为本专利技术提供的一种神经网络处理器系统101，该神经网络处理器系统101架构由七个部分构成，包括输入数据存储单元102、控制单元103、输出数据存储单元104、权重存储单元105、指令存储单元106、计算单元107和数据压缩单元108。输入数据存储单元102用于存储参与计算的数据，该数据包括原始特征图数据和参与中间层计算的数据；输出数据存储单元104存储计算得到的神经元响应值；指令存储单元106存储参与计算的指令信息，指令被解析为本文档来自技高网...

【技术保护点】
一种基于模式频率统计编码的神经网络处理器，其特征在于，包括：至少一存储单元，用于存储操作指令与运算数据；至少一计算单元，用于执行神经网络计算；以及控制单元，与所述至少一存储单元、所述至少一计算单元相连，用于经由所述至少一存储单元获得所述至少一存储单元存储的操作指令，并且解析所述操作指令以控制所述至少一计算单元；至少一个数据压缩单元，其中每个所述数据压缩单元与所述至少一计算单元相连，用于压缩根据所述运算数据获取的计算结果，并重新编码；至少一数据解压单元，其中每个所述数据解压单元与所述至少一个计算单元相连，用于解压被压缩的运算数据。

【技术特征摘要】
1.一种基于模式频率统计编码的神经网络处理器，其特征在于，包括：至少一存储单元，用于存储操作指令与运算数据；至少一计算单元，用于执行神经网络计算；以及控制单元，与所述至少一存储单元、所述至少一计算单元相连，用于经由所述至少一存储单元获得所述至少一存储单元存储的操作指令，并且解析所述操作指令以控制所述至少一计算单元；至少一个数据压缩单元，其中每个所述数据压缩单元与所述至少一计算单元相连，用于压缩根据所述运算数据获取的计算结果，并重新编码；至少一数据解压单元，其中每个所述数据解压单元与所述至少一个计算单元相连，用于解压被压缩的运算数据。2.如权利要求1所述的基于模式频率统计编码的神经网络处理器，其特征在于，所述运算数据包括原始特征图数据或中间层数据计算结果。3.如权利要求1所述的基于模式频率统计编码的神经网络处理器，其特征在于，所述数据压缩单元，采用模式频率统计压缩编码的方式对压缩并编码后的所述计算结果进行存储。4.如权利要求3所述的基于模式频率统计编码的神经网络处理器，其特征在于，所述编码的编码模式为根据神经网络计算过程中数据模式的出现频率，依据数据的稀疏性，将二进制数据中各位全部为零或者多位连续为零的数据采用短位数二进制数表示。5.如权利要求1所述的基于模式频率统计编码的神经网络处理器，其特征在于，所述数据解压单元将采用模式频率统计压缩编码的数据解压并送至所述计算单元中。6.一种基于模式频率统计编...

【专利技术属性】
技术研发人员：韩银和，许浩博，王颖，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11