处理器及其处理方法、芯片、芯片封装结构及电子装置制造方法及图纸

一种处理器，包括指令控制单元和计算单元，其中：指令控制单元，用于提取处理指令以控制计算单元；计算单元，用于基于输入的帧信息和神经网络参数，执行神经网络运算。本公开的处理器，实现了对神经网络处理器更高效的功能重建，在低内存、实时性强的应用环境中能够充分发挥性能。

Processor and Processing Method, Chip, Chip Packaging Structure and Electronic Device

A processor includes an instruction control unit and a computing unit, in which an instruction control unit is used to extract processing instructions to control the computing unit, and a computing unit is used to perform neural network operations based on input frame information and neural network parameters. The processor of the present disclosure realizes more efficient functional reconstruction of the neural network processor, and can give full play to its performance in the application environment with low memory and strong real-time performance.

【技术实现步骤摘要】
处理器及其处理方法、芯片、芯片封装结构及电子装置
本公开属于计算机体系结构和神经网络领域，更具体地涉及一种处理器及其处理方法、芯片、芯片封装结构、卡板及电子装置。
技术介绍
神经网络(neuralnetwork)近年来不仅在图像应用领域取得了非常突出的成就，而且在视频应用领域也有着突出的表现。然而，神经在视频应用中面临非常严峻的挑战，因为一个视频所包含的数据量远远超过一幅图片包含的数据量，因此处理一个视频将会耗费非常大量的时间，同时花费巨大的能耗且无法保证处理视频数据的实时性。因此，如何减少神经网络处理视频的时间成为一个亟待解决的问题。
技术实现思路
基于以上问题，本公开的主要目的在于提出一种处理器及其处理方法、芯片、芯片封装结构、卡板及电子装置，用于解决以上技术问题的至少之一。为了实现上述目的，作为本公开的一个方面，本公开提出了一种处理器，包括指令控制单元和计算单元，其中：指令控制单元，用于提取处理指令以控制计算单元；计算单元，用于接收帧信息、神经网络参数及所述的处理指令，并根据所述处理指令对所述帧信息和神经网络参数执行神经网络运算。在本公开的一些实施例中，上述处理器还包括：存储单元，用于存储帧信息和神经网络参数；其中，帧信息包括完整帧信息和参考帧信息；神经网络参数包括神经元、权值、拓扑结构和/或处理指令。在本公开的一些实施例中，上述计算单元包括：精确计算单元，用于提取完整帧信息和神经网络参数中的权值，进行神经网络运算，得到第一运算结果并传输至存储单元；近似计算单元，用于提取参考帧信息和事先得到的、存储于存储单元的参考帧的计算结果，进行近似计算，得到第二运算结果并传输至存储单元。在本公开的一些实施例中，上述神经网络运算包括乘法运算、加法运算、激活函数运算和/或池化运算。在本公开的一些实施例中，上述精确计算单元包括：乘法器，用于执行所述乘法运算；和/或一个或多个加法器，用于执行所述加法运算；和/或激活函数单元，用于执行所述激活函数运算。在本公开的一些实施例中，上述一个或多个加法器组成加法树。在本公开的一些实施例中，上述激活函数运算采用的激活函数包括sigmoid、tanh、ReLU、softmax、LeakyReLU和/或Maxout；池化运算包括平均值池化、最大值池化、中值池化、RoI池化和/或反池化。在本公开的一些实施例中，上述处理器还包括：解码单元，用于解压压缩后的视频，提取出视频中每一帧图片的帧信息，并将帧信息分为完整帧信息和参考帧信息，存储于存储单元中。在本公开的一些实施例中，上述参考帧信息包括参考前一帧编码的参考帧信息和/或参考前后帧编码的参考帧信息。在本公开的一些实施例中，上述解码单元还用于给予每一帧信息一标记位，其中，完整帧信息标记为I帧，参考前一帧编码的参考帧信息标记为P帧，参考前后帧编码的参考帧信息标记为B帧。在本公开的一些实施例中，其中：对于参考前一帧编码的参考帧信息，解码单元还用于标记该帧的前向参考帧和/或该帧相对前向参考帧的位移；对于参考前后帧编码的参考帧信息，解码单元还用于标记该帧前后双向的参考帧和/或该帧相对前后双向参考帧的位移。在本公开的一些实施例中，上述处理器还包括：译码单元，与指令控制单元和计算单元连接，用于对处理指令进行译码，并将译码后的处理指令传输至计算单元，则计算单元根据译码后的处理指令对帧信息和神经网络参数执行神经网络运算。为了实现上述目的，作为本公开的另一个方面，本公开提出了一种上述处理器的处理方法，包括以下步骤：步骤1、指令控制单元提取处理指令以控制计算单元；步骤2、计算单元接收帧信息、神经网络参数及所述的处理指令，并根据处理指令对帧信息和神经网络参数执行神经网络运算。在本公开的一些实施例中，上述帧信息和神经网络参数存储于一存储单元中，帧信息包括完整帧信息和参考帧信息，神经网络参数包括神经元、权值、拓扑结构和/或处理指令。在本公开的一些实施例中，上述计算单元包括精确计算单元和近似计算单元，步骤2具体包括以下步骤：精确计算单元提取完整帧信息和神经网络参数中的权值，进行神经网络运算，得到第一运算结果并传输至存储单元；近似计算单元提取参考帧信息和事先得到的、存储于存储单元的参考帧的计算结果，进行近似计算，得到第二运算结果并传输至存储单元。在本公开的一些实施例中，上述神经网络运算包括乘法运算、加法运算、激活函数运算和/或池化运算。在本公开的一些实施例中，上述精确计算单元包括：执行乘法运算的乘法器；和/或执行加法运算的一个或多个加法器；和/或执行激活函数运算的激活函数单元。在本公开的一些实施例中，上述一个或多个加法器组成加法树。在本公开的一些实施例中，上述激活函数运算采用的激活函数包括sigmoid、tanh、ReLU、softmax、LeakyReLU和/或Maxout；池化运算包括平均值池化、最大值池化、中值池化、RoI池化和/或反池化。在本公开的一些实施例中，在上述步骤1之前，还包括以下步骤：解码单元解压压缩后的视频，提取出视频中每一帧图片的帧信息，并将帧信息分为完整帧信息和参考帧信息，存储于存储单元中。在本公开的一些实施例中，上述参考帧信息包括参考前一帧编码的参考帧信息和/或参考前后帧编码的参考帧信息。在本公开的一些实施例中，上述解码单元还用于给予每一帧信息一标记位，其中，完整帧信息标记为I帧，参考前一帧编码的参考帧信息标记为P帧，参考前后帧编码的参考帧信息标记为B帧。在本公开的一些实施例中，其中：对于参考前一帧编码的参考帧信息，解码单元还用于标记该帧的前向参考帧和/或该帧相对前向参考帧的位移；对于参考前后帧编码的参考帧信息，解码单元还用于标记该帧前后双向的参考帧和/或该帧相对前后双向参考帧的位移。在本公开的一些实施例中，在上述步骤1与步骤2之间还包括：位于指令控制单元和计算单元之间的译码单元，对处理指令进行译码，并将译码后的处理指令传输至计算单元，则计算单元根据译码后的处理指令对帧信息和神经网络参数执行神经网络运算。为了实现上述目的，作为本公开的又一个方面，本公开提出一种芯片，包括上述的处理器。为了实现上述目的，作为本公开的再一个方面，本公开提出一种芯片封装结构，包括上述的芯片。为了实现上述目的，作为本公开的再一个方面，本公开提出一种卡板，包括上述的芯片封装结构。为了实现上述目的，作为本公开的又一个方面，本公开提出一种电子装置，包括上述的卡板。在本公开的一些实施例中，上述电子装置包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、手机、行车记录仪、导航仪、传感器、摄像头、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储装置、可穿戴设备、交通工具、家用电器和/或医疗设备。在本公开的一些实施例中，上述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶和/或油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。本公开提出的处理器及其处理方法、芯片、芯片封装结构、卡板及电子装置，具有以下有益效果：1、本公开的处理器，将视频中每一帧图片的帧信息分为完整帧信息和参考帧信息，其中只对完整帧信息进行神经网络运算，而对参考帧信息只需根据参考帧信息和参考帧的计算结果进行近似计算即可，从而本文档来自技高网...

【技术保护点】
1.一种处理器，包括指令控制单元和计算单元，其中：指令控制单元，用于提取处理指令并传输至计算单元；计算单元，用于接收帧信息、神经网络参数及所述的处理指令，并根据所述处理指令对所述帧信息和神经网络参数执行神经网络运算。

【技术特征摘要】
1.一种处理器，包括指令控制单元和计算单元，其中：指令控制单元，用于提取处理指令并传输至计算单元；计算单元，用于接收帧信息、神经网络参数及所述的处理指令，并根据所述处理指令对所述帧信息和神经网络参数执行神经网络运算。2.如权利要求1所述的处理器，还包括：存储单元，用于存储所述帧信息和神经网络参数；其中，所述帧信息包括完整帧信息和参考帧信息；所述神经网络参数包括神经元、权值、拓扑结构和/或处理指令。3.如权利要求2所述的处理器，其中，所述计算单元包括：精确计算单元，用于提取所述完整帧信息和神经网络参数中的权值，进行神经网络运算，得到第一运算结果并传输至所述存储单元；近似计算单元，用于提取所述参考帧信息和事先得到的、存储于存储单元的参考帧的计算结果，进行近似计算，得到第二运算结果并传输至所述存储单元。4.如权利要求3所述的处理器，其中：所述神经网络运算包括乘法运算、加法运算、激活函数运算和/或池化运算。5.如权利要求4所述的处理器，其中，所述精确计算单元包括：乘法器，用于执行所述乘法运算...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：上海,31