数据处理装置及相关产品制造方法及图纸

本公开涉及一种数据处理装置及相关产品，所述产品包括控制模块，所述控制模块包括：指令缓存单元、指令处理单元和存储队列单元；所述指令缓存单元，用于存储所述人工神经网络运算关联的计算指令；所述指令处理单元，用于对所述计算指令解析得到多个运算指令；所述存储队列单元，用于存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令。通过以上方法，本公开可以提高相关产品在进行神经网络模型的运算时的运算效率。

【技术实现步骤摘要】
数据处理装置及相关产品
本公开涉及计算机
，尤其涉及一种数据处理装置及相关产品。
技术介绍
随着人工智能技术的不断发展，需要处理的数据量和数据维度都在不断增大。在相关技术中，处理器通常通过获取指令的参数来确定数据地址，然后根据数据地址完成数据的读取和使用。这就要求技术人员在设计参数时设定数据存取的相关参数(例如数据之间或数据维度之间的相互关系等)，从而生成指令传递给处理器来完成数据的存取，该方式降低了处理器的处理效率。
技术实现思路
有鉴于此，本公开提出了一种数据处理技术方案。根据本公开的一方面，提供了一种数据处理装置，所述装置包括控制单元及执行单元，所述控制单元包括张量控制模块，其中，所述控制单元被配置为：在解码后的第一处理指令的操作数包括描述符的标识时，根据所述描述符的标识，通过所述张量控制模块确定与所述描述符对应的描述符存储空间，所述描述符用于指示张量的形状；从所述描述符存储空间获取所述描述符的内容；向所述执行单元发送所述描述符的内容及所述第一处理指令，以使所述执行单元根据所述描述符的内容执行所述第一处理指令。根据本公开的另一方面，提供了一种人工智能芯片，所述芯片包括如上所述的数据处理装置。根据本公开的另一方面，提供了一种电子设备，所述电子设备包括如上所述的人工智能芯片。根据本公开的另一方面，提供了一种板卡，所述板卡包括：存储器件、接口装置和控制器件以及如上所述的人工智能芯片；其中，所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置分别连接；所述存储器件，用于存储数据；所述接口装置，用于实现所述人工智能芯片与外部设备之间的数据传输；所述控制器件，用于对所述人工智能芯片的状态进行监控。根据本公开的实施例的数据处理装置，通过引入指示张量形状的描述符并在控制单元中设置张量控制模块，能够在解码的处理指令的操作数中包括描述符标识时通过张量控制模块确定对应的描述符存储空间，从该空间获取描述符内容并将该内容及处理指令发送给执行单元，以使执行单元根据描述符内容执行指令，从而降低数据存取的复杂度，提高数据存取的效率。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。图1示出根据本公开实施例的数据处理装置的框图。图2示出根据本公开实施例的数据处理装置的数据存储空间的示意图。图3示出根据本公开实施例的板卡的结构框图。具体实施方式以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。图1示出根据本公开一实施例的数据处理装置的框图。如图1所示，该数据处理装置包括控制单元11及执行单元12，所述控制单元11包括张量控制模块111，其中，所述控制单元11被配置为：在解码后的第一处理指令的操作数包括描述符的标识时，根据所述描述符的标识，通过所述张量控制模块确定与所述描述符对应的描述符存储空间，所述描述符用于指示张量的形状；从所述描述符存储空间获取所述描述符的内容；向所述执行单元发送所述描述符的内容及所述第一处理指令，以使所述执行单元根据所述描述符的内容执行所述第一处理指令。根据本公开的实施例的数据处理装置，引入了指示张量形状的描述符并在控制单元中设置张量控制模块，能够在解码的处理指令的操作数中包括描述符标识时通过张量控制模块确定对应的描述符存储空间，从该空间获取描述符内容并将该内容及处理指令发送给执行单元，以使执行单元根据描述符内容执行指令，从而降低数据存取的复杂度，提高数据存取的效率。举例来说，该数据处理装置可例如为处理器，其中，处理器可包括通用处理器(例如中央处理器CPU、图形处理器GPU)和专用处理器(例如人工智能处理器、科学计算处理器或数字信号处理器等)。本公开对处理器的类型不作限制。在一种可能的实现方式中，数据处理装置可包括控制单元11及执行单元12，控制单元11用于对装置进行控制，例如读取存储器或外部传入的指令，对指令进行解码(译码)，向相应的部件发出微操作控制信号等。执行单元12用于执行具体的指令，执行单元12可以例如为算术逻辑单元(arithmeticandlogicunit，ALU)、内存存取单元(memoryaccessunit，MAU)、人工智能运算单元(neuralfunctionalunit，NFU)等。本公开对执行单元12的具体硬件类型不作限制。在一种可能的实现方式中，数据处理装置所处理的数据可包括N维的张量数据(N为大于或等于零的整数，例如N＝1、2或3)，在数据处理装置的存储器中存储张量数据时，根据其数据地址(或存储区域)无法确定张量数据的形状、数据之间或数据维度之间的相互关系等相关信息，导致处理器对张量数据的存取效率较低。在该情况下，可引入描述符(张量描述符)来指示张量(N维的张量数据)的形状。其中，N的取值可根据张量数据的维数(阶数)来确定，也可以根据张量数据的使用需要进行设定。例如，在N的取值为3时，张量数据为三维数据，描述符可用来指示该三维的张量数据在三个维度方向上的形状(例如偏移量、尺寸等)。应当理解，本领域技术人员可以根据实际需要对N的取值进行设置，本公开对此不作限制。在一种可能的实现方式中，描述符可包括标识和内容等，描述符的标识可用于对描述符进行区分，例如为编号；描述符的内容可包括表示张量数据的形状的至少一个形状参数(例如张量的各个维度方向上的尺寸等)，还可以包括表示张量数据的地址的至少一个地址参数(例如数据基准点的基准地址)。本公开对描述符的内容包括的具体参数不作限制。通过采用描述符来指示张量数据的方式，能够表达张量数据的形状、位置、数据之间或数据维度之间的相互关系等相关信息，提高对张量数据的存取效率。在一种可能的实现方式中，可以在控制单元11中设置有张量控制模块111，以实现与描述符相关联的操作，例如描述符的注册、修改及注销；对描述符内容的读写等。张量控制模块111可例如为张量接口单元(TensorinterfaceUnit，TIU)，本公开对张量控制模块的具体硬件类型不作限制。通过这种方式，可以通过专用的硬件实现与描述符相关联的操作，进一步提高了张量数据的存取效率。在一种本文档来自技高网...

【技术保护点】
1.一种数据处理装置，其特征在于，所述装置包括控制单元及执行单元，所述控制单元包括张量控制模块，其中，所述控制单元被配置为：/n在解码后的第一处理指令的操作数包括描述符的标识时，根据所述描述符的标识，通过所述张量控制模块确定与所述描述符对应的描述符存储空间，所述描述符用于指示张量的形状；/n从所述描述符存储空间获取所述描述符的内容；/n向所述执行单元发送所述描述符的内容及所述第一处理指令，以使所述执行单元根据所述描述符的内容执行所述第一处理指令。/n

【技术特征摘要】
1.一种数据处理装置，其特征在于，所述装置包括控制单元及执行单元，所述控制单元包括张量控制模块，其中，所述控制单元被配置为：
在解码后的第一处理指令的操作数包括描述符的标识时，根据所述描述符的标识，通过所述张量控制模块确定与所述描述符对应的描述符存储空间，所述描述符用于指示张量的形状；
从所述描述符存储空间获取所述描述符的内容；
向所述执行单元发送所述描述符的内容及所述第一处理指令，以使所述执行单元根据所述描述符的内容执行所述第一处理指令。


2.根据权利要求1所述的装置，其特征在于，所述执行单元被配置为：
根据接收到的描述符的内容及第一处理指令，确定与所述第一处理指令的操作数对应的数据在数据存储空间中的数据地址；
根据所述数据地址，执行与所述第一处理指令对应的数据处理。


3.根据权利要求2所述的装置，其特征在于，所述控制单元还被配置为：
在所述第一处理指令为描述符注册指令时，获取所述第一处理指令中描述符的注册参数，所述注册参数包括所述描述符的标识、张量形状以及描述符所指示的张量数据的内容中的至少一种；
根据所述描述符的注册参数，通过所述张量控制模块确定所述描述符的内容在描述符存储空间中的第一存储区域，以及所述描述符所指示的张量数据的内容在数据存储空间中的第二存储区域；
根据所述描述符的注册参数以及所述第二存储区域，确定所述描述符的内容，以建立所述描述符与所述第二存储区域之间的对应关系；
将所述描述符的内容存储到所述第一存储区域。


4.根据权利要求1所述的装置，其特征在于，所述控制单元还被配置为：
在所述第一处理指令为描述符注销指令时，获取所述第一处理指令中描述符的标识；
根据所述描述符的标识，通过所述张量控制模块分别释放所述描述符在描述符存储空间中的存储区域以及所述描述符所指示的张量数据的内容在数据存储空间中的存储区域。

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：安徽寒武纪信息科技有限公司，
类型：发明
国别省市：安徽;34