数据处理方法及装置以及相关产品制造方法及图纸

技术编号:31451942 阅读:12 留言:0更新日期:2021-12-18 11:14
本公开涉及一种数据处理方法及装置以及相关产品,所述产品包括板卡。所述板卡包括存储器件、接口装置和控制器件以及实现本公开的数据处理方法所述的神经网络芯片;其中,所述神经网络芯片与所述存储器件、所述控制器件以及所述接口装置分别连接;所述存储器件,用于存储数据;所述接口装置,用于实现所述神经网络芯片与外部设备之间的数据传输;所述控制器件,用于对所述神经网络芯片的状态进行监控。本公开可以提高相关产品在进行神经网络模型的运算时的运算效率。的运算时的运算效率。的运算时的运算效率。

【技术实现步骤摘要】
数据处理方法及装置以及相关产品


[0001]本公开涉及计算机
,尤其涉及一种数据处理方法及装置以及相关产品。

技术介绍

[0002]随着人工智能技术的不断发展,需要处理的数据量和数据维度都在不断增大。在相关技术中,处理器通常通过获取指令的参数来确定数据地址,然后根据数据地址完成数据的读取和使用。这就要求技术人员在设计参数时设定数据存取的相关参数(例如数据之间或数据维度之间的相互关系等),在判断指令之间的数据冲突时,需要经过换算,该方式降低了处理器的处理效率。

技术实现思路

[0003]有鉴于此,本公开提出了一种数据处理技术方案。
[0004]根据本公开的一方面,提供了一种数据处理方法,包括:获取第一处理指令操作数中的第一描述符,所述第一描述符包括第一内容,所述第一内容用于指示张量的形状;
[0005]根据指令队列中在所述第一处理指令之前未完成的第二处理指令的操作数和所述第一内容,确定是否执行所述第一处理指令;
[0006]在确定不执行所述第一处理指令时,阻塞或缓存所述第一处理指令。
[0007]根据本公开的另一方面,提供了一种数据处理装置,包括:描述符获取电路,用于获取第一处理指令操作数中的第一描述符,所述第一描述符包括第一内容,所述第一内容用于指示张量的形状;
[0008]确定电路,用于根据指令队列中在所述第一处理指令之前未完成的第二处理指令的操作数和所述第一内容,确定是否执行所述第一处理指令;
[0009]执行电路,用于在确定不执行所述第一处理指令时,阻塞或缓存所述第一处理指令。根据本公开的另一方面,提供了一种神经网络芯片,所述芯片包括如上所述的数据处理装置。
[0010]根据本公开的另一方面,提供了一种电子设备,所述电子设备包括如上所述的神经网络芯片。
[0011]根据本公开的另一方面,提供了一种板卡,所述板卡包括:存储器件、接口装置和控制器件以及如上所述的神经网络芯片;其中,所述神经网络芯片与所述存储器件、所述控制器件以及所述接口装置分别连接;所述存储器件,用于存储数据;所述接口装置,用于实现所述神经网络芯片与外部设备之间的数据传输;所述控制器件,用于对所述神经网络芯片的状态进行监控。
[0012]根据本公开的实施例,通过引入指示张量形状的描述符,能够快速判断指令之间是否存在数据冲突,高效快速地实现指令乱序功能,提高处理器的处理效率。
[0013]根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
[0014]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
[0015]图1示出根据本公开实施例的数据处理装置的数据存储空间的示意图。
[0016]图2示出根据本公开实施例的数据处理方法的流程图。
[0017]图3示出根据本公开实施例的数据处理装置的框图。
[0018]图4示出根据本公开实施例的板卡的结构框图。
具体实施方式
[0019]以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
[0020]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0021]另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
[0022]在一种可能的实现方式中,可以用描述符指示N维的张量数据的形状,N为正整数,例如N=1、2或3。其中,张量可以包含多种形式的数据组成方式,张量可以是不同维度的,比如标量可以看作是0维张量,向量可以看作1维张量,而矩阵可以是2维或2维以上的张量。张量的形状包括张量的维度、张量各个维度的尺寸等信息。举例而言,对于张量:
[0023][0024]该张量的形状可以被描述符描述为(2,4),也即通过两个参数表示该张量为二维张量,且该张量的第一维度(列)的尺寸为2、第二维度(行)的尺寸为4。需要说明的是,本申请对于描述符指示张量形状的方式并不做限定。
[0025]在一种可能的实现方式中,N的取值可根据张量数据的维数(阶数)来确定,也可以根据张量数据的使用需要进行设定。例如,在N的取值为3时,张量数据为三维的张量数据,描述符可用来指示该三维的张量数据在三个维度方向上的形状(例如偏移量、尺寸等)。应当理解,本领域技术人员可以根据实际需要对N的取值进行设置,本公开对此不作限制。
[0026]在一种可能的实现方式中,所述描述符可包括描述符的标识和/或描述符的内容。其中,描述符的标识用于对描述符进行区分,例如描述符的标识可以为其编号;描述符的内容可以包括表示张量数据的形状的至少一个形状参数。例如,张量数据为3维数据,在该张量数据的三个维度中,其中两个维度的形状参数固定不变,其描述符的内容可包括表示该张量数据的另一个维度的形状参数。
[0027]在一种可能的实现方式中,描述符的标识和/或内容可存储在描述符存储空间(内部存储器),例如寄存器、片上的SRAM或其他介质缓存等。描述符所指示的张量数据可存储在数据存储空间(内部存储器或外部存储器),例如片上缓存或片下存储器等。本公开对描述符存储空间及数据存储空间的具体位置不作限制。
[0028]在一种可能的实现方式中,描述符的标识、内容以及描述符所指示的张量数据可以存储在内部存储器的同一块区域,例如,可使用片上缓存的一块连续区域来存储描述符的相关内容,其地址为ADDR0-ADDR1023,其中,可将地址ADDR0-ADDR63作为描述符存储空间,存储描述符的标识和内容,地址ADDR64-ADDR1023作为数据存储空间,存储描述符所指示的张量数据。在描述符存储空间中,可用地址ADDR0-ADDR31存储描述符的标识,地址ADDR32-ADDR63存储描述符的内容。应当理解,地址ADDR并不限于1位或一个字节,此处用来表示一个地址,是一个地址单位。本领域技术人员可以实际情况确定描述符存储空间、数据存储空间以及其具体地址,本公开对此不作限制。
[0029]在一种可能的实现方式中,描述符的标识、内容以及描述符所指示的张量数据可以存储在内部存储器的不同区域。例如,可以将寄存器作为描述符存储空间,在寄存器中存储描述符的标识及内容,将片上缓存作为数据存储空间,存储描述符所指示的张量数据。
[0030]在一种可能的实现方式中,在使用寄存器存储描述符的标识和内容时,可以使用寄存器的编号来表示描述符的标识。例如,寄存器的编号为0时,其存储的描述符的标识设置为0。当寄存器中的描述符有效时,可根据描述本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,所述方法包括:获取第一处理指令操作数中的第一描述符,所述第一描述符包括第一内容,所述第一内容用于指示张量的形状;根据指令队列中在所述第一处理指令之前未完成的第二处理指令的操作数和所述第一内容,确定是否执行所述第一处理指令;在确定不执行所述第一处理指令时,阻塞或缓存所述第一处理指令。2.根据权利要求1所述的方法,所述根据指令队列中在所述第一处理指令之前未完成的第二处理指令的操作数和所述第一内容,确定是否执行所述第一处理指令,包括:根据所述第一内容确定与所述第一处理指令的操作数对应数据的第一存储区域;确定与所述第二处理指令的操作数对应数据的第二存储区域;在所述第一存储区域和所述第二存储区域有重叠时,不执行所述第一处理指令,或在所述第一存储区域和所述第二存储区域无重叠时,执行所述第一处理指令。3.根据权利要求1所述的方法,所述根据指令队列中在所述第一处理指令之前未完成的第二处理指令的操作数和所述第一内容,确定是否执行所述第一处理指令,包括:根据所述第一内容确定与所述第一处理指令的操作数对应数据的第一操作区域,所述第一操作区域小于所述第一处理指令的操作数对应数据的第一存储区域;确定与所述第二处理指令的操作数对应数据的第二操作区域,所述第二操作区域小于所述第二处理指令的操作数对应数据的第二存储区域;在所述第一操作区域和所述第二操作区域有重叠时,不执行所述第一处理指令,或在所述第一操作区域和所述第二操作区域无重叠时,执行所述第一处理指令。4.根据权利要求1所述的方法,所述第二处理指令的操作数中包括第二描述符,所述第二描述符包括第二内容,所述第二内容用于指示张量的形状,根据指令队列中在所述第一处理指令之前未完成的第二处理指令的操作数和所述第一内容,确定是否执行所述第一处理指令,包括:根据所述第一内容和所述第二内容的形状参数和/或地址参数,确定是否执行所述第一处理指令。5.根据权利要求4所述的方法,所述形状参数包括以下至少一种:所述数据存储空间在N个维度方向的至少一个方向上的尺寸、所述张量数据的存储区域在N个维度方向的至少一个方向上的尺寸、所述存储区域在N个维度方向的至少一个方向上的偏移量、处于N个维度方向的对角位置的至少两个顶点相对于所述数据基准点的位置、所述描述符所指示的张量数据的数据描述位置与数据地址之间的映射关系。6.根据权利要求4所述的方法,所述第一描述符还包括第一标识,所述第二描述符还包括第二标识,所述方法还包括:根据所述第一标识和所述第二标识确定是否执行所述第一处理指令。7.一种数据处理装置,所述装置包括:描述符获取电路,用于获取第一处理指令操作数中的第一描述符,所述第一描述符包括第一内容,所述第一内容用于指示张量的形状;确定电路,用于根据指令队列中在所述第一处理指令之前未完成的第二处理指令的操作数和所述第一内容,确定是否执行所述第一处理指令;

【专利技术属性】
技术研发人员:ꢀ五一IntClG零六N三零六三
申请(专利权)人:安徽寒武纪信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1