【技术实现步骤摘要】
本申请涉及人工智能领域，尤其涉及一种数据处理方法及装置。
技术介绍
1、近些年，由于卷积神经网络在图像分类、图像识别、音频识别以及其他相关领域的不俗表现，使其成为了学术界与工业界的研究和开发热门。使用人工智能(artificialintelligence,ai)硬件加速器(专用硬件集成加速电路)的方法对卷积神经网络进行运算加速，可以提升卷积神经网络相关应用的运行效率，缩短卷积神经网络相关应用的执行时间，是当前的研究热点。
2、其中，如何提高ai硬件加速器的处理性能，这是目前需要解决的问题。
技术实现思路
1、本申请提供一种数据处理方法及装置，用于提高ai硬件加速器的处理性能。
2、第一方面，提供一种数据处理方法，包括：获取卷积神经网络模型的参数矩阵；将所述参数矩阵划分为多个矩阵块，其中多个矩阵块中包括p种内容不同的矩阵块；分别生成所述p种矩阵块中各矩阵块的索引值；所述索引值用于唯一指示所对应矩阵块；生成所述卷积神经网络模型的参数字典；所述参数字典中包括所述p种矩阵块以及所述p种矩阵块分别对应的索引值。
3、该方法中，考虑到对于卷积神经网络模型的参数矩阵而言，可以将参数矩阵看成是由一个个小的矩阵块构造的大矩阵。这些矩阵块中包括有内容相同的矩阵块，因此对于内容相同的矩阵块可以用同一索引值来表示。这样一来，一个参数矩阵则可以表示为若干个索引值。这样一来，通过ai硬件加速器每次只需要通过从内存中读取当前运算的参数所对应的索引值，然后在ai硬件加速器内部根
4、在一种可能的设计中，获取卷积神经网络模型的参数矩阵，包括：获取所述卷积神经网络模型的原始参数矩阵；对所述原始参数矩阵进行重新训练，得到满足约束条件的所述卷积神经网络模型的所述参数矩阵；所述约束条件包括使参数矩阵能够划分为多个矩阵块，其中所述多个矩阵块包括内容相同的矩阵块。
5、上述设计中，考虑到：一方面，卷积神经网络主要分为训练和推理两大环节。其中，训练，指利用训练样本数据，通过不断调整卷积神经网络中各层的参数，以使得卷积神经网络模型的输出结果符合要求的过程。推理，指将已经训练完成的卷积神经网络模型用于实际的图像分类、图像识别或语音识别等场景中，通过将待处理的图像、音频等数据输入卷积神经网络模型以得到处理结果的过程。其中，训练的目的是选择可以高效高准确性进行推理的卷积神经网络模型和参数矩阵。因此，理论上任何模型和参数只要能够让推理的准确性达到预期目标，那么该模型和参数都是满足要求的。这就使得参数矩阵的训练过程有一定的可操作空间。另一方面，如上文所述若直接对相关技术中已有的卷积神经网络模型的参数矩阵进行划分为矩阵块，则可能由于矩阵块的种类过多，而导致压缩效果较差的问题。因此，本实现方式中，可以通过对卷积神经网络模型的参数矩阵进行重新训练的方式，其中在重新训练过程中增加约束条件，从而可以使得训练出的参数矩阵既能满足数据压缩的格式(即参数矩阵能够划分为多个矩阵块并且多个矩阵块中包括内容相同的矩阵块)又能够保证推理的准确性。
6、在一种可能的设计中，方法还包括：根据硬件资源的规格和模型训练的难度，确定所述矩阵块的规格。
7、上述设计中，考虑到在确定矩阵块的规格时，一方面，矩阵块的规格越大，则压缩效率越高，但训练卷积神经网络模型的难度也越大；另一方面，矩阵块的规格越小，则训练卷积神经网络模型的难度越小，但是压缩效率越低。因此，可以根据硬件资源的规格和模型训练的难度，来确定所述矩阵块的规格，以便兼顾硬件资源开销和压缩收益。
8、第二方面，提供一种数据处理方法，该方法应用于人工智能ai硬件加速器，该方法包括：获取第一索引值；在参数字典中查找所述第一索引值所对应的矩阵块；所述参数字典中包括p种矩阵块以及所述p种矩阵块分别对应的索引值，其中各所述矩阵块分别为卷积神经网络模型的参数矩阵中一部分。
9、该方法中，考虑到对于卷积神经网络模型的参数矩阵而言，可以将参数矩阵看成是由一个个小的矩阵块构造的大矩阵。这些矩阵块中包括有内容相同的矩阵块，因此对于内容相同的矩阵块可以用同一索引值来表示。这样一来，一个参数矩阵则可以表示为若干个索引值。这样一来，通过ai硬件加速器每次只需要通过从内存中读取当前运算的参数所对应的索引值，然后在ai硬件加速器内部根据获取的索引值还原出所需要的参数内容。从而可以极大程度的提高io带宽的实际利用效率。
10、在一种可能的设计中，该方法还包括：将所述第一索引值所对应的矩阵块进行拼接，得到所述卷积神经网络模型的第一参数集合。
11、上述设计中，考虑到由于矩阵块的规格不同，因此在ai硬件加速器运行时，可以一次获取多个矩阵块的索引值，然后在参数字典中查找各索引值对应矩阵块并对矩阵块进行拼接，从而得到本次运算所需要的参数。
12、在一种可能的设计中，该方法还包括：将所述参数字典加载到所述ai硬件加速器的片上缓存中。
13、通过上述设计，数据处理装置在获取到第一索引值后，可以直接在ai硬件加速器的片上缓存中缓存的参数字典中查找第一索引值对应的矩阵块。
14、在一种可能的设计中，获取第一索引值，包括：读取ai硬件加速器的片外存储器中的所述第一索引值。
15、在一种可能的设计中，该方法还包括：将所述第一索引值所对应的矩阵块中包括的第一参数集合缓存至ai硬件加速器的weight buffer权重缓存中，以使得ai硬件加速器根据所述第一参数集合执行运算。
16、第三方面，提供一种数据处理装置，包括：获取单元，用于获取卷积神经网络模型的参数矩阵；分割单元，用于将所述参数矩阵划分为多个矩阵块，其中多个矩阵块中包括p种内容不同的矩阵块；索引生成单元，用于分别生成所述p种矩阵块中各矩阵块的索引值；所述索引值用于唯一指示所对应矩阵块；字典生成单元，用于生成所述卷积神经网络模型的参数字典；所述参数字典中包括所述p种矩阵块以及所述p种矩阵块分别对应的索引值。
17、在一种可能的设计中，获取单元，用于获取卷积神经网络模型的参数矩阵，包括：所述获取单元，用于获取所述卷积神经网络模型的原始参数矩阵；所述获取单元，用于对所述原始参数矩阵进行重新训练，得到满足约束条件的所述卷积神经网络模型的所述参数矩阵；所述约束条件包括使参数矩阵能够划分为多个矩阵块，其中所述多个矩阵块包括内容相同的矩阵块。
18、在一种可能的设计中，分割单元，还用于根据硬件资源的规格和模型训练的难度，确定所述矩阵块的规格。
19、第四方面，提供一种数据处理装置，数据处理装置应用于人工智能ai硬件加速器，所述数据处理装置包括：获取单元，用于获取第一索引值；查找单元，用于在参数字典中查找所述第一索引值所对应的矩阵块；所述参数字典中包括p种矩阵块以及所述p种矩阵块分别对应的索引值，其中各所述矩阵块分别为卷积神经网络模型的参数矩阵中一部本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取卷积神经网络模型的参数矩阵，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：根据硬件资源的规格和模型训练的难度，确定所述矩阵块的规格。
4.一种数据处理方法，其特征在于，所述方法应用于人工智能AI硬件加速器，所述方法包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：将所述参数字典加载到所述AI硬件加速器的片上缓存中。
7.根据权利要求4-6任一项所述的方法，其特征在于，所述获取第一索引值，包括：读取AI硬件加速器的片外存储器中的所述第一索引值。
8.根据权利要求4-7任一项所述的方法，其特征在于，所述方法还包括：
9.一种数据处理装置，其特征在于，包括：
10.根据权利要求9所述的数据处理装置，其特征在于，所述获取单元，用于获取卷积神经网络模型的参数矩阵，包括：
12.一种数据处理装置，其特征在于，所述数据处理装置应用于人工智能AI硬件加速器，所述数据处理装置包括：
13.根据权利要求12所述的数据处理装置，其特征在于，所述查找单元，还用于将所述第一索引值所对应的矩阵块进行拼接，得到所述卷积神经网络模型的第一参数集合。
14.根据权利要求12或13所述的数据处理装置，其特征在于，所述获取单元，还用于将所述参数字典加载到所述AI硬件加速器的片上缓存中。
15.根据权利要求12-14任一项所述的数据处理装置，其特征在于，所述获取单元，用于获取第一索引值，包括：所述获取单元，用于读取AI硬件加速器的片外存储器中的所述第一索引值。
16.根据权利要求12-15任一项所述的数据处理装置，其特征在于，所述数据处理装置，还包括：
17.一种通信装置，其特征在于，包括处理器和接口，所述处理器通过所述接口接收或发送数据，所述处理器用于实现如权利要求1-3中任一项所述的方法，或者所述处理器用于实现如权利要求4-8中任一项所述的方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在处理器上运行时，实现如权利要求1-3中任一项所述的方法，或者实现如权利要求4-8中任一项所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取卷积神经网络模型的参数矩阵，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：根据硬件资源的规格和模型训练的难度，确定所述矩阵块的规格。
4.一种数据处理方法，其特征在于，所述方法应用于人工智能ai硬件加速器，所述方法包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：将所述参数字典加载到所述ai硬件加速器的片上缓存中。
7.根据权利要求4-6任一项所述的方法，其特征在于，所述获取第一索引值，包括：读取ai硬件加速器的片外存储器中的所述第一索引值。
8.根据权利要求4-7任一项所述的方法，其特征在于，所述方法还包括：
9.一种数据处理装置，其特征在于，包括：
10.根据权利要求9所述的数据处理装置，其特征在于，所述获取单元，用于获取卷积神经网络模型的参数矩阵，包括：
11.根据权利要求9或10所述的数据处理装置，其特征在于，所述分割单元，还用于根据硬件资源的规格和模型训练的难度，确定所述矩阵块的规格。
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。