本公开提供一种数据处理方法、装置及电子设备。该数据处理方法包括：获得矩阵请求指令；根据矩阵请求指令，从内部存储模块中读取N个注意力矩阵的压缩数据；对N个注意力矩阵的压缩数据进行解压缩，以得到N个注意力矩阵的矩阵数据，其中，N个注意力矩阵的矩阵数据用于构建目标神经网络中的注意力矩阵。在本公开中，内部存储模块中存储的是N个注意力矩阵的压缩数据，每次读取的压缩数据在解压后的数据量能够大于单次读取未压缩数据的数据量，从而减少读取存储空间的次数，降低功耗、提升性能。提升性能。提升性能。
【技术实现步骤摘要】
数据处理方法、装置及电子设备
[0001]本公开涉及数据处理
，尤其涉及一种数据处理方法、装置及电子设备。
技术介绍
[0002]近年来，随着深度学习（deep learning）技术的发展，深度神经网络（deep neural networks，DNN）被应用在越来越多的领域。深度神经网络的模型越深，非线性程度也就越大，相应的对现实问题的表达能力越强，但相应的代价是，训练成本和模型大小的增加。
[0003]那么，在模型的训练和推理过程中，需要频繁读写存储空间，造成功耗较高以及频宽浪费。
技术实现思路
[0004]本公开提供一种数据处理方法、装置及电子设备，能够减少对存储空间的频繁读写，从而降低功耗，提升性能。
[0005]第一方面，本公开提供一种数据处理方法，该方法包括：获得矩阵请求指令；根据矩阵请求指令，从内部存储模块中读取N个注意力矩阵的压缩数据，N为正整数；对N个注意力矩阵的压缩数据进行解压缩，以得到N个注意力矩阵的矩阵数据，其中，N个注意力矩阵的矩阵数据用于构建目标神经网络中的注意力矩阵。
[0006]在一些可能的实施方式中，在N的取值大于或者等于2的情况下，对N个注意力矩阵的压缩数据进行解压缩，以得到N个注意力矩阵的矩阵数据，包括：使用N个解码模块，分别对N个注意力矩阵的压缩数据进行解压缩，以得到N个注意力矩阵中每一个注意力矩阵的矩阵数据，N个解码模块与N个注意力矩阵一一对应。
[0007]在一些可能的实施方式中，在获得矩阵请求指令之前，上述方法还包括：获得待压缩的注意力矩阵数据，注意力矩阵数据包括M个注意力矩阵的矩阵数据，M为大于或者等于N的正整数；对M个注意力矩阵的矩阵数据进行压缩，以得到M个注意力矩阵的压缩数据；将M个注意力矩阵的压缩数据写入内部存储模块。
[0008]在一些可能的实施方式中，在M的取值大于或者等于2的情况下，对M个注意力矩阵的矩阵数据进行压缩，以得到M个注意力矩阵的压缩数据，包括：对注意力矩阵数据进行划分，以得到M个注意力矩阵的矩阵数据；使用M个编码模块，分别对M个注意力矩阵的矩阵数据进行压缩，以得到M个注意力矩阵中每一个注意力矩阵的矩阵数据，M个编码模块与M个注意力矩阵一一对应。
[0009]在一些可能的实施方式中，注意力矩阵的压缩数据包括：注意力矩阵的类型信息；注意力矩阵的元素值；元素值的位置标识信息，其中，位置标识信息用于指示元素值在注意力矩阵中的位置。
[0010]第二方面，本公开提供一种数据处理装置，该装置包括：第一获得模块，被配置为获得矩阵请求指令；读取模块，被配置为根据矩阵请求指令，从内部存储模块中读取N个注意力矩阵的压缩数据，N为正整数；解码模块，被配置为对N个注意力矩阵的压缩数据进行解
压缩，以得到N个注意力矩阵的矩阵数据，其中，N个注意力矩阵的矩阵数据用于构建目标神经网络中的注意力矩阵。
[0011]在一些可能的实施方式中，在N的取值大于或者等于2的情况下，解码模块，被配置为使用N个解码模块，分别对N个注意力矩阵的压缩数据进行解压缩，以得到N个注意力矩阵中每一个注意力矩阵的矩阵数据，N个解码模块与N个注意力矩阵一一对应。
[0012]在一些可能的实施方式中，上述装置还包括：第二获得模块、编码模块和写入模块；其中，第二获得模块，被配置为在第一获得模块获得矩阵请求指令之前，获得待压缩的注意力矩阵数据，注意力矩阵数据包括M个注意力矩阵的矩阵数据，M为大于或者等于N的正整数；编码模块，被配置为对M个注意力矩阵的矩阵数据进行压缩，以得到M个注意力矩阵的压缩数据；写入模块，被配置为将M个注意力矩阵的压缩数据写入内部存储模块。
[0013]在一些可能的实施方式中，编码模块还被配置为：在M的取值大于或者等于2的情况下，对注意力矩阵数据进行划分，以得到M个注意力矩阵的矩阵数据；以及，使用M个编码模块，分别对M个注意力矩阵的矩阵数据进行压缩，以得到M个注意力矩阵中每一个注意力矩阵的矩阵数据，M个编码模块与M个注意力矩阵一一对应。
[0014]在一些可能的实施方式中，注意力矩阵的压缩数据包括：注意力矩阵的类型信息；注意力矩阵的元素值；元素值的位置标识信息，其中，位置标识信息用于指示元素值在注意力矩阵中的位置。
[0015]第三方面，本公开提供一种数据处理装置，该装置包括：内部存储电路、解码电路以及运算电路；其中，运算电路，被配置为向解码电路输出矩阵请求指令；解码电路，被配置为：根据矩阵请求指令，从内部存储电路中读取N个注意力矩阵的压缩数据；对N个注意力矩阵的压缩数据进行解压缩，以得到N个注意力矩阵的矩阵数据；向运算电路输出N个注意力矩阵的矩阵数据；运算电路，还被配置为根据N个注意力矩阵的矩阵数据，构建目标神经网络中的注意力矩阵。
[0016]在一些可能的实施方式中，解码电路包括N个解码模块，N个解码模块与N个注意力矩阵一一对应；N个解码模块，被配置为分别对N个注意力矩阵的压缩数据进行解压缩，以得到N个注意力矩阵中每一个注意力矩阵的矩阵数据。
[0017]在一些可能的实施方式中，上述装置还包括：编码电路，其中，运算电路，还被配置为获得待压缩的注意力矩阵数据，注意力矩阵数据包括M个注意力矩阵的矩阵数据，M为大于或者等于N的正整数；编码电路，被配置为对M个注意力矩阵的矩阵数据进行压缩，以得到M个注意力矩阵的压缩数据；以及，将M个注意力矩阵的压缩数据写入内部存储电路。
[0018]在一些可能的实施方式中，编码电路的M个编码模块与M个注意力矩阵一一对应；编码电路被配置为：在M的取值大于或者等于2的情况下，对注意力矩阵数据进行划分，以得到M个注意力矩阵的矩阵数据；M个编码模块分别对M个注意力矩阵的矩阵数据进行压缩，以得到M个注意力矩阵中每一个注意力矩阵的矩阵数据。
[0019]第四方面，本公开提供一种电子设备，包括：如上述第三方面及其可能的实施方式中任一项的数据处理装置。
[0020]本公开具有以下有益效果：在本公开中，在获得矩阵请求指令之后，响应该矩阵请求指令，从内部存储模块（如内部存储器、内存等）中读取N个注意力矩阵的压缩数据，并对N个注意力矩阵的压缩数
据进行解压缩，以得到N个注意力矩阵的矩阵数据。如此，由于从内部存储模块中存储的是N个注意力矩阵的压缩数据，那么，每次读取的压缩数据在解压后的数据量就会大于单次所能够读取的未压缩数据的数据量，这样便能够通过更少次的读写内部存储器来获得注意力矩阵，从而降低功耗、提升性能。
[0021]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0023]图1为本公开实施例中的一种注意力机制的示意图。
[0024]图2为本公开实施例中的注意力基础矩阵的矩阵图样示意图。
[0025]图3为本公开实施例中本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获得矩阵请求指令；根据所述矩阵请求指令，从内部存储模块中读取N个注意力矩阵的压缩数据，N为正整数；对所述N个注意力矩阵的压缩数据进行解压缩，以得到所述N个注意力矩阵的矩阵数据，其中，所述N个注意力矩阵的矩阵数据用于构建目标神经网络中的注意力矩阵。2.根据权利要求1所述的方法，其特征在于，在N的取值大于或者等于2的情况下，所述对所述N个注意力矩阵的压缩数据进行解压缩，以得到所述N个注意力矩阵的矩阵数据，包括：使用N个解码模块，分别对所述N个注意力矩阵的压缩数据进行解压缩，以得到所述N个注意力矩阵中每一个注意力矩阵的矩阵数据，所述N个解码模块与所述N个注意力矩阵一一对应。3.根据权利要求1或2所述的方法，其特征在于，在所述获得矩阵请求指令之前，所述方法还包括：获得待压缩的注意力矩阵数据，所述注意力矩阵数据包括M个注意力矩阵的矩阵数据，M为大于或者等于N的正整数；对所述M个注意力矩阵的矩阵数据进行压缩，以得到所述M个注意力矩阵的压缩数据；将所述M个注意力矩阵的压缩数据写入所述内部存储模块。4.根据权利要求3所述的方法，其特征在于，所述对所述M个注意力矩阵的矩阵数据进行压缩，以得到所述M个注意力矩阵的压缩数据，包括：在M的取值大于或者等于2的情况下，对所述注意力矩阵数据进行划分，以得到所述M个注意力矩阵的矩阵数据；使用M个编码模块，分别对所述M个注意力矩阵的矩阵数据进行压缩，以得到所述M个注意力矩阵中每一个注意力矩阵的压缩数据，所述M个编码模块与所述M个注意力矩阵一一对应。5.根据权利要求1所述的方法，其特征在于，所述注意力矩阵的压缩数据包括：所述注意力矩阵的类型信息；所述注意力矩阵的元素值；所述元素值的位置标识信息，所述位置标识信息用于指示所述元素值在所述注意力矩阵中的位置。6.一种数据处理装置，其特征在于，所述装置包括：第一获得模块，被配置为获得矩阵请求指令；读取模块，被配置为根据所述矩阵请求指令，从内部存储模块中读取N个注意力矩阵的压缩数据，N为正整数；解码模块，被配置为对所述N个注意力矩阵的压缩数据进行解压缩，以得到所述N个注意力矩阵的矩阵数据，其中，所述N个注意力矩阵的矩阵数据用于构建目标神经网络中的注意力矩阵。7.根据权利要求6所述的装置，其特征在于，在N的取值大于或者等于2的情况下，所述解码模块，被配置为使用N个解码模块，分别对所述N个注意力矩阵的压缩数据进行解压缩，
以得到所述N个注意力矩阵中每一个注意力矩阵的矩阵数据，所述N个解码模块与所述N个注意力矩阵一一对应。8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：第二获得模块、编码模块和写入模块；其中，所述第二获得模块，被配置为在所述第一获得模块获得矩阵请求指令之前，获得待压缩的注意力矩...
【专利技术属性】
技术研发人员：张玮君，
申请(专利权)人：北京算能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。