一种数据处理方法、装置、设备以及存储介质制造方法及图纸

本公开提供了数据处理方法，涉及人工智能技术领域，尤其涉及深度学习技术领域，可适用于语音识别、自然语言处理和信息推荐等场景。该方案为：获取目标量化网络层输入的特征矩阵和目标量化网络层的权重矩阵；其中，特征矩阵的列数等于权重矩阵的行数；根据目标量化网络层的目标分段系数，将特征矩阵的每一行特征元素划分为至少两个特征元素子段，以及将权重矩阵的每一列权重元素划分为至少两个权重元素子段；根据目标量化网络层的目标量化比特数，对至少两个特征元素子段和至少两个权重元素子段进行量化处理，并根据量化处理结果，确定目标量化网络层的输出特征。本方案能够在保证模型精度的同时，压缩模型体积，降低人工智能技术落地成本。技术落地成本。技术落地成本。

A data processing method, device, device and storage medium

【技术实现步骤摘要】
一种数据处理方法、装置、设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及深度学习
，可适用于语音识别、自然语言处理和信息推荐等场景。

技术介绍

[0002]随着人工智能技术的发展，深度学习技术在日常生活中的应用越来越广，为了不断提升深度学习模型的模型精度，导致模型的复杂度和参数量都在持续增加，直接影响模型体积和模型的运算速度，从而影响人工智能技术落地成本，亟需改进。

技术实现思路

[0003]本公开提供了一种数据处理方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种数据处理方法，包括：
[0005]获取目标量化网络层输入的特征矩阵和目标量化网络层的权重矩阵；其中，特征矩阵的列数等于权重矩阵的行数；
[0006]根据目标量化网络层的目标分段系数，将特征矩阵的每一行特征元素划分为至少两个特征元素子段，以及将权重矩阵的每一列权重元素划分为至少两个权重元素子段；
[0007]根据目标量化网络层的目标量化比特数，对至少两个特征元素子段和至少两个权重元素子段进行量化处理，并根据量化处理结果，确定目标量化网络层的输出特征。
[0008]根据本公开的另一方面，提供了一种电子设备，该电子设备包括：
[0009]至少一个处理器；以及
[0010]与至少一个处理器通信连接的存储器；其中，
[0011]存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任一实施例的数据处理方法。
[0012]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开任一实施例的数据处理方法。
[0013]本方案，能够在尽可能保证模型精度的同时，压缩模型体积，提高模型运算速度，从而降低人工智能技术落地成本。
[0014]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0015]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0016]图1是根据本公开实施例提供的一种数据处理方法的流程图；
[0017]图2是根据本公开实施例提供的一种数据处理方法的流程图；
[0018]图3是根据本公开实施例提供的一种数据处理方法的流程图；
[0019]图4是根据本公开实施例提供的一种数据处理方法的流程图；
[0020]图5是根据本公开实施例提供的一种数据处理装置的结构示意图；
[0021]图6是用来实现本公开实施例的数据处理方法的电子设备的框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]图1是根据本公开实施例提供的一种数据处理方法的流程图；本公开实施例适用于对深度学习模型中目标量化网络层的数据计算过程进行量化处理的情况，具体适用于对深度学习模型中的目标量化网络层输入的特征矩阵和目标量化网络层的权重矩阵进行处理，得到该目标网络层的输出特征的情况。该方法可以由数据处理装置来执行，该装置可以采用软件和/或硬件的方式实现。具体可以集成于配置有深度学习模型的电子设备中。如图1所示，本实施例提供的数据处理方法可以包括：
[0024]S101，获取目标量化网络层输入的特征矩阵和目标量化网络层的权重矩阵。
[0025]其中，目标量化网络层可以是深度学习模型中，运算矩阵乘法算子的网络层，可选的，该矩阵乘法算子可以包括但不限于：全连接算子和其他衍生算子，如transformer算子。
[0026]目标量化网络层输入的特征矩阵，可以是输入到目标网络层的输入信息，例如，若目标量化网络层为深度学习模型中的首个网络层，则该特征矩阵，可以是该深度学习模型的输入，若目标量化网络层为深度学习模型的非首个网络层，则该特征矩阵可以是深度学习模型中，位于该目标量化网络层的上一网络层的输出。目标量化网络层的权重矩阵可以是目标量化网络层在网络训练阶段得到，用于表征本层输入特征的权重系数的固有网络参数。需要说明的是，由于目标量化网络层对应的是矩阵乘法算子，所以需要要求特征矩阵的列数等于权重矩阵的行数。即特征矩阵的大小为：m*k，权重矩阵的大小为k*n。其中，m、k、n的取值为正整数。
[0027]可选的，本实施例可以获取输入到目标量化网络层的特征数据作为特征矩阵，并获取该目标量化网络层内固有的权重参数作为权重矩阵。具体的，若目标网络层的输入数据为多个时，则可以是选择列数与权重矩阵的行数相同的输入数据作为该目标量化网络层输入的特征矩阵。
[0028]S102，根据目标量化网络层的目标分段系数，将特征矩阵的每一行特征元素划分为至少两个特征元素子段，以及将权重矩阵的每一列权重元素划分为至少两个权重元素子段。
[0029]其中，目标分段系数可以是对目标量化网络层的运算过程进行量化时所需的量化配置参数中的一个参数。其用于表征划分后的每一子段中包含的矩阵元素的数量。例如，若目标分段系数为C，则可以是将矩阵中的每C个连续元素划分为一段，即划分后的每一子段中包含的矩阵元素的数量为C个。其中，C的取值为正整数。该目标分段系数的具体数值可以是预先确定的，例如，可以是通过大量测试分析，从多种可选分段系数中选择一个作为目标分段系数。还可以是根据经验设置等，对此不进行限定。可选的，本实施例优选设置目标分段系数能够将特征矩阵的每一行特征元素和权重矩阵的每一列矩阵元素进行等份划分，即
若特征矩阵的列数和权重矩阵的行数均为k，则此时目标分段系数C的取值优选能被k整除。
[0030]需要说明的是，本实施例将特征矩阵中的矩阵元素称为特征元素，将对特征元素划分后的每一组特征元素作为一个特征元素子段；将权重矩阵中的矩阵元素称为权重元素，将对权重元素划分后的每一组权重元素作为一个权重元素子段。
[0031]具体的，本实施例可以根据目标分段系数C，对特征矩阵中的每一行特征元素，以相邻的C个特征元素为一个组，划分为至少两段，其中的每一段均作为一个特征元素子段；再根据目标分段系数C，对权重矩阵中的每一列权重元素，以相邻的C个权重元素为一个组，划分为至少两段，其中的每一段均作为一个权重元素子段。
[0032]示例性的，若特征矩阵为矩阵I，即
[0033]权重矩阵为矩阵W，即且目标分段系数C为4，则基于目标分段系数C对矩阵I中的每一行进行划分，得到8个特征元素子段，即特征元素子段1(I
11
,I
12
,I
13
,I
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：获取目标量化网络层输入的特征矩阵和所述目标量化网络层的权重矩阵；其中，所述特征矩阵的列数等于所述权重矩阵的行数；根据所述目标量化网络层的目标分段系数，将所述特征矩阵的每一行特征元素划分为至少两个特征元素子段，以及将所述权重矩阵的每一列权重元素划分为至少两个权重元素子段；根据所述目标量化网络层的目标量化比特数，对所述至少两个特征元素子段和所述至少两个权重元素子段进行量化处理，并根据量化处理结果，确定所述目标量化网络层的输出特征。2.根据权利要求1所述的方法，其中，所述根据所述目标量化网络层的目标分段系数，将所述特征矩阵的每一行特征元素划分为至少两个特征元素子段，以及将所述权重矩阵的每一列权重元素划分为至少两个权重元素子段，包括：根据所述目标量化网络层的目标分段系数中的第一系数，将所述特征矩阵的每一行特征元素划分为至少两个特征元素子段；根据所述目标分段系数中的第二系数，将所述权重矩阵的每一列权重元素划分为至少两个权重元素子段；其中，所述第一系数和所述第二系数成整数倍关系。3.根据权利要求1所述的方法，其中，所述根据量化处理结果，确定所述目标量化网络层的输出特征，包括：确定所述特征矩阵中的每一特征元素子段，在所述权重矩阵中对应的权重元素子段，并将具有对应关系的特征元素子段和权重元素子段作为一组关联子段对；根据每组关联子段对中的特征元素子段和权重元素子段的量化处理结果，确定所述目标量化网络层的输出特征。4.根据权利要求3所述的方法，其中，所述每组关联子段对中包含的特征元素子段和权重元素子段的数量比值，与划分所述权重矩阵和所述特征矩阵的分段系数的比值相同。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述根据量化处理结果，确定所述目标量化网络层的输出特征，包括：通过图形处理器GPU的张量核Tensor Core计算单元，根据量化处理结果，确定所述目标量化网络层的输出特征。6.根据权利要求1
‑
5中任一项所述的方法，其中，所述特征矩阵是语音片段经特征提取层处理后得到的语音特征；所述输出特征用于对所述语音片段进行语义识别处理。7.根据权利要求1
‑
6中任一项所述的方法，还包括：确定原始模型的可选量化策略；其中，所述可选量化策略包括：可选量化网络层、所述可选量化网络层的可选分段系数和可选量化比特数；获取所述原始模型基于所述可选量化策略执行数据处理，得到的所述可选量化策略的量化贡献信息；根据所述量化贡献信息，从所述可选量化策略中确定目标量化策略，以得到所述目标量化网络层、所述目标量化网络层的目标分段系数和目标量化比特数。8.根据权利要求7所述的方法，其中，所述根据所述量化贡献信息，从可选量化策略中
确定目标量化策略，包括：根据所述可选量化策略对应的量化贡献信息，从所述可选量化策略中确定新增选定量化策略；确定所述新增选定策略和历史选定量化策略的总压缩体积；在所述总压缩体积达到量化要求的情况下，将所述新增选定量化策略和所述历史选定量化策略作为目标量化策略。9.根据权利要求8所述的方法，其中，所述量化贡献信息包括模型精度信息和压缩体积信息；所述根据所述可选量化策略对应的量化贡献信息，从所述可选量化策略中确定新增选定量化策略，包括：根据所述可选量化策略对应的所述模型精度信息和压缩体积信息，对所述可选量化策略进行排序；根据排序结果和所述可选量化策略对应的压缩体积信息，从所述可选量化策略中确定新增选定量化策略。10.根据权利要求8或9所述的方法，还包括：在所述总压缩体积未达到量化要求的情况下，基于所述新增选定量化策略对所述原始模型进行初步量化，并训练初步量化后的原始模型，得到初步量化模型；将所述新增选定量化策略添加到所述历史选定量化策略；将所述可选量化策略中除所述新增选定量化策略之外的其他可选量化策略作为新的可选量化策略，并将所述初步量化模型作为所述原始模型，返回执行获取所述原始模型基于所述可选量化策略执行数据处理，得到的所述可选量化策略的量化贡献信息的操作。11.一种数据处理装置，包括：矩阵获取模块，用于获取目标量化网络层输入的特征矩阵和所述目标量化网络层的权重矩阵；其中，所述特征矩阵的列数等于所述权重矩阵的行数；矩阵分段模块，用于根据所述目标量化网络层的目标分段系数，将所述特征矩阵的每一行特征元素划分为至少两个特征元素子段，以及将所述权重矩阵的每一列权重元素划分为至少两个权重元素子段；量化...

【专利技术属性】
技术研发人员：王桂彬，丛士钧，贾铭，贾磊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：