数据处理方法及其电子设备和介质技术

本申请涉及人工智能领域，涉及一种数据处理方法及其电子设备和介质，方法包括：获取对第一神经网络模型的模型参数进行量化的第一输入数据集；从第一输入数据集中筛选出满足第一条件的数据组成第二输入数据集；基于调节系数对第二输入数据集中的数据进行调整得到第三输入数据集；使用第三输入数据集对第一神经网络模型的模型参数进行量化，得到第二神经网络模型。确定出的第三输入数据集的数据量小于第一输入数据集的数据量，但第三输入数据集的种类能够尽可能多地覆盖第一输入数据集的种类，使得对神经网络模型进行量化所消耗的时间较少，且保持了通过量化后的神经网络模型的精度。度。度。

【技术实现步骤摘要】
数据处理方法及其电子设备和介质


[0001]本申请涉及人工智能领域，特别涉及一种数据处理方法及其电子设备和介质。

技术介绍

[0002]在人工智能领域中，对于训练完成的神经网络模型来说，需要对神经网络模型进行量化后才能部署运行。如图1所示，这里的量化是指确定神经网络模型100的各数据处理层的模型参数，也就是，调整训练完成的神经网络模型的权值，激活值等等模型参数的数值范围，节省神经网络模型的存储空间，例如：将神经网络模型的模型参数从高精度(原始的数值范围)转化成低精度(量化后的数值范围)。
[0003]通常会使用较大的输入数据(验证数据集)对训练完成的神经网络模型进行量化以确保量化后的神经网络模型的精度，但是较大的验证数据集也会增加对神经网络模型进行量化的耗时。例如：较大的数据集中，许多样本数据的特征之间存在相关性，增加了量化的复杂性。因此，需要找到一种减少量化的耗时，又能够尽量保持量化的精度的方法。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种数据处理方法、介质和电子设备。
[0005]本申请的第一方面提供了一种数据处理方法，包括：
[0006]获取对第一神经网络模型的模型参数进行量化的第一输入数据集；
[0007]从第一输入数据集中筛选出满足第一条件的数据组成第二输入数据集，其中，第一条件包括：第二输入数据集中的各数据，与第一输入数据集中的多个数据之间的数据相关性小于第一相关性阈值；
[0008]基于调节系数对第二输入数据集中的数据进行调整得到第三输入数据集，其中，调节系数是第一输入数据集中的数据，并且调节系数与第二输入数据集中的数据的相关性满足第二条件；
[0009]使用第三输入数据集对第一神经网络模型的模型参数进行量化，得到第二神经网络模型。
[0010]在本申请中，这里的第一神经网络模型可以是训练完成的但尚未量化完成的神经网络模型。第一输入数据集可以是验证数据集，也就是，服务器用于对训练完成的神经网络模型进行量化时使用的输入数据。第二输入数据集可以是验证数据集，可以是用于对训练后的神经网络模型的模型参数进行量化的验证数据。这里的校准数据集中的校准数据的数据总量小于验证数据集中的验证数据的数据总量，且每一个校准数据与所有的验证数据之间的相关性小于第一相关性阈值。相关性小于第一相关性阈值表示筛选出的校准数据与验证数据之间的相关性越小，校准数据集能够表示的事物(例如：图像中的物体)的种类越多，校准数据集越具有泛性，实现从验证数据到校准数据的分类。这里的第三输入数据集可以是叠加了验证数据集中的调节系数的特征的校准数据集。调节系数可以是与校准数据集中的校准数据之间的相关性满足第二相关性阈值的验证数据，表示调节系数与校准数据属于
同一个种类。这里的第二神经网络模型可以是量化完成的神经网络模型。
[0011]可以看出，尽管确定出的校准数据集的数据量小于验证数据集的数据量，但校准数据集中校准数据的种类能够尽可能多地覆盖验证数据集中验证数据的种类，使得通过校准数据集对神经网络模型进行量化所消耗的时间较少，同时，将验证数据集中与校准数据之间的相关的验证数据对应的特征叠加至校准数据集中的校准数据后，使得校准数据能够包括更多相同种类的验证数据的特征，即，能够包括更多的未加入校准数据集中的验证数据的特征，使得校准数据集包括的特征能够更加接近验证数据集，保持了通过使用校准数据集量化后的神经网络模型的精度。
[0012]在上述第一方面的一种可能的实现中，第二输入数据集中的数据不相同。
[0013]在本申请中，第二输入数据集中的数据不重复。
[0014]在上述第一方面的一种可能的实现中，第二条件包括：
[0015]调节系数与第二输入数据集中的各数据之间的数据相关性的最大值大于第二相关性阈值，其中，调节系数与第二输入数据集中的各数据不相同。
[0016]在本申请中，调节系数可以是验证数据集中与校准数据集中的校准数据之间的相关性满足第二相关性阈值的一个验证数据，表示调节系数与校准数据属于同一个种类。
[0017]在上述第一方面的一种可能的实现中，第一输入数据集和第二输入数据集中的数据包括以下类型中的至少一种：图像特征向量；语音特征向量；文字特征向量。
[0018]在本申请中，用于对第一神经网络模型进行量化的输入数据可以是图像数据，语音数据或者文字数据。
[0019]在上述第一方面的一种可能的实现中，调节系数组成调节系数向量，方法还包括：通过计算调节系数向量与第二输入数据集中的各数据之间的欧氏距离或者余弦相似度，得到调节系数与第二输入数据集中的各数据之间的相关性数值。
[0020]在上述第一方面的一种可能的实现中，调节系数组成调节系数向量；并且基于调节系数向量通过以下特征向量运算方法中的至少一种确定第三输入数据集：向量相加、向量相乘、向量转置。
[0021]在本申请中，调节系数和校准数据之间的相关性可以通过向量之间的相关性计算方法确定。
[0022]在上述第一方面的一种可能的实现中，第三输入数据集中的各数据包括部分或者全部调节系数向量。
[0023]在本申请中，可以将调节系数对应的特征与相关性的最大值的校准数据对应的特征进行部分或者全部叠加(确定叠加比例)。
[0024]在上述第一方面的一种可能的实现中，第一神经网络模型或者第二神经网络模型用于实现下列中的至少一种功能：图像识别、文字识别和语音识别。
[0025]在本申请中，第一神经网络模型和第二神经网络模型可以是用于图像识别、语音识别或者文字识别的神经网络模型。
[0026]本申请的第二方面提供了一种可读介质，可读介质中包含有指令，当指令被电子设备的处理器执行时使电子设备实现前述第一方面提供的数据的处理方法。
[0027]本申请的第三方面提供了一种电子设备，包括：
[0028]存储器，用于存储由电子设备的一个或多个处理器执行的指令；
[0029]以及处理器，是电子设备的处理器之一，用于运行指令以使电子设备实现前述第一方面提供的数据的处理方法。
附图说明
[0030]图1所示为本申请实施例提供的对神经网络模型进行量化的示意图；
[0031]图2所示为本申请实施例提供的一种用户使用量化后的神经网络模型的应用场景图；
[0032]图3为本申请实施例示出的一种用于量化已经训练完成的神经网络模型的服务器3的架构图；
[0033]图4为本申请实施例示出的一种使用已经量化的神经网络模型的终端设备2的架构图；
[0034]图5a和图5b所示为本申请实施例提供的一种数据的处理方法的流程示意图；
[0035]图6所示为本申请实施例提供的一种数据的处理方法的示意图；
[0036]图7所示为本申请实施例提供的一种数据的处理方法的流程示意图。
具体实施方式
[0037]本申请的实施例包括但不限于一种电子设备及其数据的处理方法和介质、介本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取对第一神经网络模型的模型参数进行量化的第一输入数据集；从所述第一输入数据集中筛选出满足第一条件的数据组成第二输入数据集，其中，所述第一条件包括：所述第二输入数据集中的各数据，与所述第一输入数据集中的多个数据之间的数据相关性小于第一相关性阈值；基于调节系数对第二输入数据集中的数据进行调整得到第三输入数据集，其中，所述调节系数是所述第一输入数据集中的数据，并且所述调节系数与所述第二输入数据集中的数据的相关性满足第二条件；使用所述第三输入数据集对所述第一神经网络模型的模型参数进行量化，得到第二神经网络模型。2.根据权利要求1所述的数据处理方法，其特征在于，所述第二输入数据集中的数据不相同。3.根据权利要求2所述的数据处理方法，其特征在于，所述第二条件包括：所述调节系数与所述第二输入数据集中的各数据之间的数据相关性的最大值大于第二相关性阈值，其中，所述调节系数与所述第二输入数据集中的各数据不相同。4.根据权利要求3所述的数据处理方法，其特征在于，所述第一输入数据集和所述第二输入数据集中的数据包括以下类型中的至少一种：图像特征向量；语音特征向量；文字特征向量。5.根据权利要求4所述的数据...

【专利技术属性】
技术研发人员：许礼武，余宗桥，黄敦博，
申请(专利权)人：安谋科技中国有限公司，
类型：发明
国别省市：