量化的方法、装置、设备及可读存储介质制造方法及图纸

本申请公开了一种量化的方法、装置、设备及可读存储介质，该方法包括：确定所述第一通信设备的第一模块的量化策略、量化等级和/或量化配置参数，所述第一模块为AI模块；根据所述量化策略、量化等级和/或量化配置参数，对所述第一模块的参数进行量化处理。在本申请实施例中，通过量化策略、量化等级和/或量化配置参数对AI模块进行量化处理，从而可以降低AI模块的复杂度，提升系统性能。提升系统性能。提升系统性能。

【技术实现步骤摘要】
量化的方法、装置、设备及可读存储介质


[0001]本申请属于通信
，具体涉及一种人工智能(Artificial Intelligence，AI)模块量化的方法、装置、设备及可读存储介质。

技术介绍

[0002]人工智能目前在各个领域获得了广泛的应用。在通信网络中，可以通过AI模块实现人工智能。然而，目前尚无对AI模块量化的流程，造成AI模块的复杂度提升。

技术实现思路

[0003]本申请实施例提供一种量化的方法、装置、设备及可读存储介质，解决如何降低AI模块的复杂度的问题。
[0004]第一方面，提供一种量化的方法，由第一通信设备执行，包括：
[0005]确定所述第一通信设备的第一模块的量化策略、量化等级和/或量化配置参数，所述第一模块为人工智能AI模块；
[0006]根据所述量化策略、量化等级和/或量化配置参数，对所述第一模块的参数进行量化处理。
[0007]第二方面，提供一种量化的装置，应用于第一通信设备，包括：
[0008]第一确定模块，用于确定所述第一通信设备的第一模块的量化策略、量化等级和/或量化配置参数，所述第一模块为AI模块；
[0009]量化模块，用于根据所述量化策略、量化等级和/或量化配置参数，对所述第一模块的参数进行量化处理。
[0010]第三方面，提供一种通信设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如第一方面所述的方法的步骤。
[0011]第四方面，提供一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0012]第五方面，提供一种程序产品，所述程序产品被存储在非易失的存储介质中，所述程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤。
[0013]第六方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0014]在本申请实施例中，通过量化策略、量化等级和/或量化配置参数对AI模块进行量化处理，从而可以降低AI模块的复杂度，提升系统性能。
附图说明
[0015]图1是本申请实施例可应用的一种无线通信系统的示意图；
[0016]图2是本申请实施例提供的量化的方法的流程图；
[0017]图3是本申请实施例提供的量化的装置的示意图；
[0018]图4为本申请实施例的终端的示意图；
[0019]图5为本申请实施例的网络侧设备的示意图。
具体实施方式
[0020]为了便于理解本申请实施例，下面先介绍以下技术点：人工智能。
[0021]人工智能目前在各个领域获得了广泛的应用。实现人工智能的AI模块有多种实现方式，例如神经网络、决策树、支持向量机、贝叶斯分类器等。
[0022]以神经网络为例，神经网络的参数通过优化算法进行优化。优化算法就是一种能够最小化或者最大化目标函数(有时候也叫损失函数)的一类算法。而目标函数往往是模型参数和数据的数学组合。例如给定数据X和其对应的标签Y，构建一个神经网络模型f(.)，有了模型后，根据输入x就可以得到预测输出f(x)，并且可以计算出预测值和真实值之间的差距(f(x)
‑
Y)，这个就是损失函数。目的是找到合适的W,b使上述的损失函数的值达到最小，损失值越小，则说明模型越接近于真实情况。
[0023]目前常见的优化算法，基本都是基于误差反向传播(error Back Propagation，BP)算法。BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。
[0024]常见的优化算法有梯度下降(Gradient Descent)、随机梯度下降(Stochastic Gradient Descent，SGD)、mini
‑
batch gradient descent(小批量梯度下降)、动量法(Momentum)、Nesterov(专利技术者的名字，具体为带动量的随机梯度下降)、自适应梯度下降(ADAptive GRADient descent，Adagrad)、自适应delta(ADAptive delta，Adadelta)、均方根误差降速(Root Mean Square prop，RMSprop)、自适应动量估计(Adaptive Moment Estimation，Adam)等。
[0025]这些优化算法在误差反向传播时，都是根据损失函数得到的误差/损失，对当前神经元求导数/偏导，加上学习速率、之前的梯度/导数/偏导等影响，得到梯度，将梯度传给上一层。
[0026]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述指定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、
“
第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
[0028]值得指出的是，本申请实施例所描述的技术不限于长期演进型(Long Term Evolution，LTE)/LTE的演进(LTE
‑
Advanced，LTE
‑
A)系统，还可用于其他无线通信系统，诸如码分多址(Code Division Multiple Access，CDMA)、时分多址(Time Division Multiple Access，TDMA)、频分多址(Frequency Division Multiple Access，FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)、单载波频分多址(Single
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种量化的方法，其特征在于，由第一通信设备执行，包括：确定所述第一通信设备的第一模块的量化策略、量化等级和/或量化配置参数，所述第一模块为人工智能AI模块；根据所述量化策略、量化等级和/或量化配置参数，对所述第一模块的参数进行量化处理。2.根据权利要求1所述的方法，其特征在于，所述量化策略包括以下一项或多项：直接量化法；均匀量化法；非均匀量化法；权值共享量化法；分组量化法；变换域量化法；参数编码量化法；乘积量化法。3.根据权利要求1所述的方法，其特征在于，所述根据所述量化策略、量化等级和/或量化配置参数，对所述第一模块的参数进行量化处理的步骤包括：在网络训练阶段，根据所述量化策略、量化等级和/或量化配置参数，对所述第一模块的参数进行量化处理。4.根据权利要求2所述的方法，其特征在于，所述分组量化法中的参数划分方式包括：随机划分方式；根据所述参数的标识确定所述参数所在的集合标识；聚类划分方式。5.根据权利要求4所述的方法，其特征在于，所述根据所述参数的标识确定所述参数所在的集合标识，包括：根据所述参数的标识，得到第一数值；根据所述第一数值，确定所述参数所在的集合标识；其中，根据所述第一数值，确定所述参数所在的集合标识包括以下一项或多项：将所述第一数值取整，得到所述参数所在的集合标识；从所述第一数值中取其中至少一位，组合为所述参数所在的集合标识；将所述第一数值除以预设值，将得到的余数作为所述参数所在的集合标识。6.根据权利要求1所述的方法，其特征在于，所述量化策略和/或量化配置参数根据以下一项或多项确定：终端上报；终端的能力；网络侧配置。7.根据权利要求2所述的方法，其特征在于，所述量化策略为直接量化法，所述根据所述量化策略、量化等级和/或量化配置参数，对所述第一模块的参数进行量化处理的步骤包括：根据所述第一模块的量化等级和/或量化配置参数，对所述第一模块的参数进行量化
处理。8.根据权利要求1所述的方法，其特征在于，所述量化等级根据以下一项或多项确定：所述第一模块的参数的相关信息；终端上报；终端的能力；网络侧配置；所述第一模块的输出精度要求；所述第一模块的性能要求。9.根据权利要求8所述的方法，其特征在于，所述第一模块的参数的相关信息包括：所述参数的大小；其中，所述参数越大，所述量化等级越高；或者，所述参数越大，所述量化等级越低。10.根据权利要求1所述的方法，其特征在于，所述量化等级越高，所述第一模块的参数量化的精确度越精确，或者，所述量化等级越低，所述第一模块的参数量化的精确度越粗糙。11.根据权利要求1所述的方法，其特征在于，所述第一模块的类型为神经网络；其中，所述神经网络中的不同层的神经元的量化等级相同；和/或，所述神经网络中的同一层的神经元的量化等级相同；和/或，所述神经网络中的乘性系数的量...

【专利技术属性】
技术研发人员：杨昂，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：