基于图神经网络模型的量化方法、任务处理方法及装置制造方法及图纸

本发明专利技术提供了基于图神经网络模型的量化方法、任务处理方法及装置，本申请实施例提供的方法通过利用硬件加速器的资源预算量对期望量化分配信息调整，并按照调整后的第一目标量化分配信息量化图神经网络模型和图数据。以此保证图神经网络模型和图数据在硬件加速器上运行的稳定性。后续利用硬件加速器反馈的准确度继续对第一目标量化分配信息进行优化，从而得到第二目标量化分配信息，最终通过第二目标量化分配信息对图神经网络模型和图数据进行量化压缩，一方面减少存储空间，另一方面，结合硬件加速器的并行计算和可编程特性，能够实现高效率、低功耗的计算，同时保证了图神经网络模型的精度。络模型的精度。络模型的精度。

【技术实现步骤摘要】
基于图神经网络模型的量化方法、任务处理方法及装置


[0001]本专利技术涉及数据处理领域，具体涉及一种基于图神经网络模型的量化方法、任务处理方法及装置。

技术介绍

[0002]现有技术中存在许多关于图神经网络模型（Graph Convolutional Networks，缩写：GNN）量化的工作，目前对GNN模型进行量化的方案主要存在以下问题：（1）对所有数据选择简单但激进的统一量化，以最小化内存和功耗成本，从而导致无法满足高精度需求。（2）选择非常保守的量化方案来保持准确性，导致占用较多存储空间。（3）忽略了不同的硬件架构，以统一的方式量化GNN模型，导致GNN模型无法在一些硬件架构上无法进行高效运算。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供了一种基于图神经网络模型的量化方法、任务处理方法及装置，以解决现有的量化方案无法满足高精度需求，占用存储空间较多等问题。
[0004]第一方面，本专利技术实施例提供了一种基于图神经网络模型的量化方法，应用于智能设备，所述方法包括：获取期望量化分配信息，所述期望量化分配信息包括：分别针对于原始图神经网络模型对应的第一期望量化数据以及原始图数据对应的第二期望量化数据；利用硬件加速器对应的资源预算量对所述期望量化分配信息进行调整，得到所述原始图神经网络模型以及原始图数据对应的第一目标量化分配信息；按照所述第一目标量化分配信息对所述原始图神经网络模型以及原始图数据进行量化操作，得到量化后的目标图神经网络模型以及目标图数据；将所述目标图神经网络模型以及所述目标图数据部署至硬件加速器，以使所述硬件加速器基于所述目标图神经网络模型以及所述目标图数据执行处理任务；获取所述硬件加速器反馈的所述处理任务对应的准确度，并根据所述准确度差值对所述第一目标量化分配信息进行优化，直至得到第二目标量化分配信息。
[0005]进一步的，在获取期望量化分配信息之前，所述方法还包括：获取当前指定的动作向量，其中，所述动作向量包括：所述原始图神经网络模型中各层权重对应的量化位宽和小数点位，所述原始图神经网络模型中各层输出特征对应的量化位宽和小数点位，所述原始图数据中节点特征对应的量化位宽和小数点位，以及节点邻接矩阵对应的量化位宽和小数点位；基于所述动作向量触发定点量化机制生效，其中，所述定点量化机制用于对所述原始图神经网络模型以及所述原始图数据进行定点量化。
[0006]进一步的，所述获取期望量化分配信息，包括：基于所述原始图神经网络模型中各层权重对应的量化位宽和小数点位，以及所述原始图神经网络模型中各层输出特征对应的量化位宽和小数点位，生成所述原始图神经网
络模型对应的第一期望量化数据；基于原始图数据中节点特征对应的量化位宽和小数点位，以及节点邻接矩阵对应的量化位宽和小数点位，生成所述原始图数据对应的第二期望量化数据；利用所述第一期望量化数据生成所述第二期望量化数据生成所述期望量化分配信息。
[0007]进一步的，所述利用硬件加速器对应的资源预算量对所述期望量化分配信息进行调整，得到所述原始图神经网络模型以及原始图数据对应的第一目标量化分配信息，包括：基于所述期望量化分配信息预测第一图神经网络模型处理第一图数据消耗的第一硬件资源量，其中，所述第一图神经网络模型是按照所述第一期望量化数据对所述原始图神经网络模型进行量化得到的，所述第一图数据是按照所述第二期望量化数据对所述原始图数据进行量化得到的；在所述第一硬件资源量低于所述资源预算量的情况下，利用所述第一期望量化数据和所述第二期望量化数据生成为所述第一目标量化分配信息。
[0008]进一步的，在所述第一硬件资源量超过所述资源预算量的情况下，所述方法还包括：对所述期望量化分配信息中的第一期望量化数据和所述第二期望量化数据进行优化，得到优化后的期望量化分配信息；基于优化后的期望量化分配信息预测第二图神经网络模型对应的第二硬件资源量，其中，所述第二图神经网络模型是优化后的期望量化分配信息对应的图神经网络模型；在所述第二硬件资源量低于所述资源预算量的情况下，将优化后的期望量化分配信息确定为所述第一目标量化分配信息。
[0009]进一步的，所述对所述期望量化分配信息进行优化，得到优化后的期望量化分配信息，包括：按照预设梯度减少所述第一期望量化数据中所述原始图神经网络模型中各层权重对应的量化位宽和小数点位以及输出特征对应的量化位宽和小数点位，得到优化后第一期望量化数据；按照预设梯度减少第二期望量化数据中节点特征对应的量化位宽和小数点位以及节点邻接矩阵对应的量化位宽和小数点位，得到优化后的第二期望量化数据；基于优化后第一期望量化数据以及优化后的第二期望数据得到所述优化后的期望量化分配信息。
[0010]进一步的，所述按照所述第一目标量化分配信息对所述原始图神经网络模型以及原始图数据进行量化操作，得到量化后的目标图神经网络模型以及目标图数据，包括：从所述第一目标量化分配信息中获取第一子量化数据，第二子量化数据，第三子量化数据以及第四子量化数据；利用所述第一子量化数据对所述原始图神经网络模型的权重进行定点量化，以及利用所述第二子量化数据对所述原始图神经网络模型的输出特征进行定点量化，得到所述目标图神经网络模型；利用所述第三子量化数据对所述原始图数据中的节点特征进行定点量化，以及利用所述第四子量化数据对所述原始图数据对应的邻接矩阵进行定点量化，得到所述目标图
数据。
[0011]进一步的，所述根据所述准确度差值对所述第一目标量化分配信息进行优化，直至得到第二目标量化分配信息，包括：获取预设准确度，并计算所述准确度与所述预设准确度之间的准确度差值；根据所述准确度差值对所述第一目标量化分配信息进行优化，直至得到第二目标量化分配信息。
[0012]第二方面，本专利技术实施例提供了一种基于图神经网络模型的任务处理方法，应用硬件加速器，所述方法包括：获取智能设备发送的目标图神经网络模型以及目标图数据，其中，所述目标图神经网络模型以及所述目标图数据是所述智能设备按照第一目标量化分配信息对所述原始图神经网络模型以及原始图数据进行量化操作得到的；利用所述目标图数据对所述目标图神经网络模型进行训练，得到训练后的目标图神经网络模型；利用训练后的目标图神经网络模型执行处理任务，得到所述处理任务对应的准确度；将所述准确度反馈至所述智能设备，以使所述智能设备根据所述准确度对所述第一目标量化分配信息进行优化。
[0013]进一步的，所述利用所述目标图数据对所述目标图神经网络模型进行训练，得到训练后的目标图神经网络模型，包括：对所述目标图数据进行采样，得到多个子图数据；从多个子图数据中选择N个子图数据作为目标子图数据，其中，N为大于1的整数；利用所述目标子图数据对所述目标图神经网络模型进行训练，得到训练后的目标图神经网络模型。
[0014]进一步的，所述对所述目标图数据进行采样，得到多个子图数据，包括：获取所述目标图数据对应的全图结构，并对所述全图结构进行划分，得到多个子图结构，其中，所述子图结构包括：多个训练节点和训练节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图神经网络模型的量化方法，其特征在于，应用于智能设备，所述方法包括：获取期望量化分配信息，所述期望量化分配信息包括：分别针对于原始图神经网络模型对应的第一期望量化数据以及原始图数据对应的第二期望量化数据；利用硬件加速器对应的资源预算量对所述期望量化分配信息进行调整，得到所述原始图神经网络模型以及原始图数据对应的第一目标量化分配信息；按照所述第一目标量化分配信息对所述原始图神经网络模型以及原始图数据进行量化操作，得到量化后的目标图神经网络模型以及目标图数据；将所述目标图神经网络模型以及所述目标图数据部署至硬件加速器，以使所述硬件加速器基于所述目标图神经网络模型以及所述目标图数据执行处理任务；获取所述硬件加速器反馈的所述处理任务对应的准确度，并根据所述准确度差值对所述第一目标量化分配信息进行优化，直至得到第二目标量化分配信息。2.根据权利要求1所述的方法，其特征在于，在获取期望量化分配信息之前，所述方法还包括：获取当前指定的动作向量，其中，所述动作向量包括：所述原始图神经网络模型中各层权重对应的量化位宽和小数点位，所述原始图神经网络模型中各层输出特征对应的量化位宽和小数点位，所述原始图数据中节点特征对应的量化位宽和小数点位，以及节点邻接矩阵对应的量化位宽和小数点位；基于所述动作向量触发定点量化机制生效，其中，所述定点量化机制用于对所述原始图神经网络模型以及所述原始图数据进行定点量化。3.根据权利要求2所述的方法，其特征在于，所述获取期望量化分配信息，包括：基于所述原始图神经网络模型中各层权重对应的量化位宽和小数点位，以及所述原始图神经网络模型中各层输出特征对应的量化位宽和小数点位，生成所述原始图神经网络模型对应的第一期望量化数据；基于原始图数据中节点特征对应的量化位宽和小数点位，以及节点邻接矩阵对应的量化位宽和小数点位，生成所述原始图数据对应的第二期望量化数据；利用所述第一期望量化数据生成所述第二期望量化数据生成所述期望量化分配信息。4.根据权利要求1所述的方法，其特征在于，所述利用硬件加速器对应的资源预算量对所述期望量化分配信息进行调整，得到所述原始图神经网络模型以及原始图数据对应的第一目标量化分配信息，包括：基于所述期望量化分配信息预测第一图神经网络模型处理第一图数据所需的第一硬件资源量，其中，所述第一图神经网络模型是所述第一期望量化数据对应的图神经网络模型，所述第一图数据是第二期望量化数据对应的图数据；在所述第一硬件资源量低于所述资源预算量的情况下，利用所述第一期望量化数据和所述第二期望量化数据生成为所述第一目标量化分配信息。5.根据权利要求4所述的方法，其特征在于，在所述第一硬件资源量超过所述资源预算量的情况下，所述方法还包括：对所述期望量化分配信息中的第一期望量化数据和所述第二期望量化数据进行优化，得到优化后的期望量化分配信息；
基于优化后的期望量化分配信息预测第二图神经网络模型对应的第二硬件资源量，其中，所述第二图神经网络模型是优化后的期望量化分配信息对应的图神经网络模型；在所述第二硬件资源量低于所述资源预算量的情况下，将优化后的期望量化分配信息确定为所述第一目标量化分配信息。6.根据权利要求5所述的方法，其特征在于，所述对所述期望量化分配信息中的第一期望量化数据和所述第二期望量化数据进行优化，得到优化后的期望量化分配信息，包括：按照预设梯度减少所述第一期望量化数据中权重对应的量化位宽和小数点位以及输出特征对应的量化位宽和小数点位，得到优化后第一期望量化数据；按照预设梯度减少第二期望量化数据中节点特征对应的量化位宽和小数点位以及节点邻接矩阵对应的量化位宽和小数点位，得到优化后的第二期望量化数据；基于优化后第一期望量化数据以及优化后的第二期望数据得到所述优化后的期望量化分配信息。7.根据权利要求1所述的方法，其特征在于，所述按照所述第一目标量化分配信息对所述原始图神经网络模型以及原始图数据进行量化操作，得到量化后的目标图神经网络模型以及目标图数据，包括：从所述第一目标量化分配信息中获取第一子量化数据，第二子量化数据，第三子量化数据以及第四子量化数据；利用所述第一子量化数据对所述原始图神经网络模型中各层权重进行定点量化，以及利用所述第二子量化数据对所述原始图神经网络模型中各层输出特征进行定点量化，得到所述目标图神经网络模型；利用所述第三子量化数据对所述原始图数据中的节点特征进行定点量化，以及利用所述第四子量化数据对所述原始图数据对应的邻接矩阵进行定点量化，得到所述目标图数据。8.根据权利要求1所述的方法，其特征在于，所述根据所述准确度差值对所述第一目标量化分配信息进行优化，直至得到第二目标量化分配信息，包括：获取预设准确度，并计算所述准确度与所述预设准确度之间的准确度差值；根据所述准确度差值对所述第一目标量化分配信息进行优化，直至得到第二目标量化分配信息。9.一种基于图神经网络模型的任务处理方法，其特征在于，应用硬件加速器，所述方法包括：获取智能设备发送的目标图神经网络模型以及目标图数据，其中，所述目标图神经网络模型以及所述目标图数据是所述智能设备按照第一目标量化分配信息对原始图神经网络模型以及原始图数据进行量化操作得到的；利用所述目标图数...

【专利技术属性】
技术研发人员：曹其春，董刚，胡克坤，王斌强，杨宏斌，晁银银，尹文枫，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：