一种PC端量化模型推理的方法技术

本发明专利技术提供一种PC端量化模型推理的方法，所述方法包括以下步骤：S1，加载输入信息；S2，反序列化模型；S3，算子计算；S4，保存数据，选择dump数据结果。PC端上量化模型推理用于简易推理模型，验证模型的结果，获取模型中推理的每一阶段网络层的数据，PC端推理用于矫正数据，辅助量化模型，推理float模型、后量化模型和训练量化模型，用于验证数据的正确性。本方法模型推理方便有效，有利于验证模型的数据，提供量化模型的数据信息。

【技术实现步骤摘要】

本专利技术属于数据处理，特别涉及一种pc端量化模型推理的方法。

技术介绍

1、当前人工智能领域的先进技术层出不穷，诸如计算机视觉、自然语言处理、影像生成、图像识别等先进技术日新月异。针对人工智能的发展，在深度学习领域，根据不同的需求搭建网络模型结构，训练最终获取模型后，为了减小模型大小，减少运行时间，量化模型成为一种很有效的方法，为了更好的量化模型、检测模型数据，搭建pc端的推理实现，用于获取模型数据、对比数据结果、验证模型的效果也成为了日益关注的焦点。

2、深度网络模型的推理需解析网络模型，反序列化模型节点信息，处理网络节点数据，获取网络结构的具体参数，实现具体网络算子的计算，循环整体网络结构，计算每层结构推理数据，获取最终模型目标数据。其中，protobuf反序列化是将在序列化过程中所生成的二进制字节流转成数据结构或者对象的过程。protobuf反序列化模型，解析模型数据信息，存储数据，算子实现。protobuf反序列化过程如下：

3、(1)调用消息类的parse from(input)解析从输入流读入的二进制字节数据流；...

【技术保护点】

1.一种PC端量化模型推理的方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种PC端量化模型推理的方法，其特征在于，所述步骤S2中，所述填入message物件是通过ParseFromCodedStream方法来解析输入流中的数据，并将其存储在message类型的实例中，其中message是proto一种数据结构包括node节点、名称、版本、value参数。

3.根据权利要求1所述的一种PC端量化模型推理的方法，其特征在于，所述步骤S2中，所述算子的输入信息包括输入形状，数据量，数据类型。

4.根据权利要求1所述的一种PC端量化模型推...

【技术特征摘要】

1.一种pc端量化模型推理的方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种pc端量化模型推理的方法，其特征在于，所述步骤s2中，所述填入message物件是通过parsefromcodedstream方法来解析输入流中的数据，并将其存储在message类型的实例中，其中message是proto一种数据结构包括node节点、名称、版本、value参数。

3.根据权利要求1所述的一种pc端量化模型推理的方法，其特征在于，所述步骤s2中，所述算子的输入信息包括输入形状，数据量，数据类型。

4.根据权利要求1所述的一种pc端量化模型推理的方法，其特征在于，所述步骤s2中，解析量化算子、保存算子信息，不同算子会根据算子情况保存下对应的信息，包括卷积算子用到激活类型、最大最小值、输入位宽、输出位宽、位移信息，权重信息、填充值...

【专利技术属性】
技术研发人员：王志强，
申请(专利权)人：合肥君正科技有限公司，
类型：发明
国别省市：