一种模型训练推理一致性的保障方法及系统技术方案

本发明专利技术公开了一种模型训练推理一致性的保障方法及系统。包括：S1，对产品数据进行训练，生成训练模型，生成记录所述训练模型的处理信息的第一配置文件；S2，将训练模型及所述第一配置文件合并为第二配置文件；S3，调取所述第二配置文件并读取所述第二配置文件中的所述处理信息；S4，根据所述处理信息对数据进行处理。采用本发明专利技术的型训练推理一致性的保障方法及系统通过在训练阶段同时生成并存储一个记录处理信息的一级配置文件，并与训练模型合并为二级配置文件，替代多个文件分别部署的方案，让深度学习模型相关的处理方法和模型形成整体，保障模型训练和部署的结果一致性，避免因反复手动修改模型的前处理给量产项目场景造成了负担和隐患。景造成了负担和隐患。景造成了负担和隐患。

【技术实现步骤摘要】
一种模型训练推理一致性的保障方法及系统


[0001]本专利技术涉及工厂质检中的深度学习领域，尤其涉及一种模型训练推理一致性的保障方法及系统。

技术介绍

[0002]目前，深度学习在工厂质检领域应用中，存在一个训练和推理之间的不一致问题。比如在Pytorch框架下，训练过程中，数据的前处理方法没有直接保存在深度学习模型的权重文件中(pt文件)，使得推理服务的前处理方法在服务器中的代码不得不固定或手动修改代码，当模型更换时如果对应的质检机器中的前处理代码没有做出相应的修改，会造成错误的推理结果，甚至推理失败，手动修改模型的前处理给很多量产项目场景造成了负担和隐患。
[0003]针对现有技术中所存在的问题，提供一种模型训练推理一致性的保障方法及系统具有重要意义。

技术实现思路

[0004]为解决上述问题，本专利技术提供一种模型训练推理一致性的保障方法及系统。
[0005]为实现上述目的，本专利技术的一种模型训练推理一致性的保障方法，所述方法具体包括以下步骤：S1对产品数据进行训练，生成训练模型，并同时生成记录所述训练模型的处理信息的第一配置文件；S2，将所述训练模型及所述第一配置文件合并为第二配置文件；S3，调取所述第二配置文件，并读取所述第二配置文件中的所述处理信息；S4，根据所述处理信息，对数据进行处理；
[0006]进一步地，所述处理信息包括处理方法及前后顺序信息，所述步骤S3具体为：S3，调取所述第二配置文件，并读取所述第二配置文件中的所述处理方法及所述前后顺序信息；
>[0007]进一步地，所述步骤S4具体包括以下子步骤：S4.1，对所述处理方法相对应的类进行实例化，生成实例化的对象；S4.2，对所述对象进行初始化；S4.3，根据所述前后顺序信息，将所述对象按照顺序放入列表中；S4.4，按照顺序对所述对象的数据进行处理；
[0008]进一步地，所述步骤S2具体为：S2，将所述训练模型及所述第一配置文件集中合并存储于一个pickle文件中，并将所述pickle文件作为第二配置文件；
[0009]进一步地，所述第一配置文件还存储有模型信息、模型处理的光学面图片信息、模型对应的权重文件路径、最大并行推理线程数、模型输出的置信度阈值和IOU阈值信息。
[0010]本专利技术还提供了一种模型训练推理一致性的保障系统，包括训练模块，配置信息模块，注册模块及推理模块；所述训练模块具体用于对产品数据进行训练，生成训练模型，并同时生成记录所述训练模型的处理信息作为第一配置文件存储至配置信息模块；所述配置信息模块具体用于存储所述第一配置文件，并将所述训练模型及所述第一配置文件合并为第二配置文件；所述注册模块具体用于调取所述第二配置文件，并读取所述第二配置文
件中的所述处理信息；所述推理模块具体用于根据所述处理信息，对数据进行处理；
[0011]进一步地，所述处理信息具体为处理方法及前后顺序信息；所述注册模块具体用于调取所述第二配置文件并读取所述第二配置文件中的所述处理方法及所述前后顺序信息；
[0012]进一步地，所述推理模块具体用于对所述处理方法相对应的类进行实例化，生成实例化的对象、对所述对象进行初始化、根据所述前后顺序信息，将所述对象按照顺序放入列表中并按照顺序对所述对象的数据进行处理；
[0013]进一步地，所述推理模块对所述对象的数据进行处理具体包括Resize处理、继承处理及Noramalize处理；
[0014]进一步地，所述第一配置文件具体还存储有模型信息、模型处理的光学面图片信息、模型对应的权重文件路径、最大并行推理线程数、模型输出的置信度阈值和IOU阈值信息。
[0015]本专利技术的一种模型训练推理一致性的保障方法及系统，通过在训练阶段同时生成并存储一个记录模型全部前后处理信息的一级配置文件，并将该一级配置文件和训练模型合并为一个二级配置文件，存储于一个pickle文件中，替代多个文件分别部署的方案，不仅能够为模型部署提供便利，还能够让深度学习模型相关的前后处理方法和模型形成整体，保障模型训练和部署后的结果一致性，为项目现场的工程师减少甚至取消代码调试的工作，有效避免了因反复手动修改模型的前处理给量产项目场景造成了负担和隐患。
附图说明
[0016]图1为本专利技术所述的一种模型训练推理一致性的保障方法的第一流程示意图；
[0017]图2为本专利技术所述的一种模型训练推理一致性的保障方法的第二流程示意图；
[0018]图3为本专利技术所述的一种模型训练推理一致性的保障系统的结构示意图。
具体实施方式
[0019]下面，结合附图，对本专利技术的结构以及工作原理等作进一步的说明。
[0020]如图1所示，图1为本专利技术所述的一种模型训练推理一致性的保障方法的第一流程示意图，所述方法具体包括以下步骤：
[0021]S1，对产品数据进行训练，生成训练模型，并同时生成记录所述训练模型的处理信息的第一配置文件；在本专利技术优选的实施例中，所述产品数据具体为产品的光学面图片，所述处理信息具体包括处理方法及前后顺序信息，所述第一配置文件还包含了推理服务的模型信息，每个模型要处理的光学面图片、每个模型对应的权重文件路径、每个模型在设备显卡上的分布以及在每张显卡上允许的最大并行推理线程数、筛选模型输出的置信度阈值和IOU阈值等信息；在训练阶段中，前后处理的定义信息(处理方法、前后顺序等信息)能够以字符串的方式保存在配置文件中，后续部署阶段直接根据此训练阶段配置的数据处理方法和顺序进行数据处理pipeline的自动化生成；
[0022]S2，将所述训练模型及所述第一配置文件合并为第二配置文件；在本专利技术优选的实施例中，具体为将所述训练模型及所述第一配置文件集中合并存储于一个pickle文件中，并将所述pickle文件作为第二配置文件，从而替代多个文件分别部署的方案，为模型部
署提供便利；
[0023]S3，调取所述第二配置文件，并读取所述第二配置文件中的所述处理信息；在本专利技术优选的事实例中，具体为服务端根据训练阶段输出的pickle文件中的所述第二配置文件，读取所述第二配置文件中的模型权重信息，处理方法和前后顺序信息。
[0024]S4，根据所述处理信息，对数据进行处理。
[0025]如图2所示，图2为本专利技术所述的一种模型训练推理一致性的保障方法的第二流程示意图，所述步骤S4具体包括如下子步骤：
[0026]S4.1，对所述处理方法相对应的类进行实例化，生成实例化的对象；
[0027]S4.2，对所述对象进行初始化；在本专利技术优选的实施例中，具体为根据训练阶段中配置的数据处理方法的类名和前后顺序信息和数据处理类需要的参数，自动地对前处理或后处理的数据处理方法按照配置列表中的先后信息进行顺序上的编排；在此过程中对数据处理方法对应的类进行实例化，并根据配置信息中配置的具体参数调用有参或无参构造方法进行对象的初始化；如生产环境的Normalize方法、Resize方法，以继承方式，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练推理一致性的保障方法，其特征在于，所述方法具体包括以下步骤：S1，对产品数据进行训练，生成训练模型，并同时生成记录所述训练模型的处理信息的第一配置文件；S2，将所述训练模型及所述第一配置文件合并为第二配置文件；S3，调取所述第二配置文件，并读取所述第二配置文件中的所述处理信息；S4，根据所述处理信息，对数据进行处理。2.如权利要求1所述的模型训练推理一致性的保障方法，其特征在于，所述处理信息包括处理方法及前后顺序信息，所述步骤S3具体为：S3，调取所述第二配置文件，并读取所述第二配置文件中的所述处理方法及所述前后顺序信息。3.如权利要求2所述的模型训练推理一致性的保障方法，其特征在于，所述步骤S4具体包括以下子步骤：S4.1，对所述处理方法相对应的类进行实例化，生成实例化的对象；S4.2，对所述对象进行初始化；S4.3，根据所述前后顺序信息，将所述对象按照顺序放入列表中；S4.4，按照顺序对所述对象的数据进行处理。4.如权利要求1所述的模型训练推理一致性的保障方法，其特征在于，所述步骤S2具体为：S2，将所述训练模型及所述第一配置文件集中合并存储于一个pickle文件中，并将所述pickle文件作为第二配置文件。5.如权利要求1所述的模型训练推理一致性的保障方法，其特征在于，所述第一配置文件还存储有模型信息、模型处理的光学面图片信息、模型对应的权重文件路径、最大并行推理线程数、模型输出的置信度阈值和IOU阈值信息。6.一种模型训练推理一致性的保...

【专利技术属性】
技术研发人员：戴猛，马元巍，潘正颐，侯大为，童竹勍，
申请(专利权)人：常州微亿智造科技有限公司，
类型：发明
国别省市：