机器学习模型与自定义算子的模板化部署方法技术

本发明专利技术涉及机器学习模型与自定义算子的模板化部署方法，包括：包括：A.根据机器学习模型的预测过程设置通用模板；B.将用户输入的框架名称和机器学习模型的模型名称在配置文件中进行匹配，用配置文件中的相应字段替换通用模板中的替代符；C.根据通用模板生成可执行文件；D.在服务器中以容器的形式运行通用模板和用户上传的机器学习模型，将实例化后的机器学习模型加入到服务序列中；E.用户进行HTTP请求时，根据用户输入的模型ID或自定义算子ID在服务序列中查找机器学习模型实例，并调用模型实例中的预测方法计算后返回结果。本发明专利技术能够大幅度缩短机器学习模型的部署时间，显著的降低了在部署环节中的人员开发成本和时间成本。

【技术实现步骤摘要】
机器学习模型与自定义算子的模板化部署方法
本专利技术涉及机器学习模型与自定义算子的部署方法，具体讲是机器学习模型与自定义算子的模板化部署方法。
技术介绍
近年来，机器学习技术的应用十分广泛，多个行业的技术也因此发生了变革，如金融风控技术、图像识别技术、自动驾驶技术等。机器学习技术应用主要分为两个步骤：(1)训练模型：通过算法拟合数据，持久化一个可复用的模型；(2)部署模型：将模型部署为API(应用程序接口)供其他应用系统调用。前者主要被学术界深入研究，而后者在工业生产应用中是一个比较重要且复杂的环节。它的主要挑战在于常用的技术框架繁多，如：Sklearn、H2O、pyspark、TensorFlow、Keras、Pytorch等，每个框架生成的模型都需要使用一套完全不同的环境依赖和方法来部署调用，并且多数应用不仅会用到模型，还会使用算子(自定义代码)对输入数据进行大量的转化处理，这对模型部署的复杂逻辑处理能力要求较高。上述问题为模型的部署带来了过多的开发工作，大量增加了时间和人力成本。在现有技术中实现对机器学习模型部署的方法有：本文档来自技高网...

【技术保护点】
1.机器学习模型与自定义算子的模板化部署方法，其特征包括：/nA.根据机器学习模型的预测过程，通过服务器的处理器在存储介质中设置具有5个步骤的供不同框架模型实例化时调用的通用模板，在通用模板中具有实现所述5个步骤的通用代码和不通用部分，并将所述的不通用部分以替代符的形式替代；/nB.所述处理器提取出用户通过输入设备输入的框架名称和上传的机器学习模型中的模型名称，并将所述的框架名称和模型名称在配置文件中进行匹配，如果配置文件中有对应的框架名称和模型名称，则提取出配置文件中对应的框架和机器学习模型中的相应字段对应替换通用模板中的替代符；/nC.处理器根据替换了替代符的通用模板生成可执行文件并保存在...

【技术特征摘要】
1.机器学习模型与自定义算子的模板化部署方法，其特征包括：
A.根据机器学习模型的预测过程，通过服务器的处理器在存储介质中设置具有5个步骤的供不同框架模型实例化时调用的通用模板，在通用模板中具有实现所述5个步骤的通用代码和不通用部分，并将所述的不通用部分以替代符的形式替代；
B.所述处理器提取出用户通过输入设备输入的框架名称和上传的机器学习模型中的模型名称，并将所述的框架名称和模型名称在配置文件中进行匹配，如果配置文件中有对应的框架名称和模型名称，则提取出配置文件中对应的框架和机器学习模型中的相应字段对应替换通用模板中的替代符；
C.处理器根据替换了替代符的通用模板生成可执行文件并保存在服务器内存中；
D.在服务器中以容器的形式运行通用模板和用户上传的机器学习模型，以用户输入的模型ID和用户请求当前模型的自定义算子ID作为唯一区分键，然后将实例化后的机器学习模型加入到供用户调用的服务序列中；
E.当服务器接收到用户的HTTP请求时，根据用户输入的模型ID或自定义算子ID在所述服务序列中查找对应的机器学习模型实例，并调用查找到的机器学习模型实例中的预测方法计算后返回结果。


2.如权利要求1所述的机器学习模型与自定义算子的模板化部署方法，其特征为：步骤A中所述的5个步骤分别是与机器学习模型的预测过程对应的输入检测、模型载入、数据转化、预测结果和卸载模型。


3.如权利要求1所述的机器学习模型与自定义算子的模板化部署方法，其特征为：步骤B中，如果配置文件中没有对应的框架名称和模型名称，则由用户补充相应的配置文件后再执行步骤B。


4.如...

【专利技术属性】
技术研发人员：何思佑，
申请(专利权)人：四川新网银行股份有限公司，
类型：发明
国别省市：四川;51