基于模型构建的目标文件生成方法、服务器及存储介质技术

本发明专利技术公开了一种基于模型构建的目标文件生成方法，应用于服务器，该方法包括解析目标文件生成请求，从数据库中找到对应的第一数据表，分别抽取具有相同预设身份标识的第一数据存储至第二数据表，监测第一数据的抽取过程并编译生成对应的第一部署文件，对第二数据表中的每个第一数据进行预处理得到对应的第二数据，监测第一数据的预处理过程并编译生成对应的第二部署文件，根据预设语言标识、预设部署方式，将第一部署文件及第二部署文件整合，并翻译生成最终部署文件，进而完成数据预处理过程的构建。本发明专利技术能够适应不同类型的模型构建平台，快速地完成数据预处理目标文件的生成。

Target file generation method, server and storage medium based on Model Construction

【技术实现步骤摘要】
基于模型构建的目标文件生成方法、服务器及存储介质
本专利技术涉及数据处理
，尤其涉及一种基于模型构建的目标文件生成方法、服务器及存储介质。
技术介绍
模型上线，也称模型部署，指的是将训练好的模型持久化，然后运行服务器加载训练好的模型，把训练好的机器学习的模型部署到生产环境中，并提供REST或其它形式的服务接口。当在某个模型构建平台(例如Scikt-Learn、Spark、Tensorflow、MXnet、PyTorch等)上完成构建模型(例如资格评估系统)的所有数据处理，并训练出一个有效的模型后，需要将该模型脱离模型构建平台，到特定的生产环境中运行，例如JAVA或者HADOOP(HADOOP是一种分布式系统基础架构，包括了HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算)等生产环境，即完成模型上线。由于不同类型的模型构建平台的语言环境不同，使得每当出现一个新的模型构建平台需要构建一个同一个的模型时，需要重新在技术人员的指导下完成对模型构建的数据处理过程。在技术人员完成本文档来自技高网...

【技术保护点】
1.一种基于模型构建的目标文件生成方法，应用于服务器，其特征在于，该方法包括：/n数据获取步骤：接收客户端发出的目标文件生成请求，解析所述目标文件生成请求得到待生成目标文件的预设抽取路径、预设身份标识、预设语言标识及预设部署方式；/n数据抽取步骤：基于所述预设抽取路径从数据库中找到对应的至少一个第一数据表，并从所述至少一个第一数据表中分别抽取具有相同预设身份标识的第一数据，将所述抽取到的至少一个第一数据存储至第二数据表；/n第一编译步骤：监测所述第一数据的抽取过程，同时调用预设的编译器编译生成所述抽取过程对应的第一部署文件；/n预处理步骤：对存储于所述第二数据表中的每个第一数据进行预处理得到对...

【技术特征摘要】
1.一种基于模型构建的目标文件生成方法，应用于服务器，其特征在于，该方法包括：
数据获取步骤：接收客户端发出的目标文件生成请求，解析所述目标文件生成请求得到待生成目标文件的预设抽取路径、预设身份标识、预设语言标识及预设部署方式；
数据抽取步骤：基于所述预设抽取路径从数据库中找到对应的至少一个第一数据表，并从所述至少一个第一数据表中分别抽取具有相同预设身份标识的第一数据，将所述抽取到的至少一个第一数据存储至第二数据表；
第一编译步骤：监测所述第一数据的抽取过程，同时调用预设的编译器编译生成所述抽取过程对应的第一部署文件；
预处理步骤：对存储于所述第二数据表中的每个第一数据进行预处理得到对应的第二数据；
第二编译步骤：监测所述第一数据的预处理过程，同时调用所述编译器编译生成所述预处理过程对应的第二部署文件；及
生成步骤：将所述第二数据表、第一部署文件及第二部署文件整合生成最终部署文件，将所述最终部署文件利用预设翻译器翻译成与所述预设语言标识对应的目标文件，根据所述预设部署方式调取目标文件在所述客户端上进行部署，进而完成模型构建。


2.如权利要求1所述的基于模型构建的目标文件生成方法，其特征在于，所述对存储于所述第二数据表中的每个第一数据进行预处理得到对应的第二数据包括：
对所述第一数据进行数据清洗处理及数据转换处理。


3.如权利要求2所述的基于模型构建的目标文件生成方法，其特征在于，所述数据清洗处理包括但不限于缺失值填充、噪声光华、无用属性删除、逻辑错误检查、数据标准化、数据规范化、数据离散化、等频分箱、等宽分箱、卡方分箱、数据归一化、哑编码、标准化、内插法异常值修正、数据正态化、对数变换、混合运算、算法规则提取，以上数据清洗处理采用的方式可以是单一操作也可以是组合操作：
其中，所述缺失值填充的实现过程包括：
对所述第一数据进行分析，利用逐行扫描方式找出并标记所述第一数据中的缺失值；及
利用拉格朗日插值法对所述第一数据中标记的缺失值进行修补填充得到所述第二数据。


4.如权利要求1所述的基于模型构建的目标文件生成方法，其特征在于，在所述数据抽取步骤之后，该方法还包括分类步骤：
预先在数据库中建立所述第一数据与预设标签之间的映射关系表，识别所述第一数据表中每个第一数据，分别从所述映射关系表中找出与每个第一数据对应的预设标签，将所述找出的预设标签设于所述第一数据表中与第一数据对应的预设位置上。


5.如权利要求1-4任一项所述的基于模型构建的目标文件生成方法，其特征在于，所述预设部署方式包括第一部署方式及第二部署方式：
当确定的所述预设部署方式为第一部署方式时，响应所述客户端的目标文件生成请求，将所述目标文件保存至与所述客户端对应的服务器的离线消息队列，当监测到所述客户端在线时，将所述离线消息队列中的所述目标文件在所述客户端上进行部署；或
当确定的所述...

【专利技术属性】
技术研发人员：柴磊，许靖，
申请(专利权)人：深圳市魔数智擎人工智能有限公司，
类型：发明
国别省市：广东;44