模型的智能迭代部署方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及一种模型的智能迭代部署方法、装置、计算机设备及存储介质，其中该方法包括：利用MaxCompute对训练数据进行回溯及提取，并返回模型训练所需要的最新数据；对最新数据进行清洗和处理，待清洗处理完成后启动模型训练将清洗后的数据文件发往各个待命的容器训练节点；容器训练节点接收到数据文件后开始并行执行训练；数据库返回每个模型需要的参数信息及等级阀值数据，并通过智能择优模型对模型进行综合评估，选出综合表现最优的模型文件发往控制中心服务器。本发明专利技术极大地缩短了传统模型更新周期，保证了每次部署的模型是由最新数据训练得到，并且是在多次训练的模型中选取效果最优的一个。

【技术实现步骤摘要】
模型的智能迭代部署方法、装置、计算机设备及存储介质
本专利技术涉及计算机应用
，特别是涉及一种模型的智能迭代部署方法、装置、计算机设备及存储介质。
技术介绍
随着大数据时代的来临，各行业对数据分析需求的持续增加，通过机器学习高效地对数据进行分析处理，已逐渐成为当今机器学习技术发展的主要推动力。而在整个机器学习过程中，通常需要对机器学习模型进行反复迭代及部署，以达到最优的机器学习效果。在传统技术中，现有的模型迭代的迭代周期较长，无法实现对机器学习模型进行及时更新和修正。其次，现有模型迭代和部署流程比较固定，无法实现迁徙或者复用到其他机器学习项目。除此以外，现有模型迭代和部署流程比较繁琐，整个过程需要大量人工参与调试和监控，导致模型的迭代部署效率低，浪费了不必要的人力成本。
技术实现思路
基于此，有必要针对上述技术问题，提供一种可以实现在无人工参与的情况下自动从云端拉取数据进行模型训练，并通过智能评估挑选最优模型进行自动部署的模型的智能迭代部署方法、装置、计算机设备及存储介质。一种模型的智能迭代部署方法，所述方法包括：控制中心服务器获取通过定时任务发送的模型训练部署请求；利用MaxCompute对训练数据进行回溯及提取，并返回模型训练所需要的最新数据；对所述最新数据进行清洗和处理，待清洗处理完成后启动模型训练将清洗后的数据文件发往各个待命的容器训练节点；容器训练节点接收到数据文件后开始并行执行训练，将训练产生的模型文件、参数信息、最优模型文件、模型择优计算结果及故障日志存入数据库中；数据库返回每个模型需要的参数信息及等级阀值数据，并通过智能择优模型对模型进行综合评估，选出综合表现最优的模型文件发往控制中心服务器；控制中心服务器接收到所述最优模型文件和等级阀值数据后，将所述最优模型文件和等级阀值数据发往模型部署端等待拉取；判断所述最优模型的效果是否小于或等于当前模型的效果，若是则不执行更新，否则正常执行更新。在其中一个实施例中，在所述控制中心服务器获取通过定时任务发送的模型训练部署请求的步骤之前还包括：在预设的时间段触发定时任务，向控制中心服务器发送模型训练部署请求。在其中一个实施例中，所述利用MaxCompute对训练数据进行回溯及提取，并返回模型训练所需要的最新数据的步骤还包括：MaxCompute根据所述模型训练部署请求中的任务流程依次执行任务；所述控制中心服务器定时查看MaxCompute数据回溯及数据提取情况；当MaxCompute执行任务结束后，返回模型训练需要的最新数据。在其中一个实施例中，所述对所述最新数据进行清洗和处理的步骤还包括：对训练所需要的最新数据进行清洗和处理，包括缺失值处理、异常值处理、数据分箱处理、数据归一化处理、数据去噪处理及数据增强处理。在其中一个实施例中，所述通过智能择优模型对模型进行综合评估，选出综合表现最优的模型文件发往控制中心服务器的步骤还包括：通过计算评估每个模型的效果，包括计算模型预测通过率、误杀率以及是否过拟合，选取综合表现最优的模型文件；定期检查有无新的最优的模型文件生成，若有则将所述最优的模型文件发往控制中心服务器。一种模型的智能迭代部署装置，所述装置包括：请求获取模块，所述请求获取模块用于控制中心服务器获取通过定时任务发送的模型训练部署请求；回溯提取模块，所述回溯提取模块用于利用MaxCompute对训练数据进行回溯及提取，并返回模型训练所需要的最新数据；清洗处理模块，所述清洗处理模块用于对所述最新数据进行清洗和处理，待清洗处理完成后启动模型训练将清洗后的数据文件发往各个待命的容器训练节点；模型训练模块，所述模型训练模块用于容器训练节点接收到数据文件后开始并行执行训练，将训练产生的模型文件、参数信息、最优模型文件、模型择优计算结果及故障日志存入数据库中；模型评估模块，所述模型评估模块用于数据库返回每个模型需要的参数信息及等级阀值数据，并通过智能择优模型对模型进行综合评估，选出综合表现最优的模型文件发往控制中心服务器；模型推送模块，所述模型推送模块用于控制中心服务器接收到所述最优模型文件和等级阀值数据后，将所述最优模型文件和等级阀值数据发往模型部署端等待拉取；更新判断模块，所述更新判断模块用于判断所述最优模型的效果是否小于或等于当前模型的效果，若是则不执行更新，否则正常执行更新。在其中一个实施例中，所述装置还包括请求发送模块，所述请求发送模块用于：在预设的时间段触发定时任务，向控制中心服务器发送模型训练部署请求。在其中一个实施例中，所述回溯提取模块还用于：MaxCompute根据所述模型训练部署请求中的任务流程依次执行任务；所述控制中心服务器定时查看MaxCompute数据回溯及数据提取情况；当MaxCompute执行任务结束后，返回模型训练需要的最新数据。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项方法的步骤。上述模型的智能迭代部署方法、装置、计算机设备及存储介质实现了在无人工参与的情况下，可以每天自动从云端拉取数据，根据模型训练的需要，自动清洗、预处理数据，之后在分布式容器环境中并行训练模型，最后智能评估、挑选最优模型并自动部署。本专利技术极大地缩短了传统模型更新周期，保证了每次部署的模型是由最新数据训练得到，并且是在多次训练的模型中选取效果最优的一个。此外，本专利技术使得模型迭代和部署可以在脱离人工干预的情况下实现自动化和智能化运行，并且该装置可以复用于到其他机器学习模型项目，中间的环节也可以灵活配置。附图说明图1为本专利技术中模型的智能迭代部署方法的应用环境图；图2为一个实施例中模型的智能迭代部署方法的流程示意图；图3为另一个实施例中模型的智能迭代部署方法的流程示意图；图4为再一个实施例中模型的智能迭代部署方法的流程示意图；图5为一个实施例中模型的智能迭代部署装置的结构框图；图6为另一个实施例中模型的智能迭代部署装置的结构框图；图7为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本专利技术提供一种模型的智能迭代部署方法，该方法可以应用于如图1所示的应用环境中，该专利技术实现了在无人工参与的情况下，可以每天自动从云端拉取数据，根据模型训练的需要，自动清洗、预处理数据，之后在分布式容器环境中并行训练模型，最后智能评估、挑选最优模型并自动部署，实现了缩短部本文档来自技高网...

【技术保护点】
1.一种模型的智能迭代部署方法，其特征在于，所述方法包括：/n控制中心服务器获取通过定时任务发送的模型训练部署请求；/n利用MaxCompute对训练数据进行回溯及提取，并返回模型训练所需要的最新数据；/n对所述最新数据进行清洗和处理，待清洗处理完成后启动模型训练将清洗后的数据文件发往各个待命的容器训练节点；/n容器训练节点接收到数据文件后开始并行执行训练，将训练产生的模型文件、参数信息、最优模型文件、模型择优计算结果及故障日志存入数据库中；/n数据库返回每个模型需要的参数信息及等级阀值数据，并通过智能择优模型对模型进行综合评估，选出综合表现最优的模型文件发往控制中心服务器；/n控制中心服务器接收到所述最优模型文件和等级阀值数据后，将所述最优模型文件和等级阀值数据发往模型部署端等待拉取；/n判断所述最优模型的效果是否小于或等于当前模型的效果，若是则不执行更新，否则正常执行更新。/n

【技术特征摘要】
1.一种模型的智能迭代部署方法，其特征在于，所述方法包括：
控制中心服务器获取通过定时任务发送的模型训练部署请求；
利用MaxCompute对训练数据进行回溯及提取，并返回模型训练所需要的最新数据；
对所述最新数据进行清洗和处理，待清洗处理完成后启动模型训练将清洗后的数据文件发往各个待命的容器训练节点；
容器训练节点接收到数据文件后开始并行执行训练，将训练产生的模型文件、参数信息、最优模型文件、模型择优计算结果及故障日志存入数据库中；
数据库返回每个模型需要的参数信息及等级阀值数据，并通过智能择优模型对模型进行综合评估，选出综合表现最优的模型文件发往控制中心服务器；
控制中心服务器接收到所述最优模型文件和等级阀值数据后，将所述最优模型文件和等级阀值数据发往模型部署端等待拉取；
判断所述最优模型的效果是否小于或等于当前模型的效果，若是则不执行更新，否则正常执行更新。


2.根据权利要求1所述的模型的智能迭代部署方法，其特征在于，在所述控制中心服务器获取通过定时任务发送的模型训练部署请求的步骤之前还包括：
在预设的时间段触发定时任务，向控制中心服务器发送模型训练部署请求。


3.根据权利要求2所述的模型的智能迭代部署方法，其特征在于，所述利用MaxCompute对训练数据进行回溯及提取，并返回模型训练所需要的最新数据的步骤还包括：
MaxCompute根据所述模型训练部署请求中的任务流程依次执行任务；
所述控制中心服务器定时查看MaxCompute数据回溯及数据提取情况；
当MaxCompute执行任务结束后，返回模型训练需要的最新数据。


4.根据权利要求1所述的模型的智能迭代部署方法，其特征在于，所述对所述最新数据进行清洗和处理的步骤还包括：
对训练所需要的最新数据进行清洗和处理，包括缺失值处理、异常值处理、数据分箱处理、数据归一化处理、数据去噪处理及数据增强处理。


5.根据权利要求1所述的模型的智能迭代部署方法，其特征在于，所述通过智能择优模型对模型进行综合评估，选出综合表现最优的模型文件发往控制中心服务器的步骤还包括：
通过计算评估每个模型的效果，包括计算模型预测通过率、误杀率以及是否过拟合，选取综合表现最优的模型文件；
定期检查有无新的最...

【专利技术属性】
技术研发人员：陈岚，雷雨，胡帅，陈志健，
申请(专利权)人：深圳市富之富信息科技有限公司，
类型：发明
国别省市：广东;44