本发明专利技术提供一种基于机器学习的模型自动更新方法和系统，包括：获取数据并对数据进行预处理；基于预处理后的数据，创建第一个机器学习模型；运行第一个机器学习模型，并存储其中的模型节点；调用存储的模型节点，构建第二个机器学习模型，并将其发布部署至线上；设置第一个机器学习模型进行自学习，并保存新数据优化后的模型节点的参数；当第一个机器学习模型通过自学习，达到监控指标所设置的阈值后，第二个机器学习模型在下一次运行前，会自动加载优化后的参数。本发明专利技术将模型自学习自动化，并能自动将符合一定要求的模型发布或者部署到生产中，它能解决模型长期得不到更新而导致准确性降低的问题，并极大减轻运维人员的工作量。量。量。
【技术实现步骤摘要】
基于机器学习的模型自动更新方法、系统、介质及终端
[0001]本专利技术涉及机器学习
，具体地，涉及一种基于机器学习的模型自动更新方法、系统、介质及终端。
技术介绍
[0002]机器学习中发布到生产的服务内所训练的模型随着时间推移，准确性可能会逐步降低。这时若通过补充新的数据，重新进行训练，则有可能提高模型准确性。但是目前需要手动将符合一定要求的模型发布或者部署到生产中，短期能解决模型得不到更新而导致准确性降低的问题，但是极大增加运维人员的工作量。
[0003]经检索，中国专利技术专利公开号为CN113077057A，公开了一种无偏机器学习方法，其中建立了一个机器学习模型，自动地学习去偏参数，自动挖掘最优性能，为分类算法，并不适用聚类模型和关联模型。
[0004]进一步的，中国专利技术专利公开号为CN113011596A，其公开了一种模型自动更新方法，包括：基于第一预定时间段内的第一时序数据的多个初始特征，构建初始模型；判断所构建的初始模型的模型评价指标是否满足预定要求；如果所述初始模型的模型评价指标满足所述预定要求，则获取第二预定时间段内的第二时序数据；确定所获取的第二时序数据的多个更新特征；基于所述多个更新特征对初始模型进行更新。该专利因特征分布发生变化而导致模型预测准确度降低的问题。
技术实现思路
[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种基于机器学习的模型自动更新方法、系统、介质及终端。
[0006]根据本专利技术的一个方面，提供获取数据并对所述数据进行预处理，用于创建模型；基于所述预处理后的数据，创建包括多个模型节点的第一个机器学习模型；运行所述第一个机器学习模型，并存储其中的模型节点；调用存储的所述模型节点，构建第二个机器学习模型，并将其发布部署至线上；设置所述第一个机器学习模型进行自学习，并保存新数据优化后的模型节点的参数；当所述第一个机器学习模型通过自学习，达到监控指标所设置的阈值后，所述第二个机器学习模型在下一次运行前，会自动加载优化后的参数。
[0007]优选地，所述获取数据并对所述数据进行预处理，包括：从数据源中获取字段作为数据特征；对所述数据特征进行特征转换和特征离散。
[0008]优选地，所述模型节点为从数据中训练所生成的学习结果；所述模型节点包括分类方法节点、聚类评估节点或关联规则节点。
[0009]优选地，所述分类方法，是从已知类别训练集的计算和分析，从中发现类别规则并
预测新数据的类别；所述聚类评估，是对大量未知标注的数据集，按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大，而类别间的数据相似度较小；所述关联规则，是反映一个事物与其他事物之间的相互依存性和关联性，用于从大量数据中挖掘出有价值的数据项之间的相关关系，从数据中关联分析出“由于某些事件的发生引起另外一些事件的发生”规则。
[0010]优选地，存储的所述模型节点通过抽取或者训练实现，其中：所述抽取包括使用机器学习中的特征提取方法，从所述数据中统计和学习出特征的规律；当所述抽取完成后，能够将学习到的特征的规律保存为模型，用于调用；所述训练包括使用机器学习中的多种分类和回归方法，从所述抽取的特征中学习出相关规律；当所述训练完成后，能够将学习到的相关规律保存为模型，用于调用。
[0011]优选地，通过设置定时的模式，定时进行所述第一个机器学习模型的自学习机制，定时优化所述第一个机器学习模型的参数。
[0012]优选地，所述监控指标包括上线阈值和预警阈值；当所述第一个机器学习模型达到所述上线阈值或预警阈值中的至少一个时，所述第二个机器学习模型在下一次运行前，会自动加载优化后的参数。
[0013]根据本专利技术的第二个方面，提供一种基于机器学习的模型自动更新系统，包括：数据模块，该模块获取数据并对所述数据进行预处理，用于创建模型；第一模型模块，该模块基于所述预处理后的数据，创建包括多个模型节点的第一个机器学习模型；存储模块，该模块运行所述第一个机器学习模型，并存储其中的模型节点；第二模型模块，该模块调用存储的所述模型节点，构建第二个机器学习模型，并将其发布部署至线上；更新模块，该模块设置所述第一个机器学习模型进行自学习，并保存新数据优化后的模型节点的参数；当所述第一个机器学习模型通过自学习，达到监控指标所设置的阈值后，所述第二个机器学习模型在下一次运行前，会自动加载优化后的参数。
[0014]根据本专利技术的第三个方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的基于机器学习的模型自动更新方法，或，运行上述的基于机器学习的模型自动更新系统。
[0015]根据本专利技术的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述的基于机器学习的模型自动更新方法，或，运行上述基于机器学习的模型自动更新系统。
[0016]与现有技术相比，本专利技术至少具有如下的有益效果之一：本专利技术实施例中的模型自学习则是将这个步骤自动化，并能自动将符合一定要求的模型发布或者部署到生产中，它能解决模型长期得不到更新而导致准确性降低的问题，并极大减轻运维人员的工作量。
[0017]本专利技术适用于金融、零售、地产、制造、教育等领域的画像分析、精准营销、风险控制等场景，也适用于医疗、气象、审计等领域的舆情监测、异常识别、事件预测等场景。在上述场景下，数据会持续更新，为了保障对应模型的准确性，有必要对模型进行定期的更新，
本专利技术实施例通过定时任务调度自学习流程，当在满足新模型上线条件时，能够自动将模型保存到本地，并替换掉旧的模型，保障模型的准确性不会随着时间的推移而降低。
附图说明
[0018]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术实施例中的一种基于机器学习的模型自动更新方法的流程图；图1
‑
1为本专利技术应用实施例一中的建立银行信用贷款案例的界面示意图；图1
‑
2为本专利技术应用实施例一中的进行模型保存的界面示意图；图1
‑
3为本专利技术应用实施例一中的将模型存储到已训练模型中的界面示意图；图1
‑
4、1
‑
5、1
‑
6为本专利技术应用实施例一中的新建信用贷款批量预测案例的界面示意图；图1
‑
7为本专利技术应用实施例一中自动训练设置操作界面示意图；图1
‑
8为本专利技术应用实施例一中定时作业设置操作界面示意图；图1
‑
9为本专利技术应用实施例一中更新后的信用贷款批量预测案例的界面示意图；图2
‑
1为本专利技术应用实施例二中建立葡萄酒识别种类识别模型的界面示意图；图2
‑
2为本专利技术应用实施例二中建立新的葡萄酒种类识别模型自学习的界面示意图；图2
‑
3为本专利技术应用实施例二中自动训本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于机器学习的模型自动更新方法，其特征在于，包括：获取数据并对所述数据进行预处理，获得符合模型输入规则的数据结构；基于所述预处理后的数据，创建包括多个模型节点的第一个机器学习模型；运行所述第一个机器学习模型，并存储其中的模型节点；调用存储的所述模型节点，构建第二个机器学习模型，并将其发布部署至线上；设置所述第一个机器学习模型进行自学习，并保存新数据优化后的模型节点的参数；当所述第一个机器学习模型通过自学习，达到监控指标所设置的阈值后，所述第二个机器学习模型在下一次运行前，会自动加载优化后的参数。2.根据权利要求1所述的一种基于机器学习的模型自动更新方法，其特征在于，所述获取数据并对所述数据进行预处理，包括：从数据源中获取字段作为数据特征；对所述数据特征进行特征转换和特征离散。3.根据权利要求1所述的一种基于机器学习的模型自动更新方法，其特征在于，所述模型节点为从所述数据中训练所生成的学习结果；所述模型节点包括分类方法节点、聚类评估节点或关联规则节点。4.根据权利要求3所述的一种基于机器学习的模型自动更新方法，其特征在于，所述分类方法，是从已知类别训练集的计算和分析，从中发现类别规则并预测新数据的类别；所述聚类评估，是对大量未知标注的数据集，按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大，而类别间的数据相似度较小；所述关联规则，是反映一个事物与其他事物之间的相互依存性和关联性，用于从大量数据中挖掘出有价值的数据项之间的相关关系，从数据中关联分析出“由于某些事件的发生引起另外一些事件的发生”规则。5.根据权利要求1所述的一种基于机器学习的模型自动更新方法，其特征在于，存储的所述模型节点通过抽取或者训练实现，其中：所述抽取包括使用机器学习中的特征提取方法，从所述数据中统计和学习出特征的规律；当所述抽取完成后，能够将学习到的特征的规律保存为模型，...
【专利技术属性】
技术研发人员：黄潮勇，吴华夫，黄鹏，张亿仙，
申请(专利权)人：广州思迈特软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。