机器学习模型对比方法及装置制造方法及图纸

本申请实施例提供一种机器学习模型对比方法及装置，方法包括：根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定目标机器学习模型的多个目标特征指标；获取并输出显示各个目标特征指标分别对应在目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个目标特征指标的对比结果信息在历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。本申请能够有效提高机器学习模型对比结果的输出直观性及效率，能够有效提高用户选择机器学习模型的准确性、便捷性及效率，进而能够有效提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。

【技术实现步骤摘要】
机器学习模型对比方法及装置
本申请涉及数据处理
，具体涉及机器学习模型对比方法及装置。
技术介绍
随着大数据和人工智能的发展，机器学习技术得到越来越广泛的应用。在机器学习中，可以通过大量的历史样例数据对模型进行训练，从而训练出的模型能够针对新的样例数据给出预测结果。相同的算法使用不同参数及数据训练出来的模型效果差别较大。为了帮助用户选择机器学习模型，会提供一些指标来评价训练出的模型的预测效果，比如AUC(Areaundercurve，曲线下面积)、准确度、精确度等，将数据组合在一起分别形成各自模型的评估报告。目前，由于各个算法的评估指标数量众多标准相差较大，并且由不同数据训练出来的模型的评估指标会带有训练数据的特征用户需要结合数据分析改评估指标是否合理。由具有不同特征的数据训练出来的模型，各个指标对于模型效果的描述能力不同，如二分类中正反样本比例对最终模型的指标有较大影响，需要经验丰富的建模人员才能快速判断不同模型评估报告之间的差距。另外，用户虽然可以直接对比模型的指标数据，但是这些数据不够直观，逐项对比耗时耗力，缺少解释性，不利于用户理解不同模型之间的差距。若训练的模型较多就会增加大量的重复工作，降低工作效率。用户虽然可对评估报告进行一些统计分析，但是这些分析需要熟练掌握机器学习技术和相关的知识积累才可以完成。因此，现有技术缺少一种能够帮助建模经验较少的用户直观且快速地对比机器学习模型的方式，会影响用户选择机器学习模型的准确性，进而会导致后续模型应用(例如进行金融服务风险预测等)的适用准确性及有效性。
技术实现思路
针对现有技术中的问题，本申请提供一种机器学习模型对比方法及装置，能够有效提高机器学习模型对比结果的输出直观性及效率，能够有效提高用户选择机器学习模型的准确性、便捷性及效率，进而能够有效提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。为解决上述技术问题，本申请提供以下技术方案：第一方面，本申请提供一种机器学习模型对比方法，包括：根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标；获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。进一步地，在所述根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个特征指标之前，还包括：接收针对所述目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。进一步地，在所述根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个特征指标之前，还包括：实时监控所述目标机器学习模型的模型训练过程；在经检测获知所述目标机器学习模型当前的模型训练过程结束之时或之后，生成针对该目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。进一步地，所述根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标，包括：自所述目标机器学习模型的历史版本数据和当前版本数据中分别提取各自对应的模型特征指标和训练用数据特征指标；将所述历史版本数据和当前版本数据各自对应的模型特征指标中的相同指标进行去重处理，并将所述历史版本数据和当前版本数据各自对应的训练用数据特征指标进行去重处理，得到由所述模型特征指标和训练用数据特征指标组成的所述目标机器学习模型的多个特征指标；对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。进一步地，所述对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标，包括：获取所述目标机器学习模型的多个特征指标中的各个所述训练用数据特征指标各自对应的权重值；基于各个所述训练用数据特征指标各自对应的权重值，在所述目标机器学习模型的多个特征指标中各个所述训练用数据特征指标进行筛选。进一步地，所述对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标，包括：将所述目标机器学习模型的多个特征指标中的所述模型特征指标和训练用数据特征指标均进行输出显示；根据当前接收的指标筛选指令对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。进一步地，在所述获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息之前，还包括：根据各个所述训练用数据特征指标各自对应的权重值，对所述目标机器学习模型的多个目标特征指标中的各个所述训练用数据特征指标进行排序；以及，根据各个所述模型特征指标的标识，对所述目标机器学习模型的多个目标特征指标中的各个所述模型特征指标进行排序。进一步地，所述获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，包括：基于预设的指标对比规则，分别获取均包含在所述历史版本数据和当前版本数据中的各个目标特征指标各自对应的第一对比信息，其中，所述第一对比信息用于表示对应的目标特征指标分别对应在所述历史版本数据的统计信息和对应在当前版本数据的统计信息；若存在仅包含在所述历史版本数据和当前版本数据中之一的目标特征指标，则将该目标特征指标的特性信息作为该目标特征指标的第二对比信息；基于所述第一对比信息和所述第二对比信息生成各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以形成对比报告；输出所述对比报告，并对该对比报告进行图形化显示。第二方面，本申请提供一种机器学习模型对比装置，包括：指标确定模块，用于根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标；指标对比模块，用于获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。进一步地，还包括：第一请求获取模块，用于接收针对所述目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。进一步地，还包括：模型训练监控模块，用于实时监控所述目标机器学习模型的模型训练过程；第二请求获取模块，用于在经检测本文档来自技高网...

【技术保护点】
1.一种机器学习模型对比方法，其特征在于，包括：/n根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标；/n获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。/n

【技术特征摘要】
1.一种机器学习模型对比方法，其特征在于，包括：
根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标；
获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。


2.根据权利要求1所述的机器学习模型对比方法，其特征在于，在所述根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个特征指标之前，还包括：
接收针对所述目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。


3.根据权利要求1所述的机器学习模型对比方法，其特征在于，在所述根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个特征指标之前，还包括：
实时监控所述目标机器学习模型的模型训练过程；
在经检测获知所述目标机器学习模型当前的模型训练过程结束之时或之后，生成针对该目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。


4.根据权利要求1所述的机器学习模型对比方法，其特征在于，所述根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标，包括：
自所述目标机器学习模型的历史版本数据和当前版本数据中分别提取各自对应的模型特征指标和训练用数据特征指标；
将所述历史版本数据和当前版本数据各自对应的模型特征指标中的相同指标进行去重处理，并将所述历史版本数据和当前版本数据各自对应的训练用数据特征指标进行去重处理，得到由所述模型特征指标和训练用数据特征指标组成的所述目标机器学习模型的多个特征指标；
对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。


5.根据权利要求4所述的机器学习模型对比方法，其特征在于，所述对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标，包括：
获取所述目标机器学习模型的多个特征指标中的各个所述训练用数据特征指标各自对应的权重值；
基于各个所述训练用数据特征指标各自对应的权重值，在所述目标机器学习模型的多个特征指标中各个所述训练用数据特征指标进行筛选。


6.根据权利要求4所述的机器学习模型对比方法，其特征在于，所述对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标，包括：
将所述目标机器学习模型的多个特征指标中的所述模型特征指标和训练用数据特征指标均进行输出显示；
根据当前接收的指标筛选指令对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。


7.根据权利要求5所述的机器学习模型对比方法，其特征在于，在所述获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息之前，还包括：
根据各个所述训练用数据特征指标各自对应的权重值，对所述目标机器学习模型的多个目标特征指标中的各个所述训练用数据特征指标进行排序；
以及，根据各个所述模型特征指标的标识，对所述目标机器学习模型的多个目标特征指标中的各个所述模型特征指标进行排序。


8.根据权利要求7所述的机器学习模型对比方法，其特征在于，所述获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，包括：
基于预设的指标对比规则，分别获取均包含在所述历史版本数据和当前版本数据中的各个目标特征指标各自对应的第一对比信息，其中，所述第一对比信息用于表示对应的目标特征指标分别对应在所述历史版本数据的统计信息和对应在当前版本数据的统计信息；
若存在仅包含在所述历史版本数据和当前版本数据中之一的目标特征指标，则将该目标特征指标的特性信息作为该目标特征指标的第二对比信息；
基于所述第一对比信息和所述第二对比信息生成各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以形成对比报告；
输出所述对比报告，并对该对...

【专利技术属性】
技术研发人员：丁凯文，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11