一种面对工程应用的机器学习模型可靠性评估方法技术

本发明专利技术提出了一种面对工程应用的机器学习模型可靠性评估方法，涉及人工智能与土木工程领域，方法包括：基于已有样本集，训练多个仅初始随机种子不同的机器学习模型；使用训练好的多个模型对具体工程问题同时进行预测，并计算预测结果的相对标准差；根据实际工程需求确定相对标准差阈值。若相对标准差低于阈值，则认为该次机器学习模型的预测结果具有较高可靠性，机器预测结果可被采纳；否则，认为本次预测不具参考价值，该问题需人工决策介入。本发明专利技术为在复杂多变的工程环境条件下使用机器学习模型进行预测提供了一种可靠性评估方法，能判断何时采用人工决策或者机器决策，可有效推动机器学习方法在实际工程中落地应用。动机器学习方法在实际工程中落地应用。动机器学习方法在实际工程中落地应用。

【技术实现步骤摘要】
一种面对工程应用的机器学习模型可靠性评估方法


[0001]本专利技术属于土木工程与计算机交叉领域，特别是指一种面对工程应用的机器学习模型可靠性评估方法。

技术介绍

[0002]随着人工智能的高速发展，作为其核心的机器学习在越来越多的领域展现出独特价值。机器学习是一种从已有数据中学习其内在规律，并利用所学规律去对未知的数据进行预测分析的算法，常用的机器学习算法有随机森林、神经网络、支持向量机、GBDT等。当前，工程
也开始逐渐引入机器学习算法解决问题。操作步骤通常为：首先将已有数据集划分为训练集与测试集，然后利用训练集对机器学习模型进行训练，最后将测试集数据放入训练好的模型中进行测试，进而评价该模型的准确性。不难发现机器学习所用训练集与测试集全是源自具有相似分布的标签数据集，尽管通过测试集得出模型的预测准确率很高，但由于机器学习模型属于黑箱模型，实际工程中，基于训练好的模型对前方环境与测试条件均未知的复杂工程进行预测，其结果可靠性存疑。使得机器学习模型难以真正用于解决现实生活中的工程挑战。
[0003]在此背景下本专利技术重点关注机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面对工程应用的机器学习模型可靠性评估方法，其特征在于，包括以下步骤：步骤1，通过已有样本集进行机器学习，选定机器学习模型及对应的超参数，训练多个仅随机种子不同的初始模型；步骤2，采用步骤1中不同模型分别对复杂工程环境中的问题进行预测或决策；步骤3，计算步骤2中多个模型预测结果的相对标准差；步骤4，将阈值设置为ε，当工程场景中预测结果的相对标准差低于设定阈值时，可认为步骤1中模型针对步骤2中工程问题的预测结果具有可靠性，即机器学习模型的预测可信，该问题可相信机器决策；步骤5，若机器学习模型预测结果的相对标准差高于设定阈值，则认为机器预测结果不具备参考价值，该问题需要人工决策。2.根据权利要求1所述的方法，其特征在于：步骤1中，对所选择模型对应的超参数，可设置每一个超参数的取值范围，随后利用优化模型进行最优超参数组合选择。3.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员：袁潇，王树英，瞿同明，汪来，周子豪，朱汉标，冯志耀，
申请(专利权)人：中南大学，
类型：发明
国别省市：