协助提升模型应用效果稳定性的方法及装置制造方法及图纸

本发明专利技术公开一种协助提升模型应用效果稳定性的方法及装置，该方法包括：确定模型的调用接口；通过所述接口获取所述模型在实际应用环境下的样本数据，所述样本数据包括：线上请求参数和线上返回参数；利用所述线上请求参数及预先搭建的与所述实际应用环境一致的测试环境，获取所述模型在所述测试环境下的测试返回参数；根据所述线上返回参数及所述测试返回参数确定异常参数；将所述异常参数及相关信息记录到数据库，以用于优化所述模型。利用本发明专利技术方案，可以快速、有效地推动模型的优化，提升模型应用效果的稳定性。模型应用效果的稳定性。模型应用效果的稳定性。

【技术实现步骤摘要】
协助提升模型应用效果稳定性的方法及装置


[0001]本专利技术涉及模型优化
，具体涉及一种协助提升模型应用效果稳定性的方法及装置。

技术介绍

[0002]通常，由于模型训练时所使用的样本数据的局限性，使得模型在不同场景中的应用效果往往存在一些差异，也就是说，模型应用效果存在不稳定性的问题。为此，后续还需要对已上线使用的模型做进一步的优化，比如根据模型应用场景及应用结果等对模型进行优化，使模型更好地适应不同的应用场景。
[0003]目前，针对已上线模型的应用效果稳定性的优化，通常依赖于线上用户、业务部门等反馈其使用过程中的问题，统计记录后添加到原有的训练数据集中，训练新的模型进行迭代。这种优化方式存在以下问题：靠用户、业务部门反馈的问题在实际使用中占比是非常低的，因而存在样本数据收集困难、样本数量低、时效性差等问题，进而利用这些样本数据集对模型优化的效果有限，而且也难以覆盖大规模的用户场景，模型应用效果的稳定性得不到有效提升。

技术实现思路

[0004]本专利技术实施例提供一种协助提升模型应用效果稳定性的方法及装置，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种协助提升模型应用效果稳定性的方法，其特征在于，所述方法包括：确定模型的调用接口；通过所述接口获取所述模型在实际应用环境下的样本数据，所述样本数据包括：线上请求参数和线上返回参数；利用所述线上请求参数及预先搭建的与所述实际应用环境一致的测试环境，获取所述模型在所述测试环境下的测试返回参数；根据所述线上返回参数及所述测试返回参数确定异常参数；将所述异常参数及相关信息记录到数据库，以用于优化所述模型。2.根据权利要求1所述的方法，其特征在于，所述通过所述接口获取所述模型在实际应用环境下的样本数据包括：获取所述接口一定时间段内对所述模型的调用量；按照所述调用量的设定比例获取所述模型在实际应用环境下的样本数据。3.根据权利要求1所述的方法，其特征在于，利用所述线上请求参数及所述测试环境，获取所述模型在所述测试环境下的测试返回参数包括：在所述测试环境下将所述线上请求参数输入所述模型一次或多次，将所述模型的输出结果作为所述测试返回参数。4.根据权利要求1所述的方法，其特征在于，所述根据所述线上返回参数及所述测试返回参数确定异常参数包括：将所述线上返回参数与所述测试返回参数进行比对，得到比对结果；根据所述比对结果确定异常参数。5.根据权利要求1所述的方法，其特征在于，所述相关信息包括以下任意一种或多种：所述接口的类型、参数类型、比对结果、比对次数、所述线上请求参数、所述线上返回参数。6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：从所述数据库中提取异常参数及相关信息，生成训练样本...

【专利技术属性】
技术研发人员：蔡学聪，林琴，李铁铮，
申请(专利权)人：上海上湖信息技术有限公司，
类型：发明
国别省市：