本发明专利技术公开了一种协助模型优化的方法及装置，该方法包括：实时监测各接口，在所述接口调用待优化模型时，确定当前调用所述待优化模型的实际应用场景；确定并记录所述实际应用场景中的异常参数；生成对应所述接口的监测报告，所述监测报告包括一定时间内记录的异常参数。利用本发明专利技术方案，可以快速、有效地推动模型的优化，进而提升模型性能及效果。进而提升模型性能及效果。进而提升模型性能及效果。
【技术实现步骤摘要】
协助模型优化的方法及装置
[0001]本专利技术涉及模型优化
，具体涉及一种协助模型优化的方法及装置。
技术介绍
[0002]目前，随着人工智能的技术理论、算力、应用场景等核心要素的不断进步和完善，人工智能进入快速发展期。人工智能的基础是机器学习和大数据，机器学习是通过多层非线性的特征学习和分层特征提取，对图像、声音等数据进行预测的计算机算法，也即模型。
[0003]模型的训练通常是用特定领域有标注的数据训练得到，由于训练样本及领域等问题，有些模型在实际应用中可能会不理想，无法适应多种应用环境及任务的需要。为此，后续还需要对已上线使用的模型做进一步的优化，以提升模型性能，使其更好地适应不同的应用场景。
[0004]目前，针对已上线的模型的优化，主要是收集更多的训练集和测试集来覆盖更多的业务场景。比如，针对具体业务、用户的问题反馈等信息，汇总后经由研发筛选出待优化场景，随后进行相关场景的模型优化。这种优化方法不仅存在一定的滞后性，影响用户体验；部分问题的描述不清晰，排查困难等，这些问题都会影响模型的优化效果。
技术实现思路
[0005]本专利技术实施例提供一种协助模型优化的方法及装置，以快速、有效地推动模型的优化，进而提升模型性能及效果。
[0006]一方面，本专利技术实施例提供一种协助模型优化的方法，所述方法包括：
[0007]实时监测各接口，在所述接口调用待优化模型时，确定当前调用所述待优化模型的实际应用场景；
[0008]确定并记录所述实际应用场景中的异常参数；
[0009]生成对应所述接口的监测报告，所述监测报告包括一定时间内记录的异常参数。
[0010]可选地，所述方法还包括：记录各接口调用所述待优化模型的历史信息；
[0011]所述确定所述实际应用场景中的异常参数包括：根据所述接口调用所述待优化模型的历史数据确定所述实际应用场景中的异常参数。
[0012]可选地，所述记录各接口调用待优化模型的历史信息包括：在所述接口每次调用所述待优化模型时，记录各接口调用所述待优化模型的次数，并确定所述待优化模型的实际应用场景与所述待优化模型的适用场景是否一致；记录异常场景出现次数、以及异常参数。
[0013]可选地，所述确定所述待优化模型的实际应用场景与所述模型的适用场景是否一致包括：获取所述接口调用所述待优化模型时的传输参数，所述传输参数包括：输入参数、和/或输出参数；根据所述传输参数确定所述待优化模型的实际应用场景与所述待优化模型的适用场景是否一致。
[0014]可选地，所述根据所述传输参数确定所述待优化模型的实际应用场景与所述待优
化模型的适用场景是否一致包括：根据所述传输参数的以下任意一种或多种特征确定所述待优化模型的实际应用场景与所述待优化模型的适用场景是否一致：参数类型、参数数量、参数数值范围、参数是否为空。
[0015]可选地，所述接口调用所述待优化模型的历史数据包括：所述接口近期对所述待优化模型的调用量、异常场景的调用占比、异常参数。
[0016]可选地，所述根据所述接口调用所述待优化模型的历史数据确定所述实际应用场景中的异常参数包括：根据所述接口调用所述待优化模型的历史数据确定各参数的告警阈值；根据各参数的告警阈值确定所述实际应用场景中的异常参数。
[0017]可选地，所述方法还包括：根据对应各接口的监测报告中的异常参数生成训练样本；利用所述训练样本对所述待优化模型进行优化。
[0018]可选地，所述根据对应各接口的监测报告中的异常参数生成训练样本包括：根据对应各接口的监测报告确定不同应用场景的优先级；根据对应各接口的监测报告中优先级较高的应用场景中的异常参数生成训练样本。
[0019]另一方面，本专利技术实施例还提供一种协助模型优化的装置，所述装置包括：
[0020]监测模块，用于实时监测各接口，在所述接口调用待优化模型时，确定当前调用所述待优化模型的实际应用场景；
[0021]判断模块，用于确定所述实际应用场景中的异常参数；
[0022]记录模块，用于记录所述异常参数；
[0023]报告生成模块，用于生成对应所述接口的监测报告，所述监测报告包括一定时间内记录的异常参数。
[0024]可选地，所述记录模块，还用于记录各接口调用待优化模型的历史信息；所述判断模块，具体用于根据所述接口调用所述待优化模型的历史数据确定所述实际应用场景中的异常参数。
[0025]可选地，所述装置还包括：训练样本生成模块，用于根据对应各接口的监测报告中的异常参数生成训练样本；优化处理模块，用于利用所述训练样本对所述待优化模型进行优化。
[0026]可选地，所述装置还包括：优先级确定模块，用于根据对应各接口的监测报告确定不同应用场景的优先级；所述训练样本生成模块，具体用于根据对应各接口的监测报告中优先级较高的应用场景中的异常参数生成训练样本。
[0027]本专利技术实施例提供的协助模型优化的方法及装置，通过监测调用待优化模型的各接口，对上线的待优化模型进行数据监控，实时筛选出实际应用场景中的异常参数并记录，根据一定时间内记录的异常参数生成对应相应接口的监测报告，进而可以将监测报告及时反馈至相关研发，协助研发人员快速定位问题，推动对该模型的优化。由于异常参数的采集、记录、以及监测报告的生成都是通过对接口的实时监测自动完成，因此数据的时效性、完整性较好，可以使待优化模型在实际应用中存在的问题更清晰、有效，并且可以使问题得到有效、快速地反馈，推动模型的持续优化，提升模型性能和效果。
[0028]进一步地，本专利技术方案还可根据对应各接口的监测报告确定不同应用场景的优先级，进而可以优先针对高优先级的应用场景中的问题对模型进行优化，更好地满足对模型的实际应用需求。
附图说明
[0029]图1是本专利技术实施例协助模型优化的方法的一种流程图；
[0030]图2是本专利技术实施例协助模型优化的方法的另一种流程图；
[0031]图3是本专利技术实施例协助模型优化的方法的另一种流程图；
[0032]图4是本专利技术实施例协助模型优化的装置的一种结构示意图；
[0033]图5是本专利技术实施例协助模型优化的装置的另一种结构示意图；
[0034]图6是本专利技术实施例协助模型优化的装置的另一种结构示意图。
具体实施方式
[0035]为使本专利技术的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本专利技术的具体实施例做详细的说明。
[0036]在现有技术中，对于模型的优化所需的训练集中的数据采集大都依赖于问题业务、用户反馈等信息，由此会带来一系列的问题。针对这些问题，本专利技术实施例提供一种协助模型优化的方法及装置，通过监测调用待优化模型的各接口，对上线的待优化模型进行数据监控，实时筛选出实际应用场景中的异常参数并记录，根据一定时间内记录的异常参数生成对应相应接口的监测报告，进而可以将监测报告及时反馈至相关研发，协助研发人员快速本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种协助模型优化的方法，其特征在于，所述方法包括：实时监测各接口，在所述接口调用待优化模型时，确定当前调用所述待优化模型的实际应用场景；确定并记录所述实际应用场景中的异常参数；生成对应所述接口的监测报告，所述监测报告包括一定时间内记录的异常参数。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：记录各接口调用所述待优化模型的历史信息；所述确定所述实际应用场景中的异常参数包括：根据所述接口调用所述待优化模型的历史数据确定所述实际应用场景中的异常参数。3.根据权利要求2所述的方法，其特征在于，所述记录各接口调用待优化模型的历史信息包括：在所述接口每次调用所述待优化模型时，记录各接口调用所述待优化模型的次数，并确定所述待优化模型的实际应用场景与所述待优化模型的适用场景是否一致；记录异常场景出现次数、以及异常参数。4.根据权利要求3所述的方法，其特征在于，所述确定所述待优化模型的实际应用场景与所述模型的适用场景是否一致包括：获取所述接口调用所述待优化模型时的传输参数，所述传输参数包括：输入参数、和/或输出参数；根据所述传输参数确定所述待优化模型的实际应用场景与所述待优化模型的适用场景是否一致。5.根据权利要求4所述的方法，其特征在于，所述根据所述传输参数确定所述待优化模型的实际应用场景与所述待优化模型的适用场景是否一致包括：根据所述传输参数的以下任意一种或多种特征确定所述待优化模型的实际应用场景与所述待优化模型的适用场景是否一致：参数类型、参数数量、参数数值范围、参数是否为空。6.根据权利要求3所述的方法，其特征在于，所述接口调用所述待优化模型的历史数据包括：所述接口近期对所述待优化模型的调用量、异常场景的调用占比、异常参数。7.根据权利要求2所述的方法，其特征在于，所述根据所述接口调用所述待优化模型...
【专利技术属性】
技术研发人员：蔡学聪，林琴，李铁铮，
申请(专利权)人：上海上湖信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。