本公开的实施方式提供了一种解释业务场景下模型的方法、介质、装置和计算设备。该方法包括：收集业务场景下目标模型训练相关的核心数据；对所述核心数据进行解释得到第一解释结果；收集目标模型相关数据，所述目标模型相关数据包括以下中至少之一：与所述目标模型的应用环境相关的环境数据以及与所述目标模型相关的监控数据；利用所述目标模型相关数据和所述第一解释结果中至少之一对所述目标模型进行解释得到第二解释结果。根据本实施方式的方法通过除收集目标模型的核心数据之外还收集业务场景下的环境数据和监控数据参与解释，提高模型的可解释性，并且将模型可解释能力独立于模型之外，实现相同解释方法可以用于任意模型训练的业务场景。型训练的业务场景。型训练的业务场景。
【技术实现步骤摘要】
解释业务场景下模型的方法、介质、装置和计算设备
[0001]本公开的实施方式涉及通信及计算机
，更具体地，本公开的实施方式涉及一种解释业务场景下模型的方法、介质、装置和计算设备。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]相关模型可解释性的技术落地在本身可解释的模型上，这类模型在完成训练后，其解释逻辑与样本、场景无关，仅与模型引入的样本特征信息有关，因而解释的能力较弱。此外可解释性模型通常逻辑比较单一，无法覆盖现在行业业务场景下的复杂建模需求，对于复杂模型的解释性目前研究处于早期“黑盒”阶段，类似可解释性模型上的解释能力，无法覆盖在这类复杂模型上。而随着业务越来越复杂，数据量规模的剧增，复杂性的模型越来越流行，对于业务而言，可解释性能力的缺失很难为业务指标的变化说明原因。
技术实现思路
[0004]单纯做模型可解释性在业务场景下不是特别准确，因此除对模型本身进行解释之外，把模型放到具体运行场景中考虑环境参数和一些参数对模型的影响，同时还利用可解释模型的一些特征信息和业务数据信息。相关技术中可对训练好的模型中权重的高低进行可视化展示，而本公开中获取模型训练样本，对线上样本分布进行分析给到业务人员做辅助。另外，获取环境数据，考虑模型上线之后的表现情况，例如模型上线之后是不是有更多流量产生运算瓶颈，模型在业务场景下流量QPS突然暴增，会导致业务有问题。
[0005]因此，采集机器学习模型的训练样本保存下来，对真实业务的数据进行分析并进行解释。解释不完全依赖于模型，还依赖于样本数据、环境数据、监控数据；通过数据的组合提供给业务人员进行分析。
[0006]为此需要一种以模型训练样本数据、相关系统上报的核心数据、环境数据、监控数据来提升业务场景上模型的可解释性。
[0007]在本上下文中，本公开的实施方式期望提供一种解释业务场景下模型的方法、介质、装置和计算设备。
[0008]在本公开实施方式的第一方面中，提供了一种解释业务场景下模型的方法，包括：
[0009]收集业务场景下目标模型训练相关的核心数据；
[0010]对所述核心数据进行解释得到第一解释结果；
[0011]收集目标模型相关数据，所述目标模型相关数据包括以下中至少之一：与所述目标模型的应用环境相关的环境数据以及与所述目标模型相关的监控数据；
[0012]利用所述目标模型相关数据和所述第一解释结果中至少之一对所述目标模型进行解释得到第二解释结果。
[0013]在本公开的一些实施例中，基于前述方案，所述核心数据包括所述目标模型的实
时样本以及所述目标模型训练相关的中间文件，收集业务场景下目标模型训练相关的核心数据包括：
[0014]响应于用户的实时行为，收集目标模型的实时样本，所述实时样本包括实时特征，以及实时行为数据或者打标行为数据；
[0015]收集所述目标模型训练相关的中间文件并且存储至数据存储模块；
[0016]相应地，对所述核心数据进行解释得到第一解释结果包括：
[0017]对所述实时行为数据与所述实时特征的相关性或者所述打标行为数据与所述实时特征的相关性进行解释得到第一解释结果。
[0018]在本公开的一些实施例中，基于前述方案，所述模型为推荐模型，响应于用户的实时行为，收集目标模型的实时样本，包括：
[0019]获取用户的实时特征；
[0020]收集实时行为数据，所述实时行为数据表征用户对根据所述用户的实时特征推荐的目标对象执行的实时行为；
[0021]将所述实时特征与所述实时行为数据拼接形成实时样本，其中，所述实时样本用于对所述目标模型进行训练。
[0022]在本公开的一些实施例中，基于前述方案，所述模型为分类模型，响应于用户的实时行为，收集目标模型的实时样本，包括：
[0023]获取用户的实时特征，根据实时特征对所述用户进行分类并展示分类结果；
[0024]收集实时行为数据，所述实时行为数据表征用户对所述分类结果执行的实时行为；
[0025]将所述实时特征与所述实时行为数据拼接形成实时样本，其中，所述实时样本用于对所述目标模型进行训练。
[0026]在本公开的一些实施例中，基于前述方案，收集目标模型的实时特征以及打标行为数据包括：
[0027]获取用户的实时特征；
[0028]在所述实时特征满足预设条件的情况下，发送至目标端；
[0029]接收所述目标端根据实时特征进行打标得到的打标行为数据。
[0030]在本公开的一些实施例中，基于前述方案，对所述实时行为数据与所述实时特征的相关性或者所述打标行为数据与所述实时特征的相关性进行解释得到第一解释结果包括：
[0031]将所述实时样本上传至解释引擎；
[0032]利用所述解释引擎中的解释模板对所述实时行为数据与所述实时特征的相关性或者所述打标行为数据与所述实时特征的相关性进行解释，得到第一解释结果，其中，所述解释模板中设有解释指标。
[0033]在本公开的一些实施例中，基于前述方案，所述解释引擎包括实时解释引擎和离线解释引擎，
[0034]相应地，将所述实时样本上传至解释引擎包括：
[0035]若所述目标模型为实时训练模型，则将所述实时样本上传至实时解释引擎；
[0036]若所述目标模型为离线训练模型，则将所述实时样本上传至离线解释引擎。
[0037]在本公开的一些实施例中，基于前述方案，利用所述目标模型相关数据和所述第一解释结果中至少之一对所述目标模型进行解释得到第二解释结果包括：
[0038]根据预设分析规则，建立关于所述目标模型相关数据和所述第一解释结果中至少之一的数据关联关系，以可视化形式展示所述数据关联关系。
[0039]在本公开的一些实施例中，基于前述方案，在建立所述数据关联关系之前，还包括：
[0040]检测所述目标模型相关数据中的异常数据；
[0041]对所述异常数据进行修复或删除。
[0042]在本公开的一些实施例中，基于前述方案，解释业务场景下模型的方法还包括：
[0043]接收场景绑定指令，所述场景绑定指令中携带场景标识和用户标识；
[0044]查找与所述场景标识对应的场景并且将所述用户标识与所述场景标识进行绑定。
[0045]在本公开的一些实施例中，基于前述方案，建立关于所述目标模型相关数据和所述第一解释结果中至少之一的数据关联关系包括：
[0046]获取所述目标模型的预设时间段内的目标模型相关数据；
[0047]建立所述目标模型相关数据与所述预设时间段中的时间点的关联关系。
[0048]在本公开的一些实施例中，基于前述方案，获取所述目标模型的预设时间段内的目标模型相关数据包括：
[0049]接收数据对比指令，所述数据对本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种解释业务场景下模型的方法，包括：收集业务场景下目标模型训练相关的核心数据；对所述核心数据进行解释得到第一解释结果；收集目标模型相关数据，所述目标模型相关数据包括以下中至少之一：与所述目标模型的应用环境相关的环境数据以及与所述目标模型相关的监控数据；利用所述目标模型相关数据和所述第一解释结果中至少之一对所述目标模型进行解释得到第二解释结果。2.根据权利要求1所述的解释业务场景下模型的方法，其中，所述核心数据包括所述目标模型的实时样本以及所述目标模型训练相关的中间文件，收集业务场景下目标模型训练相关的核心数据包括：响应于用户的实时行为，收集目标模型的实时样本，所述实时样本包括实时特征，以及实时行为数据或者打标行为数据；收集所述目标模型训练相关的中间文件并且存储至数据存储模块；相应地，对所述核心数据进行解释得到第一解释结果包括：对所述实时行为数据与所述实时特征的相关性或者所述打标行为数据与所述实时特征的相关性进行解释得到第一解释结果。3.根据权利要求2所述的解释业务场景下模型的方法，其中，所述模型为推荐模型，响应于用户的实时行为，收集目标模型的实时样本，包括：获取用户的实时特征；收集实时行为数据，所述实时行为数据表征用户对根据所述用户的实时特征推荐的目标对象执行的实时行为；将所述实时特征与所述实时行为数据拼接形成实时样本，其中，所述实时样本用于对所述目标模型进行训练。4.根据权利要求2所述的解释业务场景下模型的方法，其中，所述模型为分类模型，响应于用户的实时行为，收集目标模型的实时样本，包括：获取用户的实时特征，根据实时特征对所述用户进行分类并展示分类结果；收集实时行为数据，所述实时行为数据表征用户对所述分类结果执行的实时行为；将所述实时特征与所述实时行为数据拼接形成实时样本，其中，所述实时样本用于对所述目标模型进行训练。5.根据权利要求2所述的解释业务...
【专利技术属性】
技术研发人员：段石石，王军正，谭钧心，刘长伟，程纯，汪磊，朱一飞，岳猛，苏杭，郭元，李宽，
申请(专利权)人：杭州网易云音乐科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。