【技术实现步骤摘要】
一种测试模型鲁棒性的方法和装置
[0001]本说明书一个或多个实施例涉及机器学习领域，尤其涉及一种测试模型鲁棒性的方法和装置。
技术介绍
[0002]在很多行业中存在着风险控制的问题，例如电子支付和交易服务企业中，运营人员经常需要根据用户的用户行为序列，分析其中是否存在非法运作特别是非法交易的风险。近年来，将机器学习模型用于识别用户行为可能带来的风险取得了较好的效果。但是，由于序列样本通常存在数据稀疏性问题，例如用户行为序列的训练和测试样本通常不能完全覆盖样本空间。因此，存在从训练后的模型在实际运行中识别性能并不稳定的问题。
[0003]因此，为了更精确的评估模型实际运行中识别性能的稳定性，需要一种新的测试模型鲁棒性的方案。
技术实现思路
[0004]本说明书中的实施例旨在提供一种新的测试模型鲁棒性的方法，通过该方法可以通过对于用户行为序列样本施加的模拟的运行环境扰动和干扰行为扰动，得到模拟的环境扰动样本和干扰行为样本，利用模拟的环境扰动样本和干扰行为样本对用户行为风险识别模型进行测试，可以准确的测试...
【技术保护点】
【技术特征摘要】
1.一种测试模型鲁棒性的方法，包括：获取多个第一样本，所述第一样本各自包括依序的多个用户行为，所述用户行为包括若干行为属性；对所述多个第一样本分别进行第一处理，得到多个第二样本，其中，对于所述多个第一样本中包括的第三样本的第一处理包括：从所述第三样本包括的用户行为的行为属性中，确认出至少一个第一属性；将所述第一属性设置为预设的第一默认值，所述第一默认值用于指示所述第一属性的值缺失，得到第四样本，所述多个第二样本中包括第四样本；基于所述多个第一样本，确定第一风险识别模型的第一正确识别率；基于所述多个第二样本，确定所述第一风险识别模型的第二正确识别率；根据第一正确识别率和第二正确识别率，确定针对所述第一风险识别模型的第一指标，所述第一指标用于指示所述第一风险识别模型的鲁棒性。2.根据权利要求1所述的方法，其中，从所述第三样本包括的用户行为的行为属性中，确认出至少一个第一属性，包括：基于随机算法，从所述第三样本包括的用户行为的行为属性中，确认出至少一个第一属性。3.根据权利要求1所述的方法，其中，基于所述多个第一样本，确定第一风险识别模型的第一正确识别率，包括：将所述多个第一样本，输入所述第一风险识别模型，获取多个第一样本各自对应的识别结果，根据多个第一样本各自的风险标签和识别结果，确定所述多个第一样本对应的正确识别数量和错误识别数量，根据所述多个第一样本对应的正确识别数量和错误识别数量，确定所述第一风险识别模型的第一正确识别率。4.根据权利要求1所述的方法，其中，根据第一正确识别率和第二正确识别率，确定针对所述第一风险识别模型的第一指标，包括：根据第一正确识别率和第二正确识别率的差，确定针对所述第一风险识别模型的第一指标。5.根据权利要求1所述的方法，还包括：对所述多个第一样本分别进行第二处理，得到多个第五样本，其中，对于所述多个第一样本中包括的第三样本的第二处理包括：从所述第三样本包括的用户行为的行为属性中，确认出至少一个第二属性；对所述第二属性的值添加预先设定的偏移值，得到第六用户样本，所述多个第五样本中包括第六样本；基于所述多个第五样本，确定第一风险识别模型的第三正确识别率；根据所述第一正确识别率和第三正确识别率，确定针对所述第一风险识别模型的第一指标。6.根据权利要求1所述的方法，还包括：对所述多个第一样本分别进行第三处理，得到多个第七样本，其中，对于所述多个第一样本中包括的第三样本的第三处理包括：从所述第三样本包括的用户行为的行为属性中，确认出至少一个第三属性；对所述第三属性的值施加随机扰动，得到第八样本，所述多个第七样本中包括第八样本；
基于所述多个第八样本，确定第一风险识别模型的第四正确识别率；根据所述第一正确识别率和第四正确识别率，确定所述第一风险识别模型的鲁棒性。7.一种测试模型鲁棒性的方法，包括：获取多个第一样本，所述第一样本各自包括依序的多个用户行为，所述用户行为包括若干行为属性；对所述多个第一样本分别进行第四处理，得到多个第九样本，其中，对于所述多个第一样本中包括的第三样本的第四处理包括：...
【专利技术属性】
技术研发人员：李志峰，崔世文，孟昌华，王维强，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。