【技术实现步骤摘要】
本申请属于模型评价的，特别是涉及一种多标签模型的选择与效果评价方法、系统、设备和介质。
技术介绍
1、随着业务的变化与搜集的训练数据的改变，需要不定期的对模型进行迭代优化，目标是使模型的能力更加符合业务的预期。为此，需要对多标签模型效果进行评估以此选出更加符合业务目标的模型。
2、目前，现有的多标签模型效果评估指标包括模型的召回率、精确率、f1-score指标、map指标(多标签模型)、准确率等。通常而言，现有方法会直接根据一个或多个评估指标来判断模型效果，并以此判断模型之间的效果优劣。例如，当新模型在召回率和精确率上均超过旧模型时，会判断新模型的效果比旧模型好。而当召回率和精确率各有高低，无法直接判断时，则基于综合性指标f1-score、map、准确率等判断新旧两个模型之间的效果优劣。现有方法在模型之间效果差距较大时，或者标签数量较少时，有着较准确的效果判断结果。
3、但是，在内容风控业务中，现有方法难以准确评估多标签模型效果。一方面，部分多标签模型具有上百项业务标签，每项业务标签的权重如果通过人为定义，往往不...
【技术保护点】
1.一种多标签模型的效果评价方法，其特征在于，包括：
2.根据权利要求1所述的多标签模型的效果评价方法，其特征在于，基于所述业务标签的传播面积获取多标签模型的业务标签权重包括：
3.根据权利要求2所述的多标签模型的效果评价方法，其特征在于，所述发布内容的游览参数包括游览时间段窗口,以及所述发布内容在所述游览时间段窗口内的游览次数、游览用户的去重数量。
4.根据权利要求3所述的多标签模型的效果评价方法，其特征在于，基于所述发布内容的游览参数获取对应的所述业务标签的传播面积包括：
5.根据权利要求4所述的多标签模型的效果评价...
【技术特征摘要】
1.一种多标签模型的效果评价方法，其特征在于，包括：
2.根据权利要求1所述的多标签模型的效果评价方法，其特征在于，基于所述业务标签的传播面积获取多标签模型的业务标签权重包括：
3.根据权利要求2所述的多标签模型的效果评价方法，其特征在于，所述发布内容的游览参数包括游览时间段窗口,以及所述发布内容在所述游览时间段窗口内的游览次数、游览用户的去重数量。
4.根据权利要求3所述的多标签模型的效果评价方法，其特征在于，基于所述发布内容的游览参数获取对应的所述业务标签的传播面积包括：
5.根据权利要求4所述的多标签模型的效果评价方法，其特征在于，基于所述业务标签的传播面积获取所述业务标签权重包括：
6.根据权利要求5所述的多标签模型的效果评价方法，其特征在于，对所述业务标签的单位时间传播面积进行归一化处理以获取归一化业务标签权重包括：
7.根据权利要...
【专利技术属性】
技术研发人员：张章伟，安鹏，沙爱晖，周斌，
申请(专利权)人：上海得物信息集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。