AUC指标快速计算方法、装置以及计算机设备制造方法及图纸

本发明专利技术公开了一种AUC指标快速计算方法，该方法包括：获取样本数据以及每个样本数据对应的预测概率；统计出正样本数据的数量X和负样本数据数量Y；并分别为正样本数据和负样本数据建立多个数据分桶，并对每个数据分桶设置分桶标识，其中，所述分桶标识包括桶序号i和桶标签；根据所述预测概率的大小将所述样本数据划分到对应桶序号的数据分桶；最后统计出L1

【技术实现步骤摘要】
AUC指标快速计算方法、装置以及计算机设备
本专利技术涉及机器学习模型训练
，尤其涉及一种AUC指标快速计算方法、装置、计算机设备及计算机可读存储介质。
技术介绍
随着计算机技术的快速发展，计算机设备也广泛地应用到人们的日常生活当中。一般地，用户通过计算机设备观看视频、看新闻或者玩游戏，计算机设备则通过显示页面将运营商提供的丰富多彩的内容显示给用户。通常地，运营商在显示用户喜好的内容的同时，还会选择性地进行数据推荐，例如广告推荐。然而，对于推荐数据的选择，往往也需要迎合到用户的喜好，这样才能避免用户因对推荐数据的反感而降低对该运营商的粘合度。因此，运营商在进行推荐数据的选择时，一般都需要获取用户的观看或者点击的页面内容信息，然后则通过机器学习模型对用户喜好内容进行预测，然后选择将所述机器学习模型预测出的最高概率的喜好内容，并将该喜好内容所对应的推荐数据推荐到所述用户的显示页面。然而，用户的喜好一般也会随着时间而改变的，因此，所述机器学习模型也需要随着进行调整，从而达到更精确地预测出用户的喜好内容。现有技术中，通过对用户观看或者点击本文档来自技高网...

【技术保护点】
1.一种AUC指标快速计算方法，其特征在于，所述方法包括步骤：/n获取样本数据以及每个样本数据对应的预测概率，其中，样本数据包括正样本数据和负样本数据，所述预测概率是识别模型识别出所述样本数据与对应的目标数据的相似概率；/n统计出正样本数据的数量X和负样本数据数量Y；/n分别为正样本数据和负样本数据建立多个数据分桶，并对每个数据分桶设置分桶标识，其中，所述分桶标识包括桶序号i和桶标签，所述桶标签包括存放正样本数据的桶标签1和存放负样本数据的桶标签0；/n根据所述预测概率的大小将所述样本数据划分到对应桶序号的数据分桶；/n统计出L1

【技术特征摘要】
1.一种AUC指标快速计算方法，其特征在于，所述方法包括步骤：
获取样本数据以及每个样本数据对应的预测概率，其中，样本数据包括正样本数据和负样本数据，所述预测概率是识别模型识别出所述样本数据与对应的目标数据的相似概率；
统计出正样本数据的数量X和负样本数据数量Y；
分别为正样本数据和负样本数据建立多个数据分桶，并对每个数据分桶设置分桶标识，其中，所述分桶标识包括桶序号i和桶标签，所述桶标签包括存放正样本数据的桶标签1和存放负样本数据的桶标签0；
根据所述预测概率的大小将所述样本数据划分到对应桶序号的数据分桶；
统计出L1i和L0i，其中，L1i为桶序号为i、桶标签为1的数据分桶中的正样本数据的数量，L0i为桶序号为i、桶标签为0的数据分桶中的负样本数据的数量；
根据X、Y、L1i、L0i以及预设的计算规则计算出AUC指标。


2.如权利要求1所述的AUC指标快速计算方法，其特征在于，所述方法还包括：
通过mapreduce系统将所述样本数据划分到数据分桶，以及统计每个数据分桶中的样本数据的数量。


3.如权利要求2所述的AUC指标快速计算方法，其特征在于，所述通过mapreduce系统将所述样本数据划分到数据分桶，以及统计每个数据分桶中的样本数据的数量包括步骤：
将桶序号和桶标签设置为key，将数据分桶中的样本数据的数量设置为value；
将样本数据输入到mapreduce系统，直接获得包括每个数据分桶的分桶标识和样本数据的数量的输出值<key，value>。


4.如权利要求1所述的AUC指标快速计算方法，其特征在于，存放样本数据的数据分桶的数量可以进行调节设置，并且所述数据分桶的数量小于数据样本的数量。


5.如权利要求1所述的AUC指标快速计算方法，其特征在于，对每个数据分桶设置桶序号i的步骤包括：
获取存放正样本数据或者负样本数据的数据分桶的数量n；
将1-n分别作为存放正样本数据和存放负样本数据的数据分桶的桶序号；
并将桶序号i与数据分桶的数量n的比值i/n设置为桶序号i对应的数据分桶的概率阈值。


6.如权利要求5所述的AUC指标快速计算方法，其...

【专利技术属性】
技术研发人员：邓勇，何其真，王瑜，黄昉，吴安新，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：上海;31