基于机器学习的网络用户分类方法技术

本申请提供了一种基于机器学习的网络用户分类方法，包括如下步骤：将网络用户特征数据构成若干个源网络用户特征数据；保存源网络用户分类任务的优化经验；将优化经验训练成方向模型；使用贝叶斯优化方法连续采样多个超参数组并保存所采样的多个超参数组；利用方向模型在保存的多个所述超参数组中选择最优的所述超参数组；对所选择的所述超参数组进行采样评估，计算真实的评估结果与方向模型对所述超参数组的评估结果的误差；根据所述真实的评估结果与方向模型对所述超参数组的评估结果的误差对所述方向模型进行调整。本申请的有益之处在于为网络用户分类问题提供了一种在机器学习的超参数优化过程中摆脱对大量采样的依赖从而提升超参数优化效率的基于贝叶斯优化的机器学习超参数处理方法。

【技术实现步骤摘要】
基于机器学习的网络用户分类方法
本申请涉及机器学习
，具体而言，涉及一种基于机器学习的网络用户分类方法。
技术介绍
前机器学习技术已经被广泛应用于各个领域中，如计算机视觉、自然语言处理、推荐系统等，每一个成功的应用背后都少不了一个精确的机器学习模型。网络用户分类是机器学习的一个应用，它可以用于在众多用户中，寻找最关键的核心用户、精细化运营、个性化推荐等方面。用户分类的角度有很多，包括根据年龄、性别、职业、所在地、消费水平、不同角色分类(如个人用户和企业用户)、所在领域的熟悉程度分类(如新用户和老用户)等。每一个不同的分类角度都构成一个机器学习模型。为了使每一个机器学习模型都表现优异，需要为每一个模型分别配置超参数。这极度依赖于研究人员的人力和经验。显然人工机器学习超参数配置不能满足日益增长的网络用户分类任务的需求。对此，自动超参数优化被提出，旨在没有人工参与下对机器学习中的各个超参数进行配置，获得性能优异的机器学习模型。现在尚没有一种效果较优的用于多个分类角度的网络用户分类模型的超参数处理方法。
技术实现思路
为了解决现有技术的不足之处，本申请提供了一种基于机器学习的网络用户分类方法，包括如下步骤：将网络用户特征数据构成若干个源网络用户特征数据集；保存源网络用户分类任务的优化经验；将优化经验训练成方向模型；使用贝叶斯优化方法连续采样多个超参数组并保存所采样的多个超参数组；利用历史网络用户分类模型的网络用户分类模型的优化数据在保存的多个所述超参数组中选择最优的所述超参数组；对所选择的所述超参数组进行采样评估，计算真实的评估结果与方向模型对所述超参数组的评估结果的误差；根据所述真实的评估结果与方向模型对所述超参数组的评估结果的误差对所述方向模型进行调整。将源网络用户特征数据集训练用户分类模型及优化模型超参数的任务称为源网络用户分类任务，在源网络用户分类任务的超参数优化过程中记录优化数据，学习超参优化的经验，将新的网络用户分类角度的任务称为目标网络用户分类任务，利用从源任网络用户分类务中学习的优化经验来提高目标网络用户分类任务的超参调优速度。进一步地，所述源网络用户分类任务是用户特征数据集构成的源网络用户分类任务数据集的机器学习超参数优化任务。进一步地，所述网络用户分类的机器学习超参数处理方法包括如下步骤：构建经验数据集。进一步地，所述构建经验数据集包括：使用贝叶斯优化在源网络用户分类任务模型上采样评估k+1次，并记录采样和评估的数据；将采样根据评估值由大到小排序，将评估值最大的采样称为当前最佳采样剩余采样以y为中心中心化，即定义为κ；使用贝叶斯优化在源网络用户分类任务模型上生成新的采样x’，并评估；如果f(x’)大于目前最佳评估值，则生成一条数据([κ；x′]，l)，否则，生成一条数据([κ；x′]，-1)；将κ中k个采样和本轮采样x’根据评估值由大到小排序，删除评估值最小的采样，更新κ。进一步地，所述网络用户分类的机器学习超参数处理方法包括如下步骤：训练方向模型。进一步地，所述训练方向模型具体包括如下步骤：确定机器学习模型中需要优化的超参数，并设置超参数的范围；在设定范围内随机初始化超参数，s初始为1；用贝叶斯优化对第s个源网络用户分类任务的机器学习模型的超参数调优，将优化过程记录下来构建成经验数据集；将经验数据集划分为训练数据集和测试数据集两个部分；用训练数据集训练方向模型，常用的分类模型均可以用于训练方向模型；本方法用卷积神经网络来训练；用测试数据集测试训练好的模型，如果测试准确率低则将该模型淘汰，否则加入方向模型集合Φ。进一步地，所述训练方向模型具体还包括如下步骤：判断源网络用户分类任务集合中的任务是否均已经被优化过，如果是则输出方向模型集合Φ；如果否则转回至所述用贝叶斯优化对第s个源网络用户分类任务的机器学习模型的超参数调优，将优化过程记录下来构建成经验数据集的步骤。进一步地，所述网络用户分类的机器学习超参数处理方法还包括如下步骤：将测试准确率高的方向模型保留下来用于下一步优化中，而将测试准确率低的方向模型则被淘汰。进一步地，所述将测试准确率高的方向模型保留下来用于下一步优化中，而将测试准确率低的方向模型则被淘汰的步骤具体包括如下步骤：在设定范围内随机初始化超参数，初始化方向模型的权重值为同一值；使用贝叶斯优化在目标网络用户分类任务的机器学习模型上采样评估k+1次，并记录采样和评估的数据；数值k为方向模型输入数据的行数；将上一步记录的采样根据评估值排序，构成当前采样环境数据使用贝叶斯优化连续采样p次，将采样数据保存起来，定义为预采样；利用方向模型对预采样进行评估，所有方向模型的评估值加权求和为一个预采样的评估结果；记录每一个预采样的评估结果；选取评估结果最佳的预采样作为本轮采样值，并评估此采样值；根据上一步的评估结果更新方向模型的权重，将本轮采样、当前最佳采样，采样环境按评估值排序，记录最佳评估及最佳采样，删除最差采样，将排名第2～k+1的采样构成当前采样环境数据。进一步地，所述将测试准确率高的方向模型保留下来用于下一步优化中，而将测试准确率低的方向模型则被淘汰的步骤具体还包括如下步骤：判断是否达到预设采样轮数，如果是则输出最佳的目标网络用户分类模型的超参数组。进一步地，更新方向模型权重包括计算真实的评估结果与方向模型对该采样的评估结果的平方差，计算公式为：(Φi([κ；x′])-l)2，其中Φi为第i个方向模型，Φi([κ；x′])为第i个方向模型对本轮采样x’的评估值。1为真实评估结果，当时，1为+1，反之，当时，1为-1；更新方向模型权重的公式为wi＝exp(-α(Φi([κ；x′])-l)2)wi，其中wi为第i个方向模型的权重，α为学习率。本申请的有益之处在于：提供了一种在网络用户分类问题中，机器学习超参数优化过程中摆脱对大量采样的依赖从而提升超参数优化效率的网络用户分类的机器学习超参数处理方法。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本专利技术的整体流程示意图。图2为本专利技术的一个实施例的网络用户特征数据集和其构成的源网络用户分类任务数据集的结构示意图。图3为本专利技术的一个实施例的用于方向模型训练和测试的数据结构示意图。图4为本专利技术的一个实施例的方向模型所使用的卷积神经网络结构示意图。图5为本专利技术的一个实施例的方向模型学习流程示意框图。图6为本专利技术的一个实施例的方向模型的权重学习流程示意框图。图7为本专利技术的一个实施例的加速流程示意框图。具体实施方式为了使本
的人员更好地理解本申请方案本文档来自技高网...

【技术保护点】
1.一种基于机器学习的网络用户分类方法，其特征在于：/n所述基于机器学习的网络用户分类方法包括如下步骤：/n将网络用户特征数据构成若干个源网络用户特征数据；/n使用贝叶斯优化方法连续采样多个超参数组并保存所采样的多个超参数组；/n利用源网络用户分类任务的超参数优化数据在保存的多个所述超参数组中选择最优的所述超参数组；/n对所选择的所述超参数组进行采样评估，计算真实的评估结果与方向模型对所述超参数组的评估结果的误差；/n根据所述真实的评估结果与方向模型对所述超参数组的评估结果的误差对所述方向模型进行调整。/n

【技术特征摘要】
1.一种基于机器学习的网络用户分类方法，其特征在于：
所述基于机器学习的网络用户分类方法包括如下步骤：
将网络用户特征数据构成若干个源网络用户特征数据；
使用贝叶斯优化方法连续采样多个超参数组并保存所采样的多个超参数组；
利用源网络用户分类任务的超参数优化数据在保存的多个所述超参数组中选择最优的所述超参数组；
对所选择的所述超参数组进行采样评估，计算真实的评估结果与方向模型对所述超参数组的评估结果的误差；
根据所述真实的评估结果与方向模型对所述超参数组的评估结果的误差对所述方向模型进行调整。


2.根据权利要求1所述的基于机器学习的网络用户分类方法，其特征在于：
所述基于机器学习的网络用户分类方法包括如下步骤：
构建经验数据集。


3.根据权利要求2所述的基于机器学习的网络用户分类方法，其特征在于：
所述构建经验数据集包括：
使用贝叶斯优化在源网络用户分类任务模型上采样评估k+1次，并记录采样和评估的数据；
将采样根据评估值由大到小排序，将评估值最大的采样称为当前最佳采样剩余采样以y为中心中心化，即定义为κ；
使用贝叶斯优化在源网络用户分类任务模型上生成新的采样x’，并评估；
如果f(x’)大于目前最佳评估值，则生成一条数据([κ；x′],l)，否则，生成一条数据([κ；x′],-1)；
将κ中k个采样和本轮采样x’根据评估值由大到小排序，删除评估值最小的采样，更新κ。


4.根据权利要求3所述的基于机器学习的网络用户分类方法，其特征在于：
所述基于机器学习的网络用户分类方法包括如下步骤：
训练方向模型。


5.根据权利要求4所述的基于机器学习的网络用户分类方法，其特征在于：
所述训练方向模型具体包括如下步骤：
确定机器学习模型中需要优化的超参数，并设置超参数的范围；
在设定范围内随机初始化超参数，s初始为1；
用贝叶斯优化对第s个源网络用户分类任务的机器学习模型的超参数调优，将优化过程记录下来构建成经验数据集；
将经验数据集划分为训练数据集和测试数据集两个部分；
用训练数据集训练方向模型，常用的分类模型均可以用于训练方向模型；本方法用卷积神经网络来训练；
用测试数据集测试训练好的模型，如果测试准确率低则将该模型淘汰，否则加入方向模型集合Φ。


6.根据权利要求5所述的基于机器学习的网络用户分类方法，其特征...

【专利技术属性】
技术研发人员：俞扬，詹德川，周志华，吴悦悦，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32