基于采样模拟的快速AB测试方法技术

本发明专利技术公开了一种基于采样模拟的快速AB测试方法，A)为每个样本随机生成一个测试参数组合作为投放参数；B)将投放参数进行运营，一个运行周期后进行LTV的统计；C)构建机器学习模型；D)调整采样空间及采样间隔，重新进行采样，将若干个投放参数分别代入机器学习模型，得到各自对应的LTV的预测值；E)选取前M个较高的值进行实际的运营测试，并判断LTV的运营测试值与LTV的预测值是否吻合，如是，认为对应的投放参数是最优参数，执行F)；否则，返回步骤D)；F)将最优参数投入到实际生产；G)定期执行步骤A)至E)，使最优参数随着环境的变化而变化。本发明专利技术通过较少轮数的AB测试就找到最优参数、能提升AB测试效率。

Fast AB testing method based on sampling simulation

【技术实现步骤摘要】
【国外来华专利技术】基于采样模拟的快速AB测试方法
本专利技术涉及游戏广告投放领域，特别涉及一种基于采样模拟的快速AB测试方法。
技术介绍
在游戏广告投放中，每天广告投放次数，每天投放频率以及每天奖励金额都会影响到客户终身价值(lifetimevalue，简称LTV)，如何快速找到一个合适的投放次数、投放频率及每天奖励成为游戏广告投放环节的一个重要问题。LTV就是一个统计值，是用户终身价值，游戏中主要是用户的消费，加上用户点击广告产生的价值，很多用户主要是点击广告产生价格，从用户进来直到用户流失，一共产生了多少价值。现有寻找投放次数、投放频率和每天奖励金额的主要方法是进行AB测试(A/BTesting)，通过较多轮AB测试找到相对较好的参数值，但由于LTV往往需要较长时间才能获取到，因此实际生产中由于时间的限制往往较难进行很多轮测试，如何通过较少轮数的AB测试就能找最优参数(投放次数、投放频率、每天奖励)就显得非常关键。现有技术中采用梯度提升决策树(GradientBoostingDecisionTree，简称GBDT)来进行AB测试。现有的技术方案是通过多轮AB测试才能找到最优参数(即投放次数、投放频率和每天奖励金额)。比如每天投放次数为1～5共5个值，投放频率为1～4小时共4个值，奖励金额20～50共30个值，则总共需要进行的AB测试轮数为5*4*30＝600轮。这600轮测试中每一轮取一个不同的参数，最后看哪一组参数LTV最高，则取为最优参数。由于LTV往往需要较长时间才能获取到，因此实际生产中由于时间的限制往往较难进行很多轮测试。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种通过较少轮数的AB测试就找到最优参数、能提升AB测试效率的基于采样模拟的快速AB测试方法。本专利技术解决其技术问题所采用的技术方案是：构造一种基于采样模拟的快速AB测试方法，包括如下步骤：A)按照事先设定的参数采样部分的采样空间及采样间隔，为每个样本随机生成一个测试参数组合作为用户的投放参数；所述投放参数为用户的投放次数、投放频率和奖励金额的参数组合；所述奖励金额为总奖励金额或每天的奖励金额；B)将所述投放参数进行运营，一个运行周期后对用户进行LTV的统计；C)以所述投放参数为依据构建特征，以用户的LTV为目标值，构建机器学习模型；D)调整所述事先设定的参数采样部分的采样空间及采样间隔，重新进行采样，将重新采样得到的用户的投放次数、投放频率和奖励金额进行排列组合，得到若干个所述投放参数，将若干个所述投放参数分别代入所述机器学习模型，得到各自对应的LTV的预测值；E)从所述LTV的预测值中选取前M个较高的值进行实际的运营测试，并判断LTV的运营测试值与所述LTV的预测值是否吻合，如是，认为对应的投放参数是最优参数，执行步骤F)；否则，返回步骤D)；所述M为大于0的整数；F)将所述最优参数投入到实际生产；G)定期执行步骤A)至步骤E)，使所述最优参数随着环境的变化而变化。在本专利技术所述的基于采样模拟的快速AB测试方法中，所述步骤B)中，所述LTV的统计如下：其中，Fi为用户第i天的游戏充值，Vi为用户第i天浏览和点击广告产生的价值，N为观察天数。在本专利技术所述的基于采样模拟的快速AB测试方法中，所述步骤A)进一步包括：A1)随机从1～5次中选一个参数作为用户的投放次数；A2)随机从1～4小时中选一个参数作为所述用户的投放频率；A3)随机从20～50元奖励金额中选一个作为所述用户的奖励金额；A4)将所述用户投放次数、用户投放频率和用户奖励金额组合后作为当前样本的投放参数；A5)重复步骤A1)至A4)得到多个样本的投放参数。在本专利技术所述的基于采样模拟的快速AB测试方法中，所述步骤C)进一步包括：C1)初始化，估计使损失函数极小化的常数值；C2)计算所述损失函数的负梯度在当前模型的值，将其作为残差的估计；C3)估计回归树叶节点区域，以拟合残差的近似值；C4)利用线性搜索估计叶节点区域的值，使所述损失函数极小化；C5)更新回归树；C6)得到所述机器学习模型，所述机器学习模型的特征为所述投放参数，所述机器学习模型的的目标值为用户的LTV。在本专利技术所述的基于采样模拟的快速AB测试方法中，所述步骤D)进一步包括：D1)将投放次数调整为0.1～10次，以0.1为间隔共100个取值；D2)将投放频率调整为0.1～5小时，以0.1为间隔共50个取值；D3)将奖励金额调整为0～100元，共100个取值；D4)将所述投放次数次数的100个取值、投放频率的50个取值和奖励金额的100个取值进行排列组合，得到100*50*100＝5000000种投放参数；D5)将所述5000000种投放参数分别代入所述机器学习模型，得到各自对应的LTV的预测值。实施本专利技术的基于采样模拟的快速AB测试方法，具有以下有益效果：通过随机采样加机器学习的方法构建投放参数与LTV的对应关系并形成机器学习模型，通过模拟仿真的方法寻找最优投放参数，以减少AB测试轮提升级AB测试效率，因此本专利技术通过较少轮数的AB测试就找到最优参数、能提升AB测试效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术基于采样模拟的快速AB测试方法一个实施例中的流程图；图2为所述实施例中按照事先设定的参数采样部分的采样空间及采样间隔，为每个样本随机生成一个测试参数组合作为用户的投放参数的具体流程图；图3为所述实施例中以投放参数为依据构建特征，以用户的LTV为目标值，构建机器学习模型的具体流程图；图4为所述实施例中调整事先设定的参数采样部分的采样空间及采样间隔，重新进行采样，将重新采样得到的用户的投放次数、投放频率和奖励金额进行排列组合，得到若干个投放参数，将若干个投放参数分别代入机器学习模型，得到各自对应的LTV的预测值的具体流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术基于采样模拟的快速AB测试方法实施例中，该基于采样模拟的快速AB测试方法的流程图如图1所示。图1中，该基于采样模拟的快速AB测试方法包括如下步骤：步骤S01按照事先设定的参数采样部分的采样空间及采样间隔，为每个样本随机生成一个测试参数组合作为用户的投放参数：本步骤中，再进行AB测试时，不再进行AB分组，而是为每个样本随机生成一个测试参数组合。具体的，本步骤中，按照事先设定的参数采样部分的采样空间及采样间隔，其中，投放参数为用户的投放次数、投放频率和奖励金额的参数组合；上述奖励金额可以是总奖励金额，也可以是每天的奖励金额。通过该步骤S01可以实现以随机采样的方式为用户分配投放参数。步骤S02将投放参数进行运营，一个运行周期后对用户进行LTV的统计：本步骤中，将上述投放参数本文档来自技高网...

【技术保护点】
1.一种基于采样模拟的快速AB测试方法，其特征在于，包括如下步骤：A)按照事先设定的参数采样部分的采样空间及采样间隔，为每个样本随机生成一个测试参数组合作为用户的投放参数；所述投放参数为用户的投放次数、投放频率和奖励金额的参数组合；所述奖励金额为总奖励金额或每天的奖励金额；B)将所述投放参数进行运营，一个运行周期后对用户进行LTV的统计；C)以所述投放参数为依据构建特征，以用户的LTV为目标值，构建机器学习模型；D)调整所述事先设定的参数采样部分的采样空间及采样间隔，重新进行采样，将重新采样得到的用户的投放次数、投放频率和奖励金额进行排列组合，得到若干个所述投放参数，将若干个所述投放参数分别代入所述机器学习模型，得到各自对应的LTV的预测值；E)从所述LTV的预测值中选取前M个较高的值进行实际的运营测试，并判断LTV的运营测试值与所述LTV的预测值是否吻合，如是，认为对应的投放参数是最优参数，执行步骤F)；否则，返回步骤D)；所述M为大于0的整数；F)将所述最优参数投入到实际生产；G)定期执行步骤A)至步骤E)，使所述最优参数随着环境的变化而变化。

【技术特征摘要】
【国外来华专利技术】1.一种基于采样模拟的快速AB测试方法，其特征在于，包括如下步骤：A)按照事先设定的参数采样部分的采样空间及采样间隔，为每个样本随机生成一个测试参数组合作为用户的投放参数；所述投放参数为用户的投放次数、投放频率和奖励金额的参数组合；所述奖励金额为总奖励金额或每天的奖励金额；B)将所述投放参数进行运营，一个运行周期后对用户进行LTV的统计；C)以所述投放参数为依据构建特征，以用户的LTV为目标值，构建机器学习模型；D)调整所述事先设定的参数采样部分的采样空间及采样间隔，重新进行采样，将重新采样得到的用户的投放次数、投放频率和奖励金额进行排列组合，得到若干个所述投放参数，将若干个所述投放参数分别代入所述机器学习模型，得到各自对应的LTV的预测值；E)从所述LTV的预测值中选取前M个较高的值进行实际的运营测试，并判断LTV的运营测试值与所述LTV的预测值是否吻合，如是，认为对应的投放参数是最优参数，执行步骤F)；否则，返回步骤D)；所述M为大于0的整数；F)将所述最优参数投入到实际生产；G)定期执行步骤A)至步骤E)，使所述最优参数随着环境的变化而变化。2.根据权利要求1所述的基于采样模拟的快速AB测试方法，其特征在于，所述步骤B)中，所述LTV的统计如下：其中，Fi为用户第i天的游戏充值，Vi为用户第i天浏览和点击广告产生的价值，N为观察天数。3.根据权利要求1或2所述的基于采样模拟的快速AB测试方法，其特征在于，所述步骤A)进一步包括：A1...

【专利技术属性】
技术研发人员：谢峰，
申请(专利权)人：上海荟萃网络科技有限公司，
类型：发明
国别省市：上海,31